---
title: "AI Robots e llms.txt: robots.txt per i bot AI · MRC Studio"
description: "Verifica cosa permette il tuo robots.txt a ogni crawler AI, tra addestramento, ricerca e richieste degli utenti, e controlla il tuo llms.txt."
url: https://mrcstudio.io/it/labs/ai-robots-llms-txt/
lang: it
updated: 2026-11-21
---

# AI Robots e llms.txt: cosa permette il tuo robots.txt ai bot AI

AI Robots e llms.txt legge il `robots.txt` e il `llms.txt` di un sito e dice che cosa può fare ogni crawler AI, separando addestramento, ricerca e richieste degli utenti. È per chi vuole decidere quali bot AI far entrare nel proprio sito, e sapere cosa comporta ogni scelta.

Disponibile

AI Robots e llms.txt è gratuito. Non salva né l’indirizzo che inserisci né il risultato: puoi copiarlo o stamparlo.

Categoria: Strumento SEO

Registro dei crawler AI aggiornato il 17 novembre 2026. Dichiarazioni dei gestori lette il 5 ottobre 2026.

Aggiornato il 21 novembre 2026

## Cosa controlla

### Il robots.txt c’è e si legge

Chiede `/robots.txt` e controlla che risponda con un file di testo valido. Se il file non esiste vuol dire che tutto è ammesso, e il risultato lo spiega. Un file oltre i 500 KiB, il limite di Google, non vale come letto.

### La sintassi: le righe che lo strumento non applica

Elenca, con il numero di riga, le regole scritte prima di ogni `User-agent`, le direttive sconosciute, i caratteri che spezzano le righe e i percorsi senza `/` iniziale. Sono regole che credi di avere e che un crawler può non applicare; il risultato dice il perché, riga per riga.

### I crawler AI di ricerca

Dice se i crawler che indicizzano per le risposte dei motori e degli assistenti AI possono leggere la radice del sito e il percorso che indichi. Se ne escludi uno, quello che quel crawler non può leggere rischia di comparire meno, o di non comparire più, nelle risposte di quel servizio.

### Gli agenti avviati dagli utenti

Dice se gli agenti che aprono una pagina su richiesta di una persona possono leggere la radice del sito e il percorso che indichi. Riporta anche cosa dichiarano i gestori: per ChatGPT-User e Perplexity-User che il `robots.txt` può non valere, per Claude-User che Anthropic lo rispetta.

### I crawler di addestramento

Dice se i crawler che raccolgono contenuti per addestrare i modelli possono leggere la radice del sito e il percorso che indichi. Escluderli è una scelta del sito, e il risultato la presenta così.

### Una scelta esplicita

Controlla se il `robots.txt` ha almeno un gruppo scritto per un crawler AI. Se non ce n’è nessuno valgono le regole del gruppo `*`, e il risultato dice cosa ne segue per ogni crawler.

### I segnali sui contenuti

Cerca una riga `Content-Signal` valida, quella della Content Signals Policy, e ne riporta i valori: `search`, `ai-input` e `ai-train`, ciascuno `yes` o `no`. Un segnale che manca non concede e non vieta.

### La sitemap

Controlla che il `robots.txt` dichiari almeno una sitemap, con un indirizzo assoluto: è la riga che dice ai crawler dove trovare l’elenco delle pagine del sito.

### Il file llms.txt

Chiede `/llms.txt` e dice se c’è. È un indice utile per gli agenti e gli strumenti che lo leggono. Google dichiara che la sua ricerca lo ignora; OpenAI, Anthropic e Perplexity non dichiarano di usarlo (verifica del 21 novembre 2026). La sua assenza non è un problema grave.

### Il formato di llms.txt

Controlla che `llms.txt` sia Markdown, con un titolo di primo livello e almeno un collegamento. La proposta di llmstxt.org rende obbligatorio solo il titolo: il riassunto in citazione e le sezioni con elenchi di collegamenti sono facoltativi. Che un file senza collegamenti valga come «Assente» è una scelta di questo strumento, non della proposta.

### Crawler per crawler

Sotto ognuno dei tre controlli per classe il risultato elenca i crawler di quella classe uno per uno: se ciascuno è ammesso o escluso, o se non è certo, per la radice del sito e per il percorso che indichi, e la regola del `robots.txt` che decide.

## Cosa legge del sito, e cosa no

AI Robots e llms.txt fa al massimo 4 richieste per analisi, una alla volta, e legge solo i file alla radice del sito. Basta il dominio; se vuoi, aggiungi un percorso da valutare oltre alla radice, per esempio `/blog/`.

Non legge le pagine del sito. Non esegue JavaScript, non manda cookie e non usa credenziali. Quello che i file contengono è un dato, mai un’istruzione.

Si presenta con uno user agent dichiarato, che contiene `MRC-Labs` e l’indirizzo di questa pagina: mai quello di un crawler AI. Quello che un crawler può fare lo legge dal `robots.txt`.

Rispetta le regole che il tuo `robots.txt` scrive per `MRC-Labs`. Non applica quelle del gruppo `*`, perché ogni analisi è chiesta da una persona per un sito preciso, come per gli agenti avviati dagli utenti. Per escluderlo basta un gruppo `User-agent: MRC-Labs`.

- `/robots.txt`
- `/llms.txt`
- `/llms-full.txt`, solo se `llms.txt` esiste e lo nomina
- un redirect, se `robots.txt` rimanda a un altro host: ogni passo conta tra le 4 richieste

## Cosa vogliono dire i quattro stati

- **Presente**: il file c’è e si legge, la riga cercata c’è, oppure tutti i crawler di quella classe sono ammessi. Per le righe che lo strumento non applica vuol dire che non ce ne sono.
- **Assente**: il file non esiste, la riga cercata non c’è, oppure almeno un crawler della classe è escluso, e il risultato dice quale. Per le righe che lo strumento non applica vuol dire che ce ne sono, e il risultato le elenca. Per il `robots.txt`, un file che non esiste vuol dire che tutto è ammesso.
- **Probabilmente assente**: non trovato, ma resta una via che lo strumento non ha potuto controllare. Il risultato la nomina.
- **Non verificato**: nessuna conclusione. Il sito ha risposto con un errore (401, 403, 429 o un errore del server), non ha risposto in tempo, ha mandato una pagina HTML al posto del file di testo, o un file troppo grande. Da una lettura fallita lo strumento non conclude mai che un crawler è bloccato o ammesso.

## I limiti

- Il `robots.txt` dice cosa un sito chiede, non cosa ogni crawler fa: alcuni gestori dichiarano che i loro agenti avviati dagli utenti possono non rispettarlo.
- Un firewall o una protezione anti-bot possono bloccare un crawler anche se il `robots.txt` lo ammette. Lo strumento non lo misura: lo misurano i log del server.
- La lista dei crawler e le dichiarazioni dei gestori sul `robots.txt` vengono dal registro di MRC Labs: la data dell’ultimo aggiornamento e quella in cui le pagine dei gestori sono state lette sono scritte su questa pagina. La frase su `llms.txt` è stata verificata il 21 novembre 2026.

## Domande frequenti su AI Robots e llms.txt

### Che differenza c’è tra crawler di addestramento, crawler di ricerca e agenti avviati dagli utenti?

I crawler di addestramento raccolgono contenuti per addestrare i modelli: escluderli è una scelta del sito e non lo toglie dalle risposte AI. I crawler di ricerca indicizzano per le risposte di un motore o di un assistente: se li escludi, il sito rischia di comparire meno, o di non comparire più, in quelle risposte. Gli agenti avviati dagli utenti leggono una pagina quando una persona lo chiede.

### Se blocco GPTBot sparisco da ChatGPT?

No. GPTBot è il crawler di addestramento di OpenAI. Per le risposte di ChatGPT search conta OAI-SearchBot: OpenAI dichiara che i siti che lo escludono non compaiono in quelle risposte. Il giorno in cui la pagina di OpenAI è stata letta è scritto nella pagina di AI Robots e llms.txt, accanto alla data del registro dei crawler AI.

### Gli agenti AI rispettano il robots.txt?

Dipende dal gestore. OpenAI dichiara che per ChatGPT-User le regole del `robots.txt` possono non valere, perché l’azione è avviata da un utente. Perplexity dichiara che Perplexity-User in genere le ignora. Anthropic dichiara che Claude-User le rispetta. Sono le dichiarazioni sulle pagine dei tre gestori: il giorno in cui sono state lette è scritto nella pagina di AI Robots e llms.txt, accanto alla data del registro dei crawler AI.

### Cosa succede se non ho nessuna regola per i crawler AI?

Se il `robots.txt` non ha regole per i crawler AI, valgono quelle scritte per `*`, cioè per tutti. Non è un errore: è una scelta che non hai ancora fatto. Il risultato dice cosa ne segue per ogni crawler.

### Serve un file llms.txt?

`llms.txt` è un indice utile per gli agenti e gli strumenti che lo leggono. Google dichiara che la sua ricerca lo ignora; OpenAI, Anthropic e Perplexity non dichiarano di usarlo (verifica del 21 novembre 2026). Se manca non è un problema grave: vengono prima l’HTML leggibile e un `robots.txt` in ordine.

## Quali bot AI far entrare

Lo strumento dice cosa permette oggi il tuo `robots.txt`. Cosa conviene permettere dipende da cosa vendi e in quali mercati: scrivimi, ti rispondo io e, se serve, fissiamo una call. Il servizio è [GEO e AI search](https://mrcstudio.io/it/servizi/geo-ai-search/).

[Scrivimi](https://mrcstudio.io/it/contatti/)
