Vai al contenuto
Scrivimi

AI Robots e llms.txt: cosa permette il tuo robots.txt ai bot AI

AI Robots e llms.txt legge il robots.txt e il llms.txt di un sito e dice che cosa può fare ogni crawler AI, separando addestramento, ricerca e richieste degli utenti. È per chi vuole decidere quali bot AI far entrare nel proprio sito, e sapere cosa comporta ogni scelta.

Disponibile

AI Robots e llms.txt è gratuito. Non salva né l’indirizzo che inserisci né il risultato: puoi copiarlo o stamparlo.

Categoria: Strumento SEO

Registro dei crawler AI aggiornato il 17 novembre 2026. Dichiarazioni dei gestori lette il 5 ottobre 2026.

Aggiornato il

Analizza un sito

Basta il dominio, anche senza https.

Un percorso del sito, per esempio /blog/. Il risultato dice se i crawler possono leggerlo.

Cosa controlla

Il robots.txt c’è e si legge

Chiede /robots.txt e controlla che risponda con un file di testo valido. Se il file non esiste vuol dire che tutto è ammesso, e il risultato lo spiega. Un file oltre i 500 KiB, il limite di Google, non vale come letto.

La sintassi: le righe che lo strumento non applica

Elenca, con il numero di riga, le regole scritte prima di ogni User-agent, le direttive sconosciute, i caratteri che spezzano le righe e i percorsi senza / iniziale. Sono regole che credi di avere e che un crawler può non applicare; il risultato dice il perché, riga per riga.

I crawler AI di ricerca

Dice se i crawler che indicizzano per le risposte dei motori e degli assistenti AI possono leggere la radice del sito e il percorso che indichi. Se ne escludi uno, quello che quel crawler non può leggere rischia di comparire meno, o di non comparire più, nelle risposte di quel servizio.

Gli agenti avviati dagli utenti

Dice se gli agenti che aprono una pagina su richiesta di una persona possono leggere la radice del sito e il percorso che indichi. Riporta anche cosa dichiarano i gestori: per ChatGPT-User e Perplexity-User che il robots.txt può non valere, per Claude-User che Anthropic lo rispetta.

I crawler di addestramento

Dice se i crawler che raccolgono contenuti per addestrare i modelli possono leggere la radice del sito e il percorso che indichi. Escluderli è una scelta del sito, e il risultato la presenta così.

Una scelta esplicita

Controlla se il robots.txt ha almeno un gruppo scritto per un crawler AI. Se non ce n’è nessuno valgono le regole del gruppo *, e il risultato dice cosa ne segue per ogni crawler.

I segnali sui contenuti

Cerca una riga Content-Signal valida, quella della Content Signals Policy, e ne riporta i valori: search, ai-input e ai-train, ciascuno yes o no. Un segnale che manca non concede e non vieta.

La sitemap

Controlla che il robots.txt dichiari almeno una sitemap, con un indirizzo assoluto: è la riga che dice ai crawler dove trovare l’elenco delle pagine del sito.

Il file llms.txt

Chiede /llms.txt e dice se c’è. È un indice utile per gli agenti e gli strumenti che lo leggono. Google dichiara che la sua ricerca lo ignora; OpenAI, Anthropic e Perplexity non dichiarano di usarlo (verifica del 21 novembre 2026). La sua assenza non è un problema grave.

Il formato di llms.txt

Controlla che llms.txt sia Markdown, con un titolo di primo livello e almeno un collegamento. La proposta di llmstxt.org rende obbligatorio solo il titolo: il riassunto in citazione e le sezioni con elenchi di collegamenti sono facoltativi. Che un file senza collegamenti valga come «Assente» è una scelta di questo strumento, non della proposta.

Crawler per crawler

Sotto ognuno dei tre controlli per classe il risultato elenca i crawler di quella classe uno per uno: se ciascuno è ammesso o escluso, o se non è certo, per la radice del sito e per il percorso che indichi, e la regola del robots.txt che decide.

Cosa legge del sito, e cosa no

AI Robots e llms.txt fa al massimo 4 richieste per analisi, una alla volta, e legge solo i file alla radice del sito. Basta il dominio; se vuoi, aggiungi un percorso da valutare oltre alla radice, per esempio /blog/.

Non legge le pagine del sito. Non esegue JavaScript, non manda cookie e non usa credenziali. Quello che i file contengono è un dato, mai un’istruzione.

Si presenta con uno user agent dichiarato, che contiene MRC-Labs e l’indirizzo di questa pagina: mai quello di un crawler AI. Quello che un crawler può fare lo legge dal robots.txt.

Rispetta le regole che il tuo robots.txt scrive per MRC-Labs. Non applica quelle del gruppo *, perché ogni analisi è chiesta da una persona per un sito preciso, come per gli agenti avviati dagli utenti. Per escluderlo basta un gruppo User-agent: MRC-Labs.

  • /robots.txt
  • /llms.txt
  • /llms-full.txt, solo se llms.txt esiste e lo nomina
  • un redirect, se robots.txt rimanda a un altro host: ogni passo conta tra le 4 richieste

Cosa vogliono dire i quattro stati

  • Presente: il file c’è e si legge, la riga cercata c’è, oppure tutti i crawler di quella classe sono ammessi. Per le righe che lo strumento non applica vuol dire che non ce ne sono.
  • Assente: il file non esiste, la riga cercata non c’è, oppure almeno un crawler della classe è escluso, e il risultato dice quale. Per le righe che lo strumento non applica vuol dire che ce ne sono, e il risultato le elenca. Per il robots.txt, un file che non esiste vuol dire che tutto è ammesso.
  • Probabilmente assente: non trovato, ma resta una via che lo strumento non ha potuto controllare. Il risultato la nomina.
  • Non verificato: nessuna conclusione. Il sito ha risposto con un errore (401, 403, 429 o un errore del server), non ha risposto in tempo, ha mandato una pagina HTML al posto del file di testo, o un file troppo grande. Da una lettura fallita lo strumento non conclude mai che un crawler è bloccato o ammesso.

I limiti

  • Il robots.txt dice cosa un sito chiede, non cosa ogni crawler fa: alcuni gestori dichiarano che i loro agenti avviati dagli utenti possono non rispettarlo.
  • Un firewall o una protezione anti-bot possono bloccare un crawler anche se il robots.txt lo ammette. Lo strumento non lo misura: lo misurano i log del server.
  • La lista dei crawler e le dichiarazioni dei gestori sul robots.txt vengono dal registro di MRC Labs: la data dell’ultimo aggiornamento e quella in cui le pagine dei gestori sono state lette sono scritte su questa pagina. La frase su llms.txt è stata verificata il 21 novembre 2026.

Domande frequenti su AI Robots e llms.txt

Che differenza c’è tra crawler di addestramento, crawler di ricerca e agenti avviati dagli utenti?

I crawler di addestramento raccolgono contenuti per addestrare i modelli: escluderli è una scelta del sito e non lo toglie dalle risposte AI. I crawler di ricerca indicizzano per le risposte di un motore o di un assistente: se li escludi, il sito rischia di comparire meno, o di non comparire più, in quelle risposte. Gli agenti avviati dagli utenti leggono una pagina quando una persona lo chiede.

Se blocco GPTBot sparisco da ChatGPT?

No. GPTBot è il crawler di addestramento di OpenAI. Per le risposte di ChatGPT search conta OAI-SearchBot: OpenAI dichiara che i siti che lo escludono non compaiono in quelle risposte. Il giorno in cui la pagina di OpenAI è stata letta è scritto nella pagina di AI Robots e llms.txt, accanto alla data del registro dei crawler AI.

Gli agenti AI rispettano il robots.txt?

Dipende dal gestore. OpenAI dichiara che per ChatGPT-User le regole del robots.txt possono non valere, perché l’azione è avviata da un utente. Perplexity dichiara che Perplexity-User in genere le ignora. Anthropic dichiara che Claude-User le rispetta. Sono le dichiarazioni sulle pagine dei tre gestori: il giorno in cui sono state lette è scritto nella pagina di AI Robots e llms.txt, accanto alla data del registro dei crawler AI.

Cosa succede se non ho nessuna regola per i crawler AI?

Se il robots.txt non ha regole per i crawler AI, valgono quelle scritte per *, cioè per tutti. Non è un errore: è una scelta che non hai ancora fatto. Il risultato dice cosa ne segue per ogni crawler.

Serve un file llms.txt?

llms.txt è un indice utile per gli agenti e gli strumenti che lo leggono. Google dichiara che la sua ricerca lo ignora; OpenAI, Anthropic e Perplexity non dichiarano di usarlo (verifica del 21 novembre 2026). Se manca non è un problema grave: vengono prima l’HTML leggibile e un robots.txt in ordine.

Quali bot AI far entrare

Lo strumento dice cosa permette oggi il tuo robots.txt. Cosa conviene permettere dipende da cosa vendi e in quali mercati: scrivimi, ti rispondo io e, se serve, fissiamo una call. Il servizio è GEO e AI search.

Scrivimi