AI Robots & llms.txt : ce que votre robots.txt autorise aux bots IA
AI Robots & llms.txt lit le robots.txt et le llms.txt d’un site et indique ce que chaque crawler IA peut faire, en séparant entraînement, recherche et requêtes des utilisateurs. Il s’adresse à ceux qui veulent décider quels bots IA laisser entrer sur leur site, et savoir ce qu’implique chaque choix.
Disponible
AI Robots & llms.txt est gratuit. Il n’enregistre ni l’adresse que vous saisissez ni le résultat : vous pouvez le copier ou l’imprimer.
Catégorie : Outil SEO
Registre des crawlers IA mis à jour le 17 novembre 2026. Déclarations des opérateurs lues le 5 octobre 2026.
Mis à jour le
Analyser un site
Résultat
Je ne peux pas analyser cette adresse. Indiquez l’adresse publique d’un site, même sans https.
La vérification anti-abus a échoué. Rechargez la page et réessayez.
Trop d’analyses en peu de temps. Réessayez dans une minute.
L’outil n’est pas disponible pour le moment. Réessayez plus tard.
L’analyse a échoué. Réessayez dans un instant.
Résultat
- Adresse analysée
- [[url]]
- Analyse du
- Durée
- [[seconds]] secondes
- Version
- [[tool]] [[version]], moteur [[engine]]
Non évaluable : [[notAssessable]]
- [[url]] (réponse [[status]])
[[header]][[excerpt]]
[[note]]
- Présent : [[present]]
- Absent : [[absentStrong]]
- Probablement absent : [[absentUncertain]]
- Incertain : [[undecided]]
- Non vérifié : [[unverified]]
-
Incertain Présent Absent Probablement absent Non vérifié [[title]]
[[id]][[message]]
Preuves
- [[url]] (réponse [[status]])
[[header]][[excerpt]]
[[note]]
Reste à vérifier
- [[text]]
- [[url]] (réponse [[status]])
Requêtes envoyées au site
| Adresse | Adresse finale | Réponse | Temps | Poids |
|---|---|---|---|---|
| [[url]] | [[finalUrl]] | [[status]][[error]] | [[ms]] ms | [[bytes]] byte |
Le résultat dit ce qui ne va pas et pourquoi c’est important. Pour le corriger, écrivez-moi avec l’adresse analysée : je vous réponds moi-même.
Ce qu’il contrôle
Le robots.txt existe et se lit
Il demande /robots.txt et contrôle que la réponse est un fichier texte valide. Si le fichier n’existe pas, tout est autorisé, et le résultat l’explique. Un fichier de plus de 500 KiB, la limite de Google, ne compte pas comme lu.
La syntaxe : les lignes que l’outil n’applique pas
Il liste, avec leur numéro de ligne, les règles écrites avant tout User-agent, les directives inconnues, les caractères qui coupent les lignes et les chemins sans / initial. Ce sont des règles que vous croyez avoir et qu’un crawler peut ne pas appliquer ; le résultat dit pourquoi, ligne par ligne.
Les crawlers IA de recherche
Il indique si les crawlers qui indexent pour les réponses des moteurs et des assistants IA peuvent lire la racine du site et le chemin que vous indiquez. Si vous en excluez un, ce que ce crawler ne peut pas lire risque d’apparaître moins, ou de ne plus apparaître, dans les réponses de ce service.
Les agents lancés par les utilisateurs
Il indique si les agents qui ouvrent une page à la demande d’une personne peuvent lire la racine du site et le chemin que vous indiquez. Il rapporte aussi ce que déclarent les opérateurs : pour ChatGPT-User et Perplexity-User, que le robots.txt peut ne pas s’appliquer ; pour Claude-User, qu’Anthropic le respecte.
Les crawlers d’entraînement
Il indique si les crawlers qui collectent des contenus pour entraîner les modèles peuvent lire la racine du site et le chemin que vous indiquez. Les exclure est un choix du site, et le résultat le présente ainsi.
Un choix explicite
Il contrôle si le robots.txt contient au moins un groupe écrit pour un crawler IA. S’il n’y en a aucun, ce sont les règles du groupe * qui s’appliquent, et le résultat dit ce qui en découle pour chaque crawler.
Les signaux sur les contenus
Il cherche une ligne Content-Signal valide, celle de la Content Signals Policy, et en rapporte les valeurs : search, ai-input et ai-train, chacune yes ou no. Un signal absent n’accorde rien et n’interdit rien.
Le sitemap
Il contrôle que le robots.txt déclare au moins un sitemap, avec une adresse absolue : c’est la ligne qui indique aux crawlers où trouver la liste des pages du site.
Le fichier llms.txt
Il demande /llms.txt et indique s’il existe. C’est un index utile pour les agents et les outils qui le lisent. Google déclare que sa recherche l’ignore ; OpenAI, Anthropic et Perplexity ne déclarent pas l’utiliser (vérification du 21 novembre 2026). Son absence n’est pas un problème grave.
Le format du llms.txt
Il contrôle que le llms.txt est en Markdown, avec un titre de premier niveau et au moins un lien. La proposition de llmstxt.org ne rend obligatoire que le titre : le résumé en citation et les sections avec des listes de liens sont facultatifs. Qu’un fichier sans liens compte comme « Absent » est un choix de cet outil, pas de la proposition.
Crawler par crawler
Sous chacun des trois contrôles par classe, le résultat liste un par un les crawlers de cette classe : s’il est autorisé ou exclu, ou si c’est incertain, pour la racine du site et pour le chemin que vous indiquez, et la règle du robots.txt qui décide.
Ce qu’il lit du site, et ce qu’il ne lit pas
AI Robots & llms.txt envoie au maximum 4 requêtes par analyse, une à la fois, et ne lit que les fichiers à la racine du site. Le domaine suffit ; si vous le souhaitez, ajoutez un chemin à évaluer en plus de la racine, par exemple /blog/.
Il ne lit pas les pages du site. Il n’exécute pas JavaScript, n’envoie pas de cookies et n’utilise pas d’identifiants. Ce que contiennent les fichiers est une donnée, jamais une instruction.
Il se présente avec un user agent déclaré, qui contient MRC-Labs et l’adresse de cette page : jamais celui d’un crawler IA. Ce qu’un crawler peut faire, il le lit dans le robots.txt.
Il respecte les règles que votre robots.txt écrit pour MRC-Labs. Il n’applique pas celles du groupe *, car chaque analyse est demandée par une personne pour un site précis, comme pour les agents lancés par les utilisateurs. Pour l’exclure, un groupe User-agent: MRC-Labs suffit.
/robots.txt/llms.txt/llms-full.txt, seulement sillms.txtexiste et le mentionne- une redirection, si
robots.txtrenvoie vers un autre hôte : chaque étape compte parmi les 4 requêtes
Ce que veulent dire les quatre états
- Présent : le fichier existe et se lit, la ligne recherchée existe, ou tous les crawlers de cette classe sont autorisés. Pour les lignes que l’outil n’applique pas, cela veut dire qu’il n’y en a aucune.
- Absent : le fichier n’existe pas, la ligne recherchée est absente, ou au moins un crawler de la classe est exclu, et le résultat dit lequel. Pour les lignes que l’outil n’applique pas, cela veut dire qu’il y en a, et le résultat les liste. Pour le
robots.txt, un fichier qui n’existe pas veut dire que tout est autorisé. - Probablement absent : non trouvé, mais il reste une voie que l’outil n’a pas pu contrôler. Le résultat la nomme.
- Non vérifié : aucune conclusion. Le site a répondu par une erreur (401, 403, 429 ou une erreur du serveur), n’a pas répondu à temps, a envoyé une page HTML à la place du fichier texte, ou un fichier trop volumineux. D’une lecture qui a échoué, l’outil ne conclut jamais qu’un crawler est bloqué ou autorisé.
Les limites
- Le
robots.txtdit ce qu’un site demande, pas ce que fait chaque crawler : certains opérateurs déclarent que leurs agents lancés par les utilisateurs peuvent ne pas le respecter. - Un pare-feu ou une protection anti-bot peut bloquer un crawler même si le
robots.txtl’autorise. L’outil ne le mesure pas : ce sont les logs du serveur qui le mesurent. - La liste des crawlers et les déclarations des opérateurs sur le
robots.txtviennent du registre de MRC Labs : la date de sa dernière mise à jour et celle à laquelle les pages des opérateurs ont été lues figurent sur cette page. La phrase surllms.txta été vérifiée le 21 novembre 2026.
Questions fréquentes sur AI Robots & llms.txt
Quelle différence y a-t-il entre crawlers d’entraînement, crawlers de recherche et agents lancés par les utilisateurs ?
Les crawlers d’entraînement collectent des contenus pour entraîner les modèles : les exclure est un choix du site et ne le retire pas des réponses IA. Les crawlers de recherche indexent pour les réponses d’un moteur ou d’un assistant : si vous les excluez, le site risque d’apparaître moins, ou de ne plus apparaître, dans ces réponses. Les agents lancés par les utilisateurs lisent une page quand une personne le demande.
Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?
Non. GPTBot est le crawler d’entraînement d’OpenAI. Pour les réponses de ChatGPT search, c’est OAI-SearchBot qui compte : OpenAI déclare que les sites qui l’excluent n’apparaissent pas dans ces réponses. Le jour où la page d’OpenAI a été lue figure sur la page d’AI Robots & llms.txt, à côté de la date du registre des crawlers IA.
Les agents IA respectent-ils le robots.txt ?
Cela dépend de l’opérateur. OpenAI déclare que, pour ChatGPT-User, les règles du robots.txt peuvent ne pas s’appliquer, car l’action est lancée par un utilisateur. Perplexity déclare que Perplexity-User les ignore en général. Anthropic déclare que Claude-User les respecte. Ce sont les déclarations publiées sur les pages des trois opérateurs : le jour où elles ont été lues figure sur la page d’AI Robots & llms.txt, à côté de la date du registre des crawlers IA.
Que se passe-t-il si je n’ai aucune règle pour les crawlers IA ?
Si le robots.txt n’a pas de règles pour les crawlers IA, ce sont celles écrites pour *, c’est-à-dire pour tous, qui s’appliquent. Ce n’est pas une erreur : c’est un choix que vous n’avez pas encore fait. Le résultat dit ce qui en découle pour chaque crawler.
Faut-il un fichier llms.txt ?
Le llms.txt est un index utile pour les agents et les outils qui le lisent. Google déclare que sa recherche l’ignore ; OpenAI, Anthropic et Perplexity ne déclarent pas l’utiliser (vérification du 21 novembre 2026). S’il manque, ce n’est pas un problème grave : un HTML lisible et un robots.txt en ordre passent avant.
Quels bots IA laisser entrer
L’outil dit ce que votre robots.txt autorise aujourd’hui. Ce qu’il vaut la peine d’autoriser dépend de ce que vous vendez et sur quels marchés : écrivez-moi, je vous réponds moi-même et, si besoin, nous convenons d’un appel. Le service correspondant est GEO et recherche IA.