---
title: "AI Robots & llms.txt : robots.txt et bots IA · MRC Studio"
description: "Vérifiez ce que votre robots.txt autorise à chaque crawler IA, entre entraînement, recherche et requêtes des utilisateurs, et contrôlez votre llms.txt."
url: https://mrcstudio.io/fr/labs/ai-robots-llms-txt/
lang: fr
updated: 2026-11-21
---

# AI Robots & llms.txt : ce que votre robots.txt autorise aux bots IA

AI Robots & llms.txt lit le `robots.txt` et le `llms.txt` d’un site et indique ce que chaque crawler IA peut faire, en séparant entraînement, recherche et requêtes des utilisateurs. Il s’adresse à ceux qui veulent décider quels bots IA laisser entrer sur leur site, et savoir ce qu’implique chaque choix.

Disponible

AI Robots & llms.txt est gratuit. Il n’enregistre ni l’adresse que vous saisissez ni le résultat : vous pouvez le copier ou l’imprimer.

Catégorie : Outil SEO

Registre des crawlers IA mis à jour le 17 novembre 2026. Déclarations des opérateurs lues le 5 octobre 2026.

Mis à jour le 21 novembre 2026

## Ce qu’il contrôle

### Le robots.txt existe et se lit

Il demande `/robots.txt` et contrôle que la réponse est un fichier texte valide. Si le fichier n’existe pas, tout est autorisé, et le résultat l’explique. Un fichier de plus de 500 KiB, la limite de Google, ne compte pas comme lu.

### La syntaxe : les lignes que l’outil n’applique pas

Il liste, avec leur numéro de ligne, les règles écrites avant tout `User-agent`, les directives inconnues, les caractères qui coupent les lignes et les chemins sans `/` initial. Ce sont des règles que vous croyez avoir et qu’un crawler peut ne pas appliquer ; le résultat dit pourquoi, ligne par ligne.

### Les crawlers IA de recherche

Il indique si les crawlers qui indexent pour les réponses des moteurs et des assistants IA peuvent lire la racine du site et le chemin que vous indiquez. Si vous en excluez un, ce que ce crawler ne peut pas lire risque d’apparaître moins, ou de ne plus apparaître, dans les réponses de ce service.

### Les agents lancés par les utilisateurs

Il indique si les agents qui ouvrent une page à la demande d’une personne peuvent lire la racine du site et le chemin que vous indiquez. Il rapporte aussi ce que déclarent les opérateurs : pour ChatGPT-User et Perplexity-User, que le `robots.txt` peut ne pas s’appliquer ; pour Claude-User, qu’Anthropic le respecte.

### Les crawlers d’entraînement

Il indique si les crawlers qui collectent des contenus pour entraîner les modèles peuvent lire la racine du site et le chemin que vous indiquez. Les exclure est un choix du site, et le résultat le présente ainsi.

### Un choix explicite

Il contrôle si le `robots.txt` contient au moins un groupe écrit pour un crawler IA. S’il n’y en a aucun, ce sont les règles du groupe `*` qui s’appliquent, et le résultat dit ce qui en découle pour chaque crawler.

### Les signaux sur les contenus

Il cherche une ligne `Content-Signal` valide, celle de la Content Signals Policy, et en rapporte les valeurs : `search`, `ai-input` et `ai-train`, chacune `yes` ou `no`. Un signal absent n’accorde rien et n’interdit rien.

### Le sitemap

Il contrôle que le `robots.txt` déclare au moins un sitemap, avec une adresse absolue : c’est la ligne qui indique aux crawlers où trouver la liste des pages du site.

### Le fichier llms.txt

Il demande `/llms.txt` et indique s’il existe. C’est un index utile pour les agents et les outils qui le lisent. Google déclare que sa recherche l’ignore ; OpenAI, Anthropic et Perplexity ne déclarent pas l’utiliser (vérification du 21 novembre 2026). Son absence n’est pas un problème grave.

### Le format du llms.txt

Il contrôle que le `llms.txt` est en Markdown, avec un titre de premier niveau et au moins un lien. La proposition de llmstxt.org ne rend obligatoire que le titre : le résumé en citation et les sections avec des listes de liens sont facultatifs. Qu’un fichier sans liens compte comme « Absent » est un choix de cet outil, pas de la proposition.

### Crawler par crawler

Sous chacun des trois contrôles par classe, le résultat liste un par un les crawlers de cette classe : s’il est autorisé ou exclu, ou si c’est incertain, pour la racine du site et pour le chemin que vous indiquez, et la règle du `robots.txt` qui décide.

## Ce qu’il lit du site, et ce qu’il ne lit pas

AI Robots & llms.txt envoie au maximum 4 requêtes par analyse, une à la fois, et ne lit que les fichiers à la racine du site. Le domaine suffit ; si vous le souhaitez, ajoutez un chemin à évaluer en plus de la racine, par exemple `/blog/`.

Il ne lit pas les pages du site. Il n’exécute pas JavaScript, n’envoie pas de cookies et n’utilise pas d’identifiants. Ce que contiennent les fichiers est une donnée, jamais une instruction.

Il se présente avec un user agent déclaré, qui contient `MRC-Labs` et l’adresse de cette page : jamais celui d’un crawler IA. Ce qu’un crawler peut faire, il le lit dans le `robots.txt`.

Il respecte les règles que votre `robots.txt` écrit pour `MRC-Labs`. Il n’applique pas celles du groupe `*`, car chaque analyse est demandée par une personne pour un site précis, comme pour les agents lancés par les utilisateurs. Pour l’exclure, un groupe `User-agent: MRC-Labs` suffit.

- `/robots.txt`
- `/llms.txt`
- `/llms-full.txt`, seulement si `llms.txt` existe et le mentionne
- une redirection, si `robots.txt` renvoie vers un autre hôte : chaque étape compte parmi les 4 requêtes

## Ce que veulent dire les quatre états

- **Présent** : le fichier existe et se lit, la ligne recherchée existe, ou tous les crawlers de cette classe sont autorisés. Pour les lignes que l’outil n’applique pas, cela veut dire qu’il n’y en a aucune.
- **Absent** : le fichier n’existe pas, la ligne recherchée est absente, ou au moins un crawler de la classe est exclu, et le résultat dit lequel. Pour les lignes que l’outil n’applique pas, cela veut dire qu’il y en a, et le résultat les liste. Pour le `robots.txt`, un fichier qui n’existe pas veut dire que tout est autorisé.
- **Probablement absent** : non trouvé, mais il reste une voie que l’outil n’a pas pu contrôler. Le résultat la nomme.
- **Non vérifié** : aucune conclusion. Le site a répondu par une erreur (401, 403, 429 ou une erreur du serveur), n’a pas répondu à temps, a envoyé une page HTML à la place du fichier texte, ou un fichier trop volumineux. D’une lecture qui a échoué, l’outil ne conclut jamais qu’un crawler est bloqué ou autorisé.

## Les limites

- Le `robots.txt` dit ce qu’un site demande, pas ce que fait chaque crawler : certains opérateurs déclarent que leurs agents lancés par les utilisateurs peuvent ne pas le respecter.
- Un pare-feu ou une protection anti-bot peut bloquer un crawler même si le `robots.txt` l’autorise. L’outil ne le mesure pas : ce sont les logs du serveur qui le mesurent.
- La liste des crawlers et les déclarations des opérateurs sur le `robots.txt` viennent du registre de MRC Labs : la date de sa dernière mise à jour et celle à laquelle les pages des opérateurs ont été lues figurent sur cette page. La phrase sur `llms.txt` a été vérifiée le 21 novembre 2026.

## Questions fréquentes sur AI Robots & llms.txt

### Quelle différence y a-t-il entre crawlers d’entraînement, crawlers de recherche et agents lancés par les utilisateurs ?

Les crawlers d’entraînement collectent des contenus pour entraîner les modèles : les exclure est un choix du site et ne le retire pas des réponses IA. Les crawlers de recherche indexent pour les réponses d’un moteur ou d’un assistant : si vous les excluez, le site risque d’apparaître moins, ou de ne plus apparaître, dans ces réponses. Les agents lancés par les utilisateurs lisent une page quand une personne le demande.

### Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?

Non. GPTBot est le crawler d’entraînement d’OpenAI. Pour les réponses de ChatGPT search, c’est OAI-SearchBot qui compte : OpenAI déclare que les sites qui l’excluent n’apparaissent pas dans ces réponses. Le jour où la page d’OpenAI a été lue figure sur la page d’AI Robots & llms.txt, à côté de la date du registre des crawlers IA.

### Les agents IA respectent-ils le robots.txt ?

Cela dépend de l’opérateur. OpenAI déclare que, pour ChatGPT-User, les règles du `robots.txt` peuvent ne pas s’appliquer, car l’action est lancée par un utilisateur. Perplexity déclare que Perplexity-User les ignore en général. Anthropic déclare que Claude-User les respecte. Ce sont les déclarations publiées sur les pages des trois opérateurs : le jour où elles ont été lues figure sur la page d’AI Robots & llms.txt, à côté de la date du registre des crawlers IA.

### Que se passe-t-il si je n’ai aucune règle pour les crawlers IA ?

Si le `robots.txt` n’a pas de règles pour les crawlers IA, ce sont celles écrites pour `*`, c’est-à-dire pour tous, qui s’appliquent. Ce n’est pas une erreur : c’est un choix que vous n’avez pas encore fait. Le résultat dit ce qui en découle pour chaque crawler.

### Faut-il un fichier llms.txt ?

Le `llms.txt` est un index utile pour les agents et les outils qui le lisent. Google déclare que sa recherche l’ignore ; OpenAI, Anthropic et Perplexity ne déclarent pas l’utiliser (vérification du 21 novembre 2026). S’il manque, ce n’est pas un problème grave : un HTML lisible et un `robots.txt` en ordre passent avant.

## Quels bots IA laisser entrer

L’outil dit ce que votre `robots.txt` autorise aujourd’hui. Ce qu’il vaut la peine d’autoriser dépend de ce que vous vendez et sur quels marchés : écrivez-moi, je vous réponds moi-même et, si besoin, nous convenons d’un appel. Le service correspondant est [GEO et recherche IA](https://mrcstudio.io/fr/services/geo-recherche-ia/).

[Écrivez-moi](https://mrcstudio.io/fr/contact/)
