MRC Check : ce que les bots IA lisent d’une page
MRC Check indique ce que lisent d’une page les bots qui n’exécutent pas JavaScript, comme GPTBot, ClaudeBot et PerplexityBot, et si le robots.txt les laisse passer. Il s’adresse à ceux qui ont un site fait avec un framework JavaScript, avec un constructeur de sites ou avec un outil d’IA, et qui ne savent pas si les bots IA trouvent le texte.
Disponible
MRC Check est gratuit. Il n’enregistre ni l’adresse que vous saisissez ni le résultat : vous pouvez le copier ou l’imprimer.
Catégorie : Outil SEO
Mis à jour le
Analyser un site
Résultat
Je ne peux pas analyser cette adresse. Indiquez l’adresse publique d’un site, même sans https.
La vérification anti-abus a échoué. Rechargez la page et réessayez.
Trop d’analyses en peu de temps. Réessayez dans une minute.
L’outil n’est pas disponible pour le moment. Réessayez plus tard.
L’analyse a échoué. Réessayez dans un instant.
Résultat
- Adresse analysée
- [[url]]
- Analyse du
- Durée
- [[seconds]] secondes
- Version
- [[tool]] [[version]], moteur [[engine]]
Non évaluable : [[notAssessable]]
- [[url]] (réponse [[status]])
[[header]][[excerpt]]
[[note]]
- Présent : [[present]]
- Absent : [[absentStrong]]
- Probablement absent : [[absentUncertain]]
- Incertain : [[undecided]]
- Non vérifié : [[unverified]]
-
Incertain Présent Absent Probablement absent Non vérifié [[title]]
[[id]][[message]]
Preuves
- [[url]] (réponse [[status]])
[[header]][[excerpt]]
[[note]]
Reste à vérifier
- [[text]]
- [[url]] (réponse [[status]])
Requêtes envoyées au site
| Adresse | Adresse finale | Réponse | Temps | Poids |
|---|---|---|---|---|
| [[url]] | [[finalUrl]] | [[status]][[error]] | [[ms]] ms | [[bytes]] byte |
Le résultat dit ce qui ne va pas et pourquoi c’est important. Pour le corriger, écrivez-moi avec l’adresse analysée : je vous réponds moi-même.
Ce qu’il contrôle
Le texte dans le HTML brut
Il compte les mots visibles dans le HTML qu’envoie le serveur, avant tout script. S’ils sont sous le seuil, un bot qui n’exécute pas JavaScript trouve une page presque vide, quoi que voie une personne dans son navigateur.
Un H1 avec du texte
Il cherche un H1 qui contient du texte. C’est le titre qui dit à un bot de quoi parle la page : s’il n’arrive qu’avec JavaScript, il n’existe pas pour les bots IA.
Balise title et meta description
Il contrôle que les deux sont présentes, non vides, dès le HTML brut. S’il en manque une, le résultat dit laquelle.
Le canonical
Il contrôle que le canonical est dans le HTML brut, qu’il est absolu et qu’il pointe vers une adresse valide. Un canonical absent, relatif ou en double laisse aux moteurs le choix de l’adresse qui compte.
De vrais liens
Il compte les liens internes écrits sous la forme <a href>. Ce sont ceux-là qu’un bot suit : une navigation faite seulement de #, de javascript: ou de scripts ne le mène nulle part.
Des données structurées lisibles
Il cherche au moins un bloc JSON-LD valide et liste les types qu’il trouve. Un bloc avec une erreur de syntaxe ne se lit pas : le résultat rapporte l’erreur.
La coquille d’une application JavaScript
Il reconnaît les signes d’une page qui ne se remplit que dans le navigateur : un conteneur d’application vide (#root, #app, #__next, #__nuxt et autres) avec peu de texte, un message noscript qui demande d’activer JavaScript, des compteurs qui valent zéro dans le HTML. Ici, « Présent » veut dire que la page n’est pas une coquille.
Les crawlers IA de recherche
Il lit le robots.txt et indique si les crawlers qui indexent pour les réponses des moteurs et des assistants IA peuvent lire la page. Si un seul est exclu, le résultat dit lequel.
Les agents lancés par les utilisateurs
Il indique si les agents qui ouvrent la page à la demande d’une personne peuvent la lire. Pour ceux dont l’opérateur déclare que le robots.txt peut ne pas s’appliquer, le résultat le signale.
Les crawlers d’entraînement
Il indique si les crawlers qui collectent des contenus pour entraîner les modèles peuvent lire la page. Les exclure est un choix du site : le résultat le rapporte comme une information, pas comme un problème.
La plateforme
Il reconnaît sur quoi le site est construit, quand la plateforme laisse une signature. C’est une information : le jugement vient toujours de la mesure, jamais de la plateforme.
Ce qu’il lit du site, et ce qu’il ne lit pas
MRC Check envoie au maximum 6 requêtes par analyse, une à la fois : le robots.txt du site et la page que vous indiquez, avec ses redirections. Si une redirection mène vers un autre hôte, ou de http à https, il lit aussi le robots.txt de celui-ci. Chaque étape d’une redirection et chaque robots.txt comptent parmi les 6 requêtes.
Il ne lit rien d’autre : ni les ressources de la page, ni les scripts, ni le sitemap. Il n’exécute pas JavaScript, n’envoie pas de cookies et n’utilise pas d’identifiants. Ce que contient la page est une donnée, jamais une instruction.
Il se présente avec un user agent déclaré, qui contient MRC-Labs et l’adresse de cette page : jamais celui d’un navigateur, d’un moteur ou d’un crawler IA. Si un crawler IA peut entrer, il le lit dans le robots.txt : il ne se fait pas passer pour ce crawler pour voir si le site le refoule, car un refus de ce genre mesure la protection anti-bot, pas le choix du site.
Il respecte les règles que votre robots.txt écrit pour MRC-Labs. Il n’applique pas celles du groupe *, car chaque analyse est demandée par une personne pour une page précise, comme pour les agents lancés par les utilisateurs. Pour l’exclure, un groupe User-agent: MRC-Labs suffit.
- le
/robots.txtde l’hôte, et celui de chaque autre hôte ou schéma (http,https) vers lequel mène une redirection - la page que vous indiquez (en général la page d’accueil), avec ses redirections
Ce que veulent dire les quatre états
- Présent : ce qui doit être là est là, et en ordre : le texte, un H1, les liens, un JSON-LD valide. Pour le contrôle de la coquille JavaScript, cela veut dire que la page n’est pas une coquille. Pour les trois contrôles du
robots.txt, cela veut dire que tous les crawlers de cette classe sont autorisés ; si lerobots.txtn’existe pas, tout est autorisé. Pour la plateforme, cela veut seulement dire qu’elle a été reconnue. - Absent : la page a été lue et ce qui doit être là manque : peu de texte, aucun H1, aucun JSON-LD valide, un crawler exclu. Pour le contrôle de la coquille JavaScript, cela veut dire que la page est une coquille. Le résultat dit ce qui manque et où il a regardé.
- Probablement absent : non trouvé, mais il reste un doute que le résultat nomme : peu de texte sur une page qui semble courte exprès, comme une page de connexion ; des signes faibles ou mixtes de coquille JavaScript ; aucune plateforme reconnue, car le site peut être fait sur mesure.
- Non vérifié : aucune conclusion. Le site n’a pas répondu, a refusé la requête ou a montré une page qui n’est pas le site : un mur anti-bot, un domaine parqué, une maintenance. Cela ne veut pas dire que quelque chose manque : après une lecture qui a échoué, MRC Check ne dit jamais « Absent ».
Les limites
- Il lit le HTML brut, c’est-à-dire ce que lisent les crawlers IA. Il ne voit pas ce que JavaScript ajoute à la page : la comparaison avec la page rendue par un navigateur n’existe pas encore.
- Il ne lit pas les logs du serveur. Le
robots.txtdit ce que vous autorisez ; qui passe vraiment sur le site, seuls les logs le disent, et les lire fait partie du service. - Il analyse une page à la fois. Les problèmes d’un template se voient en analysant une page de ce template : une page produit, une catégorie, un article.
- Si la page redirige vers un autre domaine, il analyse la page finale et le signale.
Questions fréquentes sur MRC Check
Pourquoi regarder le HTML brut, si Google exécute JavaScript ?
Parce que les bots IA ne l’exécutent pas. GPTBot, ClaudeBot et PerplexityBot téléchargent le HTML et s’arrêtent là : si le texte n’apparaît que dans le navigateur, pour eux la page est presque vide. Googlebot, lui, exécute JavaScript : une page peut donc être sur Google et rester illisible pour les bots IA.
Mon site est fait avec React, avec Next.js ou avec un constructeur de sites : est-ce un problème ?
Cela dépend de ce qui arrive dans le HTML, pas de la plateforme. Un site qui génère le HTML sur le serveur a le texte dans le code source ; une application qui ne se remplit que dans le navigateur, non. MRC Check reconnaît la plateforme, mais juge d’après la mesure.
Que veut dire « Non vérifié » ?
« Non vérifié » veut dire que MRC Check n’a pas réussi à lire, et qu’il ne conclut donc rien : le site n’a pas répondu à temps, a refusé la requête ou a montré une page d’attente. Ce n’est pas un jugement sur le site.
Comment exclure MRC Check de mon site ?
Ajoutez au robots.txt un groupe User-agent: MRC-Labs avec Disallow: /. MRC Check lit le robots.txt avant la page : s’il est exclu, il ne la lit pas, et les contrôles sur la page sortent « Non vérifié ».
MRC Check me dit-il comment corriger ?
Non. Il dit ce qui ne va pas et pourquoi c’est important : le diagnostic est gratuit, la correction est le service.
MRC Check enregistre-t-il l’adresse ou le résultat ?
Non. L’adresse ne sert qu’à l’analyse et le résultat n’est pas enregistré : si vous en avez besoin, copiez-le ou imprimez-le.
Corriger ce que vous avez trouvé
Écrivez-moi avec l’adresse de la page et le résultat : je vous réponds moi-même et, si besoin, nous convenons d’un appel. Pour les pages qui ne se remplissent qu’avec JavaScript et pour les problèmes de template, le service correspondant est SEO technique et audit.