AI Robots & llms.txt: was Ihre robots.txt KI-Bots erlaubt
AI Robots & llms.txt liest die robots.txt und die llms.txt einer Website und zeigt, was jeder KI-Crawler darf, getrennt nach Training, Suche und Nutzeranfragen. Es ist für alle, die entscheiden wollen, welche KI-Bots sie auf ihre Website lassen, und wissen möchten, was jede Wahl bedeutet.
Verfügbar
AI Robots & llms.txt ist kostenlos. Es speichert weder die Adresse, die Sie eingeben, noch das Ergebnis: Sie können es kopieren oder drucken.
Kategorie: SEO-Tool
KI-Crawler-Register aktualisiert am 17. November 2026. Angaben der Betreiber gelesen am 5. Oktober 2026.
Aktualisiert am
Website analysieren
Ergebnis
Diese Adresse kann ich nicht analysieren. Geben Sie die öffentliche Adresse einer Website ein, auch ohne https.
Die Prüfung gegen Missbrauch ist fehlgeschlagen. Laden Sie die Seite neu und versuchen Sie es noch einmal.
Zu viele Analysen in kurzer Zeit. Versuchen Sie es in einer Minute noch einmal.
Das Tool ist im Moment nicht verfügbar. Versuchen Sie es später noch einmal.
Die Analyse ist fehlgeschlagen. Versuchen Sie es bitte gleich noch einmal.
Ergebnis
- Analysierte Adresse
- [[url]]
- Analyse vom
- Dauer
- [[seconds]] Sekunden
- Version
- [[tool]] [[version]], Engine [[engine]]
Nicht bewertbar: [[notAssessable]]
- [[url]] (Antwort [[status]])
[[header]][[excerpt]]
[[note]]
- Vorhanden: [[present]]
- Fehlt: [[absentStrong]]
- Fehlt wahrscheinlich: [[absentUncertain]]
- Nicht eindeutig: [[undecided]]
- Nicht geprüft: [[unverified]]
-
Nicht eindeutig Vorhanden Fehlt Fehlt wahrscheinlich Nicht geprüft [[title]]
[[id]][[message]]
Belege
- [[url]] (Antwort [[status]])
[[header]][[excerpt]]
[[note]]
Noch zu prüfen
- [[text]]
- [[url]] (Antwort [[status]])
Anfragen an die Website
| Adresse | Endadresse | Antwort | Zeit | Größe |
|---|---|---|---|---|
| [[url]] | [[finalUrl]] | [[status]][[error]] | [[ms]] ms | [[bytes]] byte |
Das Ergebnis zeigt, was nicht stimmt und warum es wichtig ist. Für die Korrektur schreiben Sie mir mit der analysierten Adresse: Ich antworte Ihnen persönlich.
Was es prüft
Die robots.txt ist da und lesbar
Fragt /robots.txt ab und prüft, ob eine gültige Textdatei antwortet. Gibt es die Datei nicht, ist alles zugelassen, und das Ergebnis erklärt das. Eine Datei über 500 KiB, der Grenze von Google, gilt nicht als gelesen.
Die Syntax: Zeilen, die das Tool nicht anwendet
Listet mit Zeilennummer die Regeln auf, die vor jedem User-agent stehen, unbekannte Direktiven, Zeichen, die Zeilen umbrechen, und Pfade ohne / am Anfang. Das sind Regeln, die Sie zu haben glauben und die ein Crawler möglicherweise nicht anwendet; das Ergebnis nennt den Grund, Zeile für Zeile.
Die KI-Such-Crawler
Zeigt, ob die Crawler, die für die Antworten von KI-Suchmaschinen und KI-Assistenten indexieren, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Sperren Sie einen aus, läuft das, was dieser Crawler nicht lesen darf, Gefahr, in den Antworten dieses Dienstes seltener oder gar nicht mehr zu erscheinen.
Die von Nutzern ausgelösten Agenten
Zeigt, ob die Agenten, die eine Seite im Auftrag einer Person öffnen, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Es meldet auch, was die Betreiber erklären: für ChatGPT-User und Perplexity-User, dass die robots.txt möglicherweise nicht gilt, für Claude-User, dass Anthropic sie respektiert.
Die Trainings-Crawler
Zeigt, ob die Crawler, die Inhalte zum Training von Modellen sammeln, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Sie auszusperren ist eine Entscheidung der Website, und das Ergebnis stellt es so dar.
Eine ausdrückliche Wahl
Prüft, ob die robots.txt mindestens eine Gruppe für einen KI-Crawler enthält. Gibt es keine, gelten die Regeln der Gruppe *, und das Ergebnis zeigt, was daraus für jeden Crawler folgt.
Die Content-Signale
Sucht eine gültige Zeile Content-Signal, die der Content Signals Policy, und meldet ihre Werte: search, ai-input und ai-train, jeweils yes oder no. Ein fehlendes Signal erlaubt nichts und verbietet nichts.
Die Sitemap
Prüft, ob die robots.txt mindestens eine Sitemap mit absoluter Adresse angibt: Es ist die Zeile, die den Crawlern sagt, wo sie die Liste der Seiten der Website finden.
Die Datei llms.txt
Fragt /llms.txt ab und zeigt, ob sie vorhanden ist. Sie ist ein nützliches Verzeichnis für die Agenten und Tools, die sie lesen. Google erklärt, dass seine Suche die Datei ignoriert; OpenAI, Anthropic und Perplexity geben nicht an, sie zu nutzen (Prüfung vom 21. November 2026). Ihr Fehlen ist kein schweres Problem.
Das Format der llms.txt
Prüft, ob die llms.txt Markdown ist, mit einer Überschrift erster Ebene und mindestens einem Link. Der Vorschlag von llmstxt.org verlangt nur die Überschrift: Die Zusammenfassung als Zitat und die Abschnitte mit Linklisten sind optional. Dass eine Datei ohne Links als „Fehlt“ gilt, ist eine Entscheidung dieses Tools, nicht des Vorschlags.
Crawler für Crawler
Unter jeder der drei Prüfungen pro Klasse listet das Ergebnis die Crawler dieser Klasse einzeln auf: ob jeder zugelassen oder ausgesperrt ist, oder ob es nicht eindeutig ist, für das Stammverzeichnis der Website und für den Pfad, den Sie angeben, und die Regel der robots.txt, die entscheidet.
Was es von der Website liest, und was nicht
AI Robots & llms.txt stellt höchstens 4 Anfragen pro Analyse, eine nach der anderen, und liest nur die Dateien im Stammverzeichnis der Website. Die Domain genügt; wenn Sie möchten, fügen Sie einen Pfad hinzu, der zusätzlich zum Stammverzeichnis geprüft wird, zum Beispiel /blog/.
Es liest die Seiten der Website nicht. Es führt kein JavaScript aus, sendet keine Cookies und nutzt keine Zugangsdaten. Was die Dateien enthalten, sind Daten, nie Anweisungen.
Es tritt mit einem deklarierten User-Agent auf, der MRC-Labs und die Adresse dieser Seite enthält: nie mit dem eines KI-Crawlers. Was ein Crawler darf, liest es aus der robots.txt.
Es hält sich an die Regeln, die Ihre robots.txt für MRC-Labs schreibt. Die der Gruppe * wendet es nicht an, weil jede Analyse von einer Person für eine bestimmte Website angefordert wird, wie bei den von Nutzern ausgelösten Agenten. Um es auszusperren, genügt eine Gruppe User-agent: MRC-Labs.
/robots.txt/llms.txt/llms-full.txt, nur wennllms.txtexistiert und sie nennt- eine Weiterleitung, wenn
robots.txtauf einen anderen Host verweist: Jeder Schritt zählt zu den 4 Anfragen
Was die vier Status bedeuten
- Vorhanden: die Datei ist da und lesbar, die gesuchte Zeile ist vorhanden, oder alle Crawler dieser Klasse sind zugelassen. Bei den Zeilen, die das Tool nicht anwendet, bedeutet es, dass es keine gibt.
- Fehlt: die Datei existiert nicht, die gesuchte Zeile fehlt, oder mindestens ein Crawler der Klasse ist ausgesperrt, und das Ergebnis nennt welcher. Bei den Zeilen, die das Tool nicht anwendet, bedeutet es, dass es welche gibt, und das Ergebnis listet sie auf. Bei der
robots.txtbedeutet eine Datei, die nicht existiert, dass alles zugelassen ist. - Fehlt wahrscheinlich: nicht gefunden, aber es bleibt ein Weg, den das Tool nicht prüfen konnte. Das Ergebnis nennt ihn.
- Nicht geprüft: keine Schlussfolgerung. Die Website hat mit einem Fehler geantwortet (401, 403, 429 oder ein Serverfehler), nicht rechtzeitig geantwortet, eine HTML-Seite statt der Textdatei geschickt oder eine zu große Datei. Aus einem fehlgeschlagenen Lesen schließt das Tool nie, dass ein Crawler gesperrt oder zugelassen ist.
Die Grenzen
- Die
robots.txtsagt, was eine Website verlangt, nicht, was jeder Crawler tut: Einige Betreiber erklären, dass ihre von Nutzern ausgelösten Agenten sie möglicherweise nicht respektieren. - Eine Firewall oder ein Bot-Schutz kann einen Crawler blockieren, auch wenn die
robots.txtihn zulässt. Das Tool misst das nicht: Das messen die Server-Logs. - Die Liste der Crawler und die Angaben der Betreiber zur
robots.txtstammen aus dem Register von MRC Labs: Das Datum der letzten Aktualisierung und das Datum, an dem die Seiten der Betreiber gelesen wurden, stehen auf dieser Seite. Die Aussage zullms.txtwurde am 21. November 2026 geprüft.
Häufige Fragen zu AI Robots & llms.txt
Was ist der Unterschied zwischen Trainings-Crawlern, Such-Crawlern und von Nutzern ausgelösten Agenten?
Trainings-Crawler sammeln Inhalte, um Modelle zu trainieren: Sie auszusperren ist eine Entscheidung der Website und nimmt sie nicht aus den KI-Antworten. Such-Crawler indexieren für die Antworten einer Suchmaschine oder eines Assistenten: Wenn Sie sie aussperren, läuft die Website Gefahr, in diesen Antworten seltener oder gar nicht mehr zu erscheinen. Von Nutzern ausgelöste Agenten lesen eine Seite, wenn eine Person darum bittet.
Wenn ich GPTBot blockiere, verschwinde ich dann aus ChatGPT?
Nein. GPTBot ist der Trainings-Crawler von OpenAI. Für die Antworten der Suche von ChatGPT zählt OAI-SearchBot: OpenAI erklärt, dass Websites, die ihn aussperren, in diesen Antworten nicht erscheinen. Der Tag, an dem die Seite von OpenAI gelesen wurde, steht auf der Seite von AI Robots & llms.txt, neben dem Datum des KI-Crawler-Registers.
Halten sich KI-Agenten an die robots.txt?
Das hängt vom Betreiber ab. OpenAI erklärt, dass für ChatGPT-User die Regeln der robots.txt möglicherweise nicht gelten, weil die Aktion von einem Nutzer ausgelöst wird. Perplexity erklärt, dass Perplexity-User sie in der Regel ignoriert. Anthropic erklärt, dass Claude-User sie respektiert. Das sind die Angaben auf den Seiten der drei Betreiber: Der Tag, an dem sie gelesen wurden, steht auf der Seite von AI Robots & llms.txt, neben dem Datum des KI-Crawler-Registers.
Was passiert, wenn ich keine Regel für KI-Crawler habe?
Hat die robots.txt keine Regeln für KI-Crawler, gelten die für *, also für alle. Das ist kein Fehler: Es ist eine Entscheidung, die Sie noch nicht getroffen haben. Das Ergebnis zeigt, was daraus für jeden Crawler folgt.
Brauche ich eine llms.txt?
llms.txt ist ein nützliches Verzeichnis für die Agenten und Tools, die es lesen. Google erklärt, dass seine Suche die Datei ignoriert; OpenAI, Anthropic und Perplexity geben nicht an, sie zu nutzen (Prüfung vom 21. November 2026). Fehlt die Datei, ist das kein schweres Problem: Zuerst kommen lesbares HTML und eine saubere robots.txt.
Welche KI-Bots Sie hereinlassen
Das Tool zeigt, was Ihre robots.txt heute erlaubt. Was sich zu erlauben lohnt, hängt davon ab, was Sie verkaufen und in welchen Märkten: Schreiben Sie mir, ich antworte Ihnen persönlich und vereinbare bei Bedarf ein Gespräch mit Ihnen. Die Dienstleistung ist GEO und KI-Suche.