---
title: "AI Robots & llms.txt: robots.txt für KI-Bots · MRC Studio"
description: "Prüft, was Ihre robots.txt jedem KI-Crawler erlaubt, getrennt nach Training, Suche und Nutzeranfragen, und kontrolliert Ihre llms.txt."
url: https://mrcstudio.io/de/labs/ai-robots-llms-txt/
lang: de
updated: 2026-11-21
---

# AI Robots & llms.txt: was Ihre robots.txt KI-Bots erlaubt

AI Robots & llms.txt liest die `robots.txt` und die `llms.txt` einer Website und zeigt, was jeder KI-Crawler darf, getrennt nach Training, Suche und Nutzeranfragen. Es ist für alle, die entscheiden wollen, welche KI-Bots sie auf ihre Website lassen, und wissen möchten, was jede Wahl bedeutet.

Verfügbar

AI Robots & llms.txt ist kostenlos. Es speichert weder die Adresse, die Sie eingeben, noch das Ergebnis: Sie können es kopieren oder drucken.

Kategorie: SEO-Tool

KI-Crawler-Register aktualisiert am 17. November 2026. Angaben der Betreiber gelesen am 5. Oktober 2026.

Aktualisiert am 21. November 2026

## Was es prüft

### Die robots.txt ist da und lesbar

Fragt `/robots.txt` ab und prüft, ob eine gültige Textdatei antwortet. Gibt es die Datei nicht, ist alles zugelassen, und das Ergebnis erklärt das. Eine Datei über 500 KiB, der Grenze von Google, gilt nicht als gelesen.

### Die Syntax: Zeilen, die das Tool nicht anwendet

Listet mit Zeilennummer die Regeln auf, die vor jedem `User-agent` stehen, unbekannte Direktiven, Zeichen, die Zeilen umbrechen, und Pfade ohne `/` am Anfang. Das sind Regeln, die Sie zu haben glauben und die ein Crawler möglicherweise nicht anwendet; das Ergebnis nennt den Grund, Zeile für Zeile.

### Die KI-Such-Crawler

Zeigt, ob die Crawler, die für die Antworten von KI-Suchmaschinen und KI-Assistenten indexieren, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Sperren Sie einen aus, läuft das, was dieser Crawler nicht lesen darf, Gefahr, in den Antworten dieses Dienstes seltener oder gar nicht mehr zu erscheinen.

### Die von Nutzern ausgelösten Agenten

Zeigt, ob die Agenten, die eine Seite im Auftrag einer Person öffnen, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Es meldet auch, was die Betreiber erklären: für ChatGPT-User und Perplexity-User, dass die `robots.txt` möglicherweise nicht gilt, für Claude-User, dass Anthropic sie respektiert.

### Die Trainings-Crawler

Zeigt, ob die Crawler, die Inhalte zum Training von Modellen sammeln, das Stammverzeichnis der Website und den Pfad lesen dürfen, den Sie angeben. Sie auszusperren ist eine Entscheidung der Website, und das Ergebnis stellt es so dar.

### Eine ausdrückliche Wahl

Prüft, ob die `robots.txt` mindestens eine Gruppe für einen KI-Crawler enthält. Gibt es keine, gelten die Regeln der Gruppe `*`, und das Ergebnis zeigt, was daraus für jeden Crawler folgt.

### Die Content-Signale

Sucht eine gültige Zeile `Content-Signal`, die der Content Signals Policy, und meldet ihre Werte: `search`, `ai-input` und `ai-train`, jeweils `yes` oder `no`. Ein fehlendes Signal erlaubt nichts und verbietet nichts.

### Die Sitemap

Prüft, ob die `robots.txt` mindestens eine Sitemap mit absoluter Adresse angibt: Es ist die Zeile, die den Crawlern sagt, wo sie die Liste der Seiten der Website finden.

### Die Datei llms.txt

Fragt `/llms.txt` ab und zeigt, ob sie vorhanden ist. Sie ist ein nützliches Verzeichnis für die Agenten und Tools, die sie lesen. Google erklärt, dass seine Suche die Datei ignoriert; OpenAI, Anthropic und Perplexity geben nicht an, sie zu nutzen (Prüfung vom 21. November 2026). Ihr Fehlen ist kein schweres Problem.

### Das Format der llms.txt

Prüft, ob die `llms.txt` Markdown ist, mit einer Überschrift erster Ebene und mindestens einem Link. Der Vorschlag von llmstxt.org verlangt nur die Überschrift: Die Zusammenfassung als Zitat und die Abschnitte mit Linklisten sind optional. Dass eine Datei ohne Links als „Fehlt“ gilt, ist eine Entscheidung dieses Tools, nicht des Vorschlags.

### Crawler für Crawler

Unter jeder der drei Prüfungen pro Klasse listet das Ergebnis die Crawler dieser Klasse einzeln auf: ob jeder zugelassen oder ausgesperrt ist, oder ob es nicht eindeutig ist, für das Stammverzeichnis der Website und für den Pfad, den Sie angeben, und die Regel der `robots.txt`, die entscheidet.

## Was es von der Website liest, und was nicht

AI Robots & llms.txt stellt höchstens 4 Anfragen pro Analyse, eine nach der anderen, und liest nur die Dateien im Stammverzeichnis der Website. Die Domain genügt; wenn Sie möchten, fügen Sie einen Pfad hinzu, der zusätzlich zum Stammverzeichnis geprüft wird, zum Beispiel `/blog/`.

Es liest die Seiten der Website nicht. Es führt kein JavaScript aus, sendet keine Cookies und nutzt keine Zugangsdaten. Was die Dateien enthalten, sind Daten, nie Anweisungen.

Es tritt mit einem deklarierten User-Agent auf, der `MRC-Labs` und die Adresse dieser Seite enthält: nie mit dem eines KI-Crawlers. Was ein Crawler darf, liest es aus der `robots.txt`.

Es hält sich an die Regeln, die Ihre `robots.txt` für `MRC-Labs` schreibt. Die der Gruppe `*` wendet es nicht an, weil jede Analyse von einer Person für eine bestimmte Website angefordert wird, wie bei den von Nutzern ausgelösten Agenten. Um es auszusperren, genügt eine Gruppe `User-agent: MRC-Labs`.

- `/robots.txt`
- `/llms.txt`
- `/llms-full.txt`, nur wenn `llms.txt` existiert und sie nennt
- eine Weiterleitung, wenn `robots.txt` auf einen anderen Host verweist: Jeder Schritt zählt zu den 4 Anfragen

## Was die vier Status bedeuten

- **Vorhanden**: die Datei ist da und lesbar, die gesuchte Zeile ist vorhanden, oder alle Crawler dieser Klasse sind zugelassen. Bei den Zeilen, die das Tool nicht anwendet, bedeutet es, dass es keine gibt.
- **Fehlt**: die Datei existiert nicht, die gesuchte Zeile fehlt, oder mindestens ein Crawler der Klasse ist ausgesperrt, und das Ergebnis nennt welcher. Bei den Zeilen, die das Tool nicht anwendet, bedeutet es, dass es welche gibt, und das Ergebnis listet sie auf. Bei der `robots.txt` bedeutet eine Datei, die nicht existiert, dass alles zugelassen ist.
- **Fehlt wahrscheinlich**: nicht gefunden, aber es bleibt ein Weg, den das Tool nicht prüfen konnte. Das Ergebnis nennt ihn.
- **Nicht geprüft**: keine Schlussfolgerung. Die Website hat mit einem Fehler geantwortet (401, 403, 429 oder ein Serverfehler), nicht rechtzeitig geantwortet, eine HTML-Seite statt der Textdatei geschickt oder eine zu große Datei. Aus einem fehlgeschlagenen Lesen schließt das Tool nie, dass ein Crawler gesperrt oder zugelassen ist.

## Die Grenzen

- Die `robots.txt` sagt, was eine Website verlangt, nicht, was jeder Crawler tut: Einige Betreiber erklären, dass ihre von Nutzern ausgelösten Agenten sie möglicherweise nicht respektieren.
- Eine Firewall oder ein Bot-Schutz kann einen Crawler blockieren, auch wenn die `robots.txt` ihn zulässt. Das Tool misst das nicht: Das messen die Server-Logs.
- Die Liste der Crawler und die Angaben der Betreiber zur `robots.txt` stammen aus dem Register von MRC Labs: Das Datum der letzten Aktualisierung und das Datum, an dem die Seiten der Betreiber gelesen wurden, stehen auf dieser Seite. Die Aussage zu `llms.txt` wurde am 21. November 2026 geprüft.

## Häufige Fragen zu AI Robots & llms.txt

### Was ist der Unterschied zwischen Trainings-Crawlern, Such-Crawlern und von Nutzern ausgelösten Agenten?

Trainings-Crawler sammeln Inhalte, um Modelle zu trainieren: Sie auszusperren ist eine Entscheidung der Website und nimmt sie nicht aus den KI-Antworten. Such-Crawler indexieren für die Antworten einer Suchmaschine oder eines Assistenten: Wenn Sie sie aussperren, läuft die Website Gefahr, in diesen Antworten seltener oder gar nicht mehr zu erscheinen. Von Nutzern ausgelöste Agenten lesen eine Seite, wenn eine Person darum bittet.

### Wenn ich GPTBot blockiere, verschwinde ich dann aus ChatGPT?

Nein. GPTBot ist der Trainings-Crawler von OpenAI. Für die Antworten der Suche von ChatGPT zählt OAI-SearchBot: OpenAI erklärt, dass Websites, die ihn aussperren, in diesen Antworten nicht erscheinen. Der Tag, an dem die Seite von OpenAI gelesen wurde, steht auf der Seite von AI Robots & llms.txt, neben dem Datum des KI-Crawler-Registers.

### Halten sich KI-Agenten an die robots.txt?

Das hängt vom Betreiber ab. OpenAI erklärt, dass für ChatGPT-User die Regeln der `robots.txt` möglicherweise nicht gelten, weil die Aktion von einem Nutzer ausgelöst wird. Perplexity erklärt, dass Perplexity-User sie in der Regel ignoriert. Anthropic erklärt, dass Claude-User sie respektiert. Das sind die Angaben auf den Seiten der drei Betreiber: Der Tag, an dem sie gelesen wurden, steht auf der Seite von AI Robots & llms.txt, neben dem Datum des KI-Crawler-Registers.

### Was passiert, wenn ich keine Regel für KI-Crawler habe?

Hat die `robots.txt` keine Regeln für KI-Crawler, gelten die für `*`, also für alle. Das ist kein Fehler: Es ist eine Entscheidung, die Sie noch nicht getroffen haben. Das Ergebnis zeigt, was daraus für jeden Crawler folgt.

### Brauche ich eine llms.txt?

`llms.txt` ist ein nützliches Verzeichnis für die Agenten und Tools, die es lesen. Google erklärt, dass seine Suche die Datei ignoriert; OpenAI, Anthropic und Perplexity geben nicht an, sie zu nutzen (Prüfung vom 21. November 2026). Fehlt die Datei, ist das kein schweres Problem: Zuerst kommen lesbares HTML und eine saubere `robots.txt`.

## Welche KI-Bots Sie hereinlassen

Das Tool zeigt, was Ihre `robots.txt` heute erlaubt. Was sich zu erlauben lohnt, hängt davon ab, was Sie verkaufen und in welchen Märkten: Schreiben Sie mir, ich antworte Ihnen persönlich und vereinbare bei Bedarf ein Gespräch mit Ihnen. Die Dienstleistung ist [GEO und KI-Suche](https://mrcstudio.io/de/leistungen/geo-ki-suche/).

[Schreiben Sie mir](https://mrcstudio.io/de/kontakt/)
