← Werkzeuge
KI-Crawler-Zugangscheck
Liest Ihre robots.txt und zeigt tabellarisch, welche von 16 KI-Crawlern Ihre Website betreten dürfen.
Die Prüfung liest ausschließlich öffentlich zugängliche Dateien. Sie schreibt nichts und meldet sich nirgends an.
Kurze Antwort
Dürfen GPTBot oder ClaudeBot meine Website crawlen?
Der KI-Crawler-Zugangscheck holt die /robots.txt einer Domain, interpretiert sie nach RFC 9309 und liefert für 16 Crawler — darunter GPTBot, ClaudeBot, PerplexityBot und Google-Extended — erlaubt, blockiert oder nicht angegeben. Er wendet Gruppenzuordnung und die Longest-Match-Regel an, was nicht dasselbe ist wie die Datei nach „Disallow“ zu durchsuchen.
Das Wichtigste
- Hat ein Crawler eine eigene Gruppe, gilt die Wildcard-Gruppe (*) für ihn gar nicht — auch nicht für Regeln, die seine eigene Gruppe auslässt.
- Kollidieren Allow und Disallow, gewinnt das längste Muster, nicht die zuerst stehende Zeile.
- „Nicht angegeben“ ist nicht dasselbe wie „erlaubt“: Der Crawler darf heute hinein, aber die Website hat dazu nichts erklärt.
Häufige Fragen
Sollte ich KI-Crawler blockieren?
- Das sind zwei getrennte Entscheidungen und sollten nicht vermischt werden. Trainings-Crawler zu blockieren (GPTBot, Google-Extended, ClaudeBot) begrenzt die Nutzung Ihrer Inhalte im Modelltraining und ist eine legitime Lizenzentscheidung. Die antwortproduzierenden Crawler zu blockieren (OAI-SearchBot, PerplexityBot, Claude-SearchBot) entfernt Ihre Marke vollständig aus diesen Antworten.
Suchanfragen, die diese Seite beantwortet
- gptbot blockieren
- ki crawler robots.txt
- google-extended
Sprechen wir über Ihr Projekt.
Eine neue Marke, eine zu erneuernde Website oder Sichtbarkeit in der Suche — schreiben Sie uns, wo Sie beginnen möchten, und wir entwerfen den Weg gemeinsam.