Permission
Is the crawler allowed?
Prüfer für KI-Crawler-Zugriff
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
Die Prüfungen laufen auf unserem Server. Wir rufen die von dir eingegebene URL ab und speichern die Ergebnisse nicht. Anonyme Ergebniszähler auf Ausführungsebene können für aggregierte Forschung verwendet werden; URLs, Domains, IP-Adressen und Kennungen werden nie einbezogen, und Statistiken werden erst ab 100 Ausführungen veröffentlicht.
+ speichert die aktuelle Website oder Seite. Nutze ☆ neben einer gespeicherten Website, Seite oder Liste, um sie als Favorit zu markieren. Der Verlauf der letzten Prüfungen erscheint darunter.
Benannte Liste erstellen
Ziel aus deinen lokalen Auswahlen übernommen.
Website-Pass Lokaler Kontext für diese gespeicherte Website
Lokale Daten
Gespeicherte Ziele, benannte Listen und Zusammenfassungen der letzten Prüfungen bleiben nur in diesem Browser.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
Dieses Werkzeug bewerten
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
Über dieses Werkzeug
Prüfe, ob GPTBot, ClaudeBot, PerplexityBot, Google-Extended und weitere KI-Crawler deine robots.txt-Regeln für eine öffentliche URL erlauben oder blockieren. Der Matcher verwendet Googles Open-Source-Parser und zeigt die gewinnende Regel sowie eine llms.txt-Prüfung.
robots.txt ist eine Empfehlung, keine Sperre; Allowed/Blocked beschreibt dokumentierte Haltung, nicht tatsächliche Durchsetzung.
Funktionen
- Allowed/Blocked je KI-Crawler mit gewinnender robots.txt-Regel und Zeilennummer
- Gruppierung nach Live retrieval & answer citation und Model training
- Verifizierbar/Unverifizierbar über veröffentlichte IP-Bereiche oder FCrDNS und Bot-Verifier-Querverweis
- Posture-Generator für Training/Retrieval-Pfade mit kopierbaren robots.txt-Regeln ohne Googlebot-Verbot
So funktioniert es
Gib eine URL ein und löse Turnstile. Der Server holt robots.txt sowie llms.txt, der Browser wendet den Parser auf jeden Crawler an und zeigt Regel/Zeile. Wähle im Generator Training/Retrieval und Pfad; exportiere die Regeln, blockiere nicht pauschal Googlebot.
Einschränkungen
- Crawler können robots.txt ignorieren; echte Sperre erfordert CDN/WAF und IP-Prüfung.
- Ein User-Agent ist spoofbar; unverifizierbar bedeutet fehlende veröffentlichte Prüfmethode, nicht echt oder falsch.
- llms.txt ändert kein Verdict; kein großer KI-Crawler ist dokumentiert als Leser.
Häufig gestellte Fragen
Verhindert das Blockieren von `GPTBot`, dass `ChatGPT` meine Website zitiert?
Nicht zwingend. Trainings-, Such- und Nutzerabrufe können unterschiedliche Systeme und Regeln verwenden. Eine robots.txt-Regel kontrolliert nur Crawler, die sie beachten.
Kann ich Google AI Overviews mit robots.txt ablehnen?
Nicht separat über eine spezielle Overview-Regel. Googles dokumentierte Such-Crawler-Regeln und Vorschaukontrollen gelten; eine Blockierung von Googlebot kann auch die normale Suche beeinträchtigen.
Kann robots.txt einen KI-Crawler sicher stoppen?
Nein. robots.txt ist eine freiwillige Richtlinie. Für eine technische Sperre brauchst du `CDN`- oder `WAF`-Regeln sowie eine Prüfung der tatsächlichen Client-IP; `User-Agent`-Zeichenfolgen allein lassen sich fälschen.
Was bedeutet unverifizierbar?
Für den behaupteten Crawler fehlt eine veröffentlichte IP- oder `FCrDNS`-Prüfmethode. Das ist kein Beweis für echt oder falsch, sondern eine getrennte Evidenzstufe.
Ändert eine `llms.txt`-Datei eines dieser Urteile?
Nein. `llms.txt` ist eine vorgeschlagene Inhaltskonvention und keine Zugriffskontrolle. Die Urteile beruhen auf `robots.txt` und verifizierbaren Crawler-Signalen.
Häufige Probleme und ihre Behebung
- Fehler Ausgewählt AI crawler ist blockiert Lösung: Entfernen oder narrow die ausgewählt AI crawler’s Disallow Regel für Inhalt sie intend ist zu access, dann erneut testen das genau user-agent und pfad.
- Warnung Ausgewählt AI crawler ist blockiert auf einige pfade Lösung: Prüfung je blockiert pfad und narrow die crawler-specific Disallow patterns also nur intentionally privat Abschnitte bleiben excluded.
- Fehler Wildcard Regeln blockieren AI crawler Lösung: Adjust die User-agent: * group weil sein Disallow Regeln ebenfalls apply zu AI crawler ohne ein mehr spezifisch applicable richtlinie.
- Warnung Spezifisch und wildcard crawler richtlinien Konflikt Lösung: Consolidate wildcard und crawler-specific groups in ein beabsichtigt precedence-safe richtlinie, dann Test repräsentativ erlaubt und blockiert pfade.
- Information Crawler ist nicht in die aktuell liste Lösung: Bestätigen die Bot’s veröffentlicht user-agent und betreiber documentation bevor adding ein dedicated group oder changing access Regeln.