Générateur de robots.txt
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
S’exécute entièrement dans votre navigateur : rien de ce que vous collez n’est envoyé ni stocké. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Des compteurs anonymes de résultats par exécution peuvent servir à la recherche agrégée ; les URL, domaines, adresses IP et identifiants ne sont jamais inclus, et aucune statistique issue de moins de 100 exécutions n’est publiée.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →À propos de cet outil
Créez un robots.txt clair avec des préréglages de robots, une ligne Sitemap et une correspondance d’URL de style Google avant de publier le fichier.
Fonctionnalités
- Groupes prêts à l’emploi pour robots de recherche, d’IA, d’assistants et d’archives.
- Correspondance en direct des URL avec la règle la plus spécifique.
- Sitemap absolu facultatif et crawl-delay Bingbot documenté.
- Aperçu copiable et vérification d’URL représentatives dans le navigateur.
Fonctionnement
Le générateur compose des groupes User-agent avec des règles Allow/Disallow, puis applique le même moteur de correspondance de style Google que le testeur robots.txt. Les URL d’exemple sont évaluées localement et aucun fichier n’est envoyé au serveur.
Limites
- robots.txt est public et volontaire ; il ne remplace ni l’authentification ni un contrôle d’accès.
- Une règle Disallow ne désindexe pas une URL déjà connue d’un moteur.
- Les robots non conformes peuvent ignorer le fichier et les directives non standard.
Questions fréquentes
Le blocage d’un robot désindexe-t-il mes pages ?
Non. robots.txt contrôle l’exploration, pas l’indexation. Utilisez une directive noindex sur une page explorable pour envoyer un signal de désindexation.
Tous les robots respecteront-ils ce fichier ?
Non. robots.txt est une préférence d’exploration publique et volontaire, et non un contrôle d’accès. Utilisez une authentification, un WAF ou une limitation de débit pour protéger le contenu privé.
Pourquoi ajouter une ligne Sitemap ?
Elle fournit aux robots une URL absolue explicite vers votre sitemap XML. Elle est facultative, mais généralement utile pour faciliter sa découverte.
Problèmes courants et solutions
- Avertissement politique générée blocks a selected AI robot d’exploration Solution : Supprimez la règle Disallow du robot sélectionné ou limitez-la aux seuls chemins qui doivent rester indisponibles pour ce robot IA.
- Avertissement politique générée blocks a search robot d’exploration Solution : Remove ou narrow the Googlerobot/Bingbot interdire règle so pages intended pour organic search sont crawlable.
- Avertissement Sensitive path est ne interdit Solution : Add explicit interdire règles pour Non.-public admin, staging, cart, ou internal-search paths, while protecting truly sensitive données avec authentification rather than robots.txt.
- Information fichier généré a Non.sitemap declaration Solution : Ajoutez une déclaration Sitemap: https://…/sitemap.xml absolue pointant vers le sitemap canonique accessible au public ou vers son index.
- Avertissement généré groupes contain conflicting règles Solution : Combine règles pour the même user-agent dans one groupe et resolve overlapping autoriser/interdire paths to express one intentional policy.