Idiomas

Generador de robots.txt

Build your file

Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.

This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.

Open in robots.txt Tester

Se ejecuta por completo en tu navegador: nada de lo que pegues se sube ni se almacena. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Los contadores anónimos de resultados por ejecución pueden utilizarse para investigación agregada; nunca incluyen URL, dominios, IP ni identificadores, y no se publica ninguna estadística con menos de 100 ejecuciones.

Generated robots.txt

Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.

Live match preview

Need a full bot × URL matrix? Open robots.txt Tester →
Comentarios
Informar de un error

¿Algo no funciona en Generador de robots.txt? Cuéntanos qué ha ocurrido. El informe va directamente a una cola privada de revisión, no a una lista pública.

Datos que se enviarán 
 No se adjuntan automáticamente entradas de la herramienta, archivos subidos, fuentes pegadas, resultados completos, parámetros de consulta ni fragmentos de URL. Puedes editar o eliminar arriba el pasaje seleccionado. Los metadatos del navegador y de protección contra abusos se procesan para prevenir spam. 
  
 
  
 
 
  
 
 
           
Preguntas frecuentes
¿Bloquear un robot desindexa mis páginas?
No. robots.txt controla el rastreo, no si una URL permanece indexada. Usa una directiva noindex en una página rastreable cuando necesites una señal de desindexación.
¿Todos los rastreadores obedecerán este archivo?
No. robots.txt es una preferencia pública y voluntaria, no un mecanismo de acceso. Usa autenticación, un cortafuegos de aplicaciones o límites de uso para proteger contenido privado.
¿Por qué necesito una línea de sitemap?
Ofrece a los rastreadores una URL absoluta explícita para el sitemap XML. Es opcional, pero suele ayudar al descubrimiento.
 
Siguiente pasoProbador de robots.txt — verify it with a direct check.
La orientación está disponible en inglés.
También puedes explorar
HerramientaProbador de robots.txtHerramientaComprobador de acceso de rastreadores de IAHerramientaAnalizador de archivos de registro
      
 
Problemas habituales y cómo solucionarlos
 
     
  •  Advertencia La política generada bloquea un rastreador de IA seleccionado Solución: Elimina la regla Disallow del rastreador seleccionado o limítala únicamente a las rutas que deban seguir sin estar disponibles para ese rastreador de IA. 
  •  Advertencia La política generada bloquea un rastreador de búsqueda Solución: Elimina o limita la regla Disallow de Googlebot/Bingbot para que se puedan rastrear las páginas destinadas a la búsqueda orgánica. 
  •  Advertencia La ruta sensible no está bloqueada Solución: Añade reglas Disallow explícitas para las rutas no públicas de administración, preproducción, carrito o búsqueda interna, y protege los datos realmente sensibles mediante autenticación en lugar de robots.txt. 
  •  Información El archivo generado no declara ningún sitemap Solución: Añade una declaración absoluta Sitemap: https://…/sitemap.xml que apunte al sitemap o índice de sitemaps canónico y accesible públicamente. 
  •  Advertencia Los grupos generados contienen reglas contradictorias Solución: Combina las reglas del mismo user-agent en un grupo y resuelve las rutas Allow/Disallow que se solapen para expresar una única política intencionada. 
    •