¿Pueden los asistentes de IA leer tu sitio?
Comprueba las reglas de robots.txt, las señales noindex y noai y las respuestas HTTP de tu sitio.
Gratis, sin cuenta ni correo electrónico. La comprobación tarda varios segundos.
Esta herramienta gratuita comprueba el acceso de los rastreadores de IA: lee robots.txt, revisa las señales meta robots y X-Robots-Tag y envía solicitudes con los agentes de usuario de los rastreadores. Cada fila muestra la regla aplicable y la respuesta HTTP. Los resultados «permitido», «bloqueado» y «no concluyente» describen lo que observamos desde nuestro servidor; no garantizan que un rastreador real reciba la misma respuesta.
Cómo funciona esta comprobación
- robots.txt
- Se lee el archivo robots.txt del sitio una vez y se aplican a la página las reglas de cada rastreador según RFC 9309: el grupo que identifica al rastreador prevalece sobre el grupo general.
- Una solicitud con el agente de usuario de cada rastreador
- Se solicita la página con el agente de usuario de cada rastreador. La tabla muestra el estado HTTP, cualquier comprobación de seguridad y la cadena de agente enviada. Google-Extended y Applebot-Extended son identificadores de control y no generan una solicitud aparte. Googlebot y Bingbot solo se comprueban en robots.txt.
- Solicitud de control
- También se solicita la página como lo haría un navegador corriente. Si esa solicitud también se rechaza, las respuestas a las solicitudes de los rastreadores no permiten sacar conclusiones sobre ellos en particular y solo se evalúa robots.txt.
- La limitación
- Nuestras solicitudes salen de nuestra dirección. Un firewall que compruebe las direcciones IP publicadas por un rastreador puede rechazar nuestra solicitud y permitir la del rastreador real. Por eso, Googlebot y Bingbot solo se evalúan mediante robots.txt.
Cada rastreador de la tabla tiene su propia página en la lista de rastreadores de IA.
Crea un robots.txt completo para IA · Comprueba la longitud del título y la descripción
Preguntas sobre los rastreadores de IA
Descubre qué dicen los asistentes sobre ti
El análisis gratuito lee tu sitio, comprueba los mismos rastreadores y plantea a los asistentes las preguntas que hacen tus compradores.