Respostas rápidas

AIGROW oferece monitorização da visibilidade em IA, um assistente para empresas, publicação de artigos no blog e serviços de automação com escopo definido. Comece pela análise gratuita para avaliar o resultado antes de pagar.

Faça a análise gratuita

A análise é gratuita e os planos de monitorização começam em 29 € por mês. A auditoria de operações custa 290 €, a auditoria de visibilidade custa 490 € e os projetos personalizados recebem um preço por escrito antes do início do trabalho.

Ver os planos

Faça a análise gratuita. Ela lê o seu site, pergunta a vários assistentes de IA o que os seus clientes perguntam e indica-lhe uma coisa. Não é necessário criar uma conta e a análise dirá se não precisa de nós.

Comece agora

Sim. Use o formulário de contacto para questões sobre o produto, faturação, suporte ou projetos. Descreva o objetivo e o sistema envolvido para que a primeira resposta possa ser específica.

Contactar a AIGROW

Gerador de robots.txt para IA

Escolha que rastreadores de IA podem ler o seu site. Comece com uma configuração predefinida, altere as regras de cada rastreador e descarregue a secção de IA do seu robots.txt. Gratuito, sem precisar de criar uma conta.

Gratuito e sem registo. As suas escolhas ficam guardadas no URL desta página para que possa partilhá-las.

Configuração predefinida

OAI-SearchBot

OpenAI: Pesquisa do ChatGPT

Claude-SearchBot

Anthropic: Pesquisa do Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri e Spotlight

DuckAssistBot

DuckDuckGo: respostas do DuckDuckGo

MistralAI-Index

Mistral: Pesquisa do Vibe

Amzn-SearchBot

Amazon: Pesquisa Alexa

YouBot

You.com: respostas do You.com

Rastreadores acionados a pedido

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Meta-ExternalFetcher

Meta: Meta AI

Amzn-User

Amazon: Alexa

Rastreadores de treino

GPTBot

OpenAI: futuros modelos da OpenAI

ClaudeBot

Anthropic: futuros modelos do Claude

Google-Extended

Google: treino e fundamentação do Gemini

Applebot-Extended

Apple: treino do Apple Intelligence

MistralAI-Training

Mistral: futuros modelos Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Produtos e modelos da Amazon

CCBot

Common Crawl: o conjunto de dados aberto usado para treinar a maioria dos modelos

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: preferência legada no robots.txt

Googlebot e Bingbot não estão incluídos no ficheiro. Também rastreiam páginas para Google Search e Bing, por isso o grupo User-agent: * continua a definir as regras para ambos. Para impedir que as suas páginas sejam usadas no treino e na fundamentação de respostas do Gemini, bloqueie Google-Extended.

Opcional. Um caminho por linha, até 20 linhas. Comece cada caminho com / e não use espaços nem #. Estes caminhos são incluídos no URL partilhado.

As suas regras de robots.txt para IA

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Coloque estas regras no ficheiro robots.txt na raiz do seu site e mantenha qualquer grupo User-agent: * já existente.

Verifique a que rastreadores o seu site permite acesso agora

Este gerador gratuito de robots.txt para IA cria regras para os rastreadores do diretório da AIGROW. Por padrão, permite rastreadores de pesquisa e os que abrem páginas a pedido de alguém, mas bloqueia rastreadores de treino. Escolha outra configuração predefinida ou ajuste cada rastreador, adicione caminhos a excluir e copie ou baixe as regras para o seu site.

Como funciona

Escolha por onde começar
A configuração predefinida permite rastreadores de pesquisa e os que abrem páginas a pedido, mas bloqueia os de treino. Pode permitir todos, bloquear todos ou configurar cada rastreador separadamente.
Um grupo para regras iguais
Os rastreadores com as mesmas regras ficam no mesmo grupo, com várias linhas User-agent. Os nomes vêm do diretório de rastreadores de IA. Googlebot e Bingbot ficam de fora porque também rastreiam páginas para o Google Search e o Bing.
Os caminhos aplicam-se a todos os grupos
Um rastreador incluído num grupo não herda as regras do grupo User-agent: *, conforme descrito na RFC 9309. Os caminhos Disallow adicionais são incluídos em todos os grupos de IA. Os outros caminhos continuam acessíveis aos rastreadores que permitir.
Mantenha o resto do ficheiro
O gerador cria apenas os grupos de IA. Mantenha o seu grupo User-agent: * e as restantes entradas, incluindo os links para o sitemap. Substitua os grupos antigos que mencionem estes mesmos rastreadores e transfira os caminhos que quiser continuar a excluir.

Perguntas sobre rastreadores de IA

Cria grupos User-agent com regras Allow ou Disallow para os rastreadores do diretório de rastreadores de IA, exceto Googlebot e Bingbot, que também rastreiam páginas para o Google Search e o Bing. Os rastreadores com as mesmas regras ficam no mesmo grupo. Pode copiar o texto ou descarregá-lo como robots.txt e depois adicioná-lo ao seu ficheiro atual.

Têm funções e nomes diferentes. Os rastreadores de pesquisa criam o índice que um assistente consulta. Os rastreadores acionados por pedidos dos utilizadores abrem uma página quando alguém a solicita. Os de treino recolhem páginas para modelos futuros, por isso pode definir regras próprias para eles.

O robots.txt comunica um pedido aos rastreadores, conforme descrito na documentação dos seus operadores. O ficheiro indica as regras que lhes pede para seguir.

Na raiz do seu site, por exemplo, https://example.com/robots.txt. Se já existir um ficheiro nesse local, mantenha o grupo User-agent: * e as restantes entradas e atualize os grupos de IA com as regras geradas.

Ferramentas relacionadas

Os assistentes de IA conseguem ler as páginas da sua empresa?

Faça a análise gratuita para verificar o acesso e descobrir o que os assistentes dizem sobre a sua empresa.

Fazer a análise de IA gratuita