Como permitir que os crawlers de pesquisa do ChatGPT, Claude e Perplexity acedam ao seu site

Criou um site ou produto, mas, quando alguém pergunta «recomende um serviço para esta tarefa», o ChatGPT, o Claude e o Perplexity não o mencionam. Vale a pena verificar se um assistente consegue ler o seu site e se o acesso está bloqueado.

Não existe um botão para «aparecer numa resposta de IA», e ninguém pode garantir uma citação. O ChatGPT, o Claude e o Perplexity têm crawlers próprios para pesquisa: pode permitir-lhes o acesso ao seu site através do ficheiro robots.txt. Depois, verifique se conseguem aceder ao texto da página e se a segurança do seu site está a impedir o acesso.

O que significa «ser visível para a IA»?#

Quando alguém pergunta ao ChatGPT ou ao Perplexity «onde posso ler sobre X?» ou «que serviço devo escolher?», por vezes o assistente pesquisa na Web e acrescenta ligações para páginas. Para que a sua página entre nesta lista de candidatas, o crawler do assistente tem de a ter lido e não pode ter tido o acesso negado.

Há três aspetos a verificar no seu site:

• o crawler consegue aceder ao site: não está bloqueado no robots.txt e as medidas de segurança não impedem o acesso;
• o crawler consegue ver o texto da página, e não apenas uma estrutura vazia que o navegador preenche;
• a página responde a uma pergunta específica de forma honesta e clara, em vez de substituir a resposta por uma lista de palavras-chave.

Comece pelo acesso: se o crawler não conseguiu ler a página, também não conseguirá obter o texto útil que ela contém.

Em que difere um crawler de pesquisa de um crawler de treino?#

O acesso deve ser permitido ou bloqueado separadamente para cada crawler. Uma decisão genérica de «deixar a IA entrar no site» não tem em conta as diferenças entre as tarefas de cada um.

• Um crawler de pesquisa permite que as suas páginas apareçam nas respostas do assistente quando um utilizador faz uma pergunta. Permita o acesso se quiser que o seu site esteja disponível para pesquisa.
• Um crawler de treino recolhe texto que poderá ser utilizado para treinar futuras versões de um modelo. A decisão de permitir o acesso é sua; não afeta diretamente a sua presença nas respostas de pesquisa atuais.

A documentação da OpenAI dá um exemplo: pode permitir que um crawler de pesquisa percorra o seu site e, ao mesmo tempo, bloquear o crawler de treino, para que o texto do seu site não seja utilizado para treino. Estas duas definições são configuradas de forma independente no mesmo ficheiro.

Quais são os nomes dos crawlers do ChatGPT, Claude e Perplexity?#

Para configurar o acesso, precisa dos nomes exatos dos crawlers (user-agent), que deve indicar no ficheiro robots.txt. A tabela apresenta os nomes e as finalidades de acordo com a documentação oficial de cada empresa, em setembro de 2026.

Os crawlers ChatGPT-User, Claude-User e Perplexity-User visitam uma página a pedido de uma pessoa durante uma conversa, mas cada empresa tem regras de acesso diferentes. A OpenAI indica que as regras de robots.txt podem não se aplicar ao ChatGPT-User. A Perplexity afirma que o Perplexity-User normalmente as ignora porque a visita foi iniciada pelo utilizador. A Anthropic controla o acesso do Claude-User através do robots.txt: se o bloquear nesse ficheiro, o Claude não irá obter páginas em resposta a pedidos dos utilizadores. O acesso dos crawlers de pesquisa é configurado separadamente.

O Google-Extended não tem uma linha própria de user-agent durante o rastreio — é apenas um token de controlo no robots.txt. Determina se o seu conteúdo pode ser utilizado para IA generativa da Google e não afeta a Pesquisa Google normal.

Se quiser criar um site com uma estrutura clara e texto acessível, pense na forma de organizar a informação.

Como permitir crawlers no robots.txt: passo a passo#

O robots.txt é um ficheiro de texto simples na raiz do site, disponível num endereço como https://example.com/robots.txt. Os crawlers leem-no antes de rastrear o site e seguem as suas instruções, exceto nas visitas a pedido do utilizador descritas acima.

1. Abra o ficheiro atual. Introduza o endereço do seu site num navegador e acrescente /robots.txt. Veja o que já está no ficheiro e se os crawlers de que precisa foram bloqueados por engano por uma linha Disallow: /. Procure também linhas Disallow: para áreas restritas — páginas de conta, páginas de pagamento, a secção de administração: vai precisar delas no passo seguinte.
2. Adicione um grupo para os crawlers de pesquisa dos assistentes. Cada grupo especifica um nome de crawler e regras de acesso. Para permitir o rastreio, utilize Allow: /. Um crawler segue as regras do grupo em que o seu nome é especificado separadamente; não herda as regras do grupo geral User-agent: *. As restrições que aparecem apenas em User-agent: * não se aplicam a esse crawler. Se tiver áreas restritas, repita as mesmas linhas Disallow: em cada novo grupo, caso contrário ficarão acessíveis a esse crawler.
3. Decida separadamente o que fazer com os crawlers de treino. Se não quiser que o texto seja utilizado para treino, defina Disallow: / para GPTBot e ClaudeBot. Isto não afeta a visibilidade na pesquisa.
4. Guarde o ficheiro na raiz do site e confirme que abre em /robots.txt. Se tiver subdomínios (por exemplo, blog.example.com), cada um precisa do seu próprio ficheiro — os crawlers leem o ficheiro correspondente a cada subdomínio.

Antes de copiar o exemplo, verifique as restrições das áreas restritas. Se deixar Disallow: /dashboard/ apenas em User-agent: *, essa regra não se aplicará ao OAI-SearchBot, que tem o seu próprio grupo. Indique os caminhos restritos em cada grupo em que permite que um crawler percorra o site.

No exemplo abaixo, os crawlers de pesquisa dos assistentes têm o acesso permitido, mas a área restrita /dashboard/ é bloqueada diretamente nos respetivos grupos; os crawlers de treino são totalmente bloqueados. Bloquear os crawlers de treino é opcional — a decisão é sua e deve substituir a lista de caminhos restritos pela sua própria lista.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

De acordo com a documentação da OpenAI e da Perplexity, os respetivos sistemas poderão precisar de cerca de um dia para ter em conta as alterações ao robots.txt. Não espere um efeito imediato depois de guardar o ficheiro.

Como se apresenta isto num site ativo?#

No exemplo descrito das definições de robots.txt, os nomes dos crawlers dos assistentes — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended e outros — estão reunidos num único grupo. Abaixo deles encontram-se Allow: / e as mesmas linhas Disallow: para áreas restritas que no grupo geral User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ e outras. Os URLs das sitemaps são indicados no final do ficheiro através da diretiva Sitemap:.

As restrições são repetidas no grupo dos crawlers dos assistentes, para que as áreas restritas também fiquem bloqueadas para eles. Pode abrir o /robots.txt de qualquer site e ver como está configurado — o ficheiro é sempre público.

O que mais ajuda os crawlers a compreender um site?#

Mesmo quando o rastreio é permitido, um crawler poderá não conseguir obter o conteúdo da página. Para além das regras de acesso, verifique a forma como o site disponibiliza o texto e ajuda as pessoas a encontrar o seu conteúdo.

• O texto está disponível de imediato. Se os scripts renderizarem o conteúdo da página no navegador, alguns crawlers verão apenas uma estrutura vazia. Para verificar, abra a página, escolha «ver código-fonte da página» e procure o seu texto. Se não estiver lá e aparecer apenas na visualização normal da página, terá de investigar a forma como a página é disponibilizada.
• Existe uma sitemap. O ficheiro sitemap.xml é uma lista de todas as suas páginas. Ajuda os crawlers a não deixar conteúdos por encontrar. Adicione uma ligação para a sitemap no robots.txt, com uma linha Sitemap:.
• A resposta é clara para uma pessoa. Os crawlers dos assistentes procuram páginas que respondam a perguntas. Um título claro, uma resposta curta no início e uma linguagem honesta funcionam melhor do que uma lista de palavras-chave.

Porque poderá um site ser invisível para a IA?#

Se o seu site não aparecer nas respostas, verifique estas possíveis barreiras de acesso.

• O crawler está bloqueado no robots.txt. Por vezes, o ficheiro contém uma restrição geral que bloqueia os crawlers de que precisa. Verifique se existe um Disallow: / num grupo aplicável aos crawlers dos assistentes.
• O texto não está visível sem um navegador. Se os scripts gerarem o conteúdo, o crawler poderá não o receber. A verificação do código-fonte está descrita acima.
• A segurança do site bloqueia os crawlers. Muitos sites utilizam proteção contra tráfego indesejado — por exemplo, a Cloudflare. Essa proteção poderá bloquear o acesso independentemente do robots.txt. Com o robots.txt, controla para onde um crawler pode ir; a segurança do site decide se permite a passagem do respetivo pedido. A Perplexity recomenda que permita manualmente os crawlers nas definições de segurança, utilizando os nomes dos respetivos user-agents e os endereços IP publicados. Defina as regras de rastreio através do robots.txt: a Anthropic também alerta que bloquear crawlers apenas pelo endereço IP é pouco fiável. Se utilizar um serviço semelhante, verifique as respetivas definições.

Verifique as causas uma a uma: comece pelo robots.txt, depois consulte o código-fonte da página e, por fim, verifique as definições de segurança. A ausência destas barreiras, por si só, não garante que o seu site apareça nas respostas.

Como pode verificar se um crawler chegou à página?#

Esta verificação ajuda a avaliar a acessibilidade do seu site e a encontrar registos de visitas dos crawlers.

• Abra https://example.com/robots.txt num navegador — o ficheiro deverá abrir e conter os grupos necessários.
• Abra a sitemap em https://example.com/sitemap.xml — deverá abrir e apresentar uma lista de páginas.
• Veja o código-fonte de uma página importante e procure nele o seu texto.
• Se tiver acesso aos registos do servidor, procure os nomes dos crawlers — OAI-SearchBot, PerplexityBot e outros. As respetivas visitas são visíveis através do user-agent.

Esta verificação não mostra se o assistente irá escolher especificamente a sua página. Isso depende da pergunta do utilizador e da qualidade da resposta que a página lhe dá.

O que estas definições não garantem#

O acesso ao seu site e a sua presença na resposta de um assistente são resultados diferentes. Estas definições têm limitações.

• A citação não é garantida. O acesso aberto apenas dá ao crawler a possibilidade de ler o seu site. A decisão de o citar cabe ao assistente e depende da pergunta.
• Ninguém promete posições ou tráfego. A definição do robots.txt abre o acesso, mas não garante um lugar nos resultados de pesquisa.
• Alguns crawlers poderão ignorar as regras do ficheiro. Isto aplica-se a alguns crawlers que visitam o site em resposta a um pedido direto do utilizador — por exemplo, o ChatGPT-User da OpenAI e o Perplexity-User da Perplexity.
• As regras mudam. Os programadores atualizam os nomes dos crawlers e as respetivas condições. Vale a pena consultar a documentação de poucos em poucos meses; as ligações encontram-se no final.

Controla o acesso e a qualidade do seu site, mas é o assistente que decide se inclui uma ligação. O objetivo destas definições é disponibilizar uma página útil para pesquisa e leitura, sem tentar «enganar» o assistente.

O que fazer a seguir#

Abra o robots.txt, adicione os crawlers de pesquisa dos assistentes e verifique a sitemap e a disponibilidade do texto. Se a segurança estiver a bloquear o acesso, verifique também as respetivas definições. Estas ações ajudam a identificar e remover barreiras técnicas. Depois, examine as próprias páginas: dão respostas claras a perguntas específicas do seu público?