# Como permitir que os crawlers de pesquisa do ChatGPT, Claude e Perplexity acedam ao seu site
> Nomes dos crawlers de pesquisa e de treino, exemplo completo de robots.txt, sitemap, disponibilidade do texto e limitações das citações.
Source: https://ailoot.ai/blog/pt-pt/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/pt-pt/ai-search-crawlers-robots-txt/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-341d7fd35d232cf4c63bca9350515578648c0c1907c6860aff9c83b4f52ff9a3
Criou um site ou produto, mas, quando alguém pergunta «recomende um serviço para esta tarefa», o ChatGPT, o Claude e o Perplexity não o mencionam. Vale a pena verificar se um assistente consegue ler o seu site e se o acesso está bloqueado.
Não existe um botão para «aparecer numa resposta de IA», e ninguém pode garantir uma citação. O ChatGPT, o Claude e o Perplexity têm crawlers próprios para pesquisa: pode permitir-lhes o acesso ao seu site através do ficheiro `robots.txt`. Depois, verifique se conseguem aceder ao texto da página e se a segurança do seu site está a impedir o acesso.
As instruções práticas para trabalhar com o Ailoot estão na [documentação](https://ailoot.ai/docs/).
## O que significa «ser visível para a IA»?
Principal conclusão
Os assistentes de IA têm crawlers para diferentes tarefas: alguns recolhem sites para pesquisa dentro do assistente, enquanto outros recolhem texto para treinar modelos. Para as respostas de pesquisa, importa o primeiro tipo. Pode permitir o acesso de um crawler, mas isso não obriga o assistente a citá-lo — ninguém pode garantir uma citação.
Quando alguém pergunta ao ChatGPT ou ao Perplexity «onde posso ler sobre X?» ou «que serviço devo escolher?», por vezes o assistente pesquisa na Web e acrescenta ligações para páginas. Para que a sua página entre nesta lista de candidatas, o crawler do assistente tem de a ter lido e não pode ter tido o acesso negado.
Há três aspetos a verificar no seu site:
- o crawler consegue aceder ao site: não está bloqueado no `robots.txt` e as medidas de segurança não impedem o acesso;
- o crawler consegue ver o texto da página, e não apenas uma estrutura vazia que o navegador preenche;
- a página responde a uma pergunta específica de forma honesta e clara, em vez de substituir a resposta por uma lista de palavras-chave.
Comece pelo acesso: se o crawler não conseguiu ler a página, também não conseguirá obter o texto útil que ela contém.
## Em que difere um crawler de pesquisa de um crawler de treino?
Principal conclusão
Cada um dos principais assistentes tem crawlers com tarefas distintas. Um crawler de pesquisa recolhe sites para que possam aparecer nas respostas e nos resultados de pesquisa do assistente. Um crawler de treino recolhe texto para treinar um modelo. Estas definições são independentes: pode permitir o acesso do crawler de pesquisa e bloquear o crawler de treino.
O acesso deve ser permitido ou bloqueado separadamente para cada crawler. Uma decisão genérica de «deixar a IA entrar no site» não tem em conta as diferenças entre as tarefas de cada um.
- **Um crawler de pesquisa** permite que as suas páginas apareçam nas respostas do assistente quando um utilizador faz uma pergunta. Permita o acesso se quiser que o seu site esteja disponível para pesquisa.
- **Um crawler de treino** recolhe texto que poderá ser utilizado para treinar futuras versões de um modelo. A decisão de permitir o acesso é sua; não afeta diretamente a sua presença nas respostas de pesquisa atuais.
A documentação da OpenAI dá um exemplo: pode permitir que um crawler de pesquisa percorra o seu site e, ao mesmo tempo, bloquear o crawler de treino, para que o texto do seu site não seja utilizado para treino. Estas duas definições são configuradas de forma independente no mesmo ficheiro.
## Quais são os nomes dos crawlers do ChatGPT, Claude e Perplexity?
Principal conclusão
Na OpenAI, o crawler de pesquisa é OAI-SearchBot, o crawler de treino é GPTBot e o ChatGPT-User visita páginas a pedido do utilizador. Na Anthropic: Claude-SearchBot (pesquisa), ClaudeBot (treino) e Claude-User (a pedido do utilizador). No Perplexity: PerplexityBot (pesquisa) e Perplexity-User (a pedido do utilizador). A Google tem um token separado, Google-Extended, que controla a utilização do conteúdo do site para IA generativa.
Para configurar o acesso, precisa dos nomes exatos dos crawlers (user-agent), que deve indicar no ficheiro `robots.txt`. A tabela apresenta os nomes e as finalidades de acordo com a documentação oficial de cada empresa, em setembro de 2026.
| Crawler (user-agent) ou token | Entidade responsável | O que faz | Permitir para obter visibilidade? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Apresenta sites na pesquisa do ChatGPT | Sim |
| `GPTBot` | OpenAI | Recolhe texto para treinar modelos | Fica ao seu critério |
| `ChatGPT-User` | OpenAI | Visita uma página a pedido do utilizador | Normalmente, sim |
| `Claude-SearchBot` | Anthropic | Indexa sites para melhorar a qualidade da pesquisa | Sim |
| `ClaudeBot` | Anthropic | Recolhe texto para treinar modelos | Fica ao seu critério |
| `Claude-User` | Anthropic | Visita uma página a pedido de um utilizador do Claude | Normalmente, sim |
| `PerplexityBot` | Perplexity | Apresenta sites nos resultados da pesquisa e cria ligações para eles | Sim |
| `Perplexity-User` | Perplexity | Visita uma página a pedido do utilizador | Normalmente, sim |
| `Google-Extended` | Google | Token que controla a utilização do conteúdo do site para IA generativa da Google | Fica ao seu critério |
Os crawlers `ChatGPT-User`, `Claude-User` e `Perplexity-User` visitam uma página a pedido de uma pessoa durante uma conversa, mas cada empresa tem regras de acesso diferentes. A OpenAI indica que as regras de `robots.txt` podem não se aplicar ao `ChatGPT-User`. A Perplexity afirma que o `Perplexity-User` normalmente as ignora porque a visita foi iniciada pelo utilizador. A Anthropic controla o acesso do `Claude-User` através do `robots.txt`: se o bloquear nesse ficheiro, o Claude não irá obter páginas em resposta a pedidos dos utilizadores. O acesso dos crawlers de pesquisa é configurado separadamente.
O `Google-Extended` não tem uma linha própria de user-agent durante o rastreio — é apenas um token de controlo no `robots.txt`. Determina se o seu conteúdo pode ser utilizado para IA generativa da Google e não afeta a Pesquisa Google normal.
Se quiser criar um site com uma estrutura clara e texto acessível, pense na forma de organizar a informação.
## Como permitir crawlers no robots.txt: passo a passo
Principal conclusão
O ficheiro robots.txt encontra-se na raiz do site e define as regras de acesso dos crawlers. Para permitir o acesso dos crawlers de pesquisa dos assistentes, adicione os respetivos user-agents com autorização para rastrear o site. Cada subdomínio precisa do seu próprio ficheiro.
O `robots.txt` é um ficheiro de texto simples na raiz do site, disponível num endereço como `https://example.com/robots.txt`. Os crawlers leem-no antes de rastrear o site e seguem as suas instruções, exceto nas visitas a pedido do utilizador descritas acima.
1. **Abra o ficheiro atual.** Introduza o endereço do seu site num navegador e acrescente `/robots.txt`. Veja o que já está no ficheiro e se os crawlers de que precisa foram bloqueados por engano por uma linha `Disallow: /`. Procure também linhas `Disallow:` para áreas restritas — páginas de conta, páginas de pagamento, a secção de administração: vai precisar delas no passo seguinte.
2. **Adicione um grupo para os crawlers de pesquisa dos assistentes.** Cada grupo especifica um nome de crawler e regras de acesso. Para permitir o rastreio, utilize `Allow: /`. Um crawler segue as regras do grupo em que o seu nome é especificado separadamente; não herda as regras do grupo geral `User-agent: *`. As restrições que aparecem apenas em `User-agent: *` não se aplicam a esse crawler. Se tiver áreas restritas, repita as mesmas linhas `Disallow:` em cada novo grupo, caso contrário ficarão acessíveis a esse crawler.
3. **Decida separadamente o que fazer com os crawlers de treino.** Se não quiser que o texto seja utilizado para treino, defina `Disallow: /` para `GPTBot` e `ClaudeBot`. Isto não afeta a visibilidade na pesquisa.
4. **Guarde o ficheiro na raiz do site** e confirme que abre em `/robots.txt`. Se tiver subdomínios (por exemplo, `blog.example.com`), cada um precisa do seu próprio ficheiro — os crawlers leem o ficheiro correspondente a cada subdomínio.
Antes de copiar o exemplo, verifique as restrições das áreas restritas. Se deixar `Disallow: /dashboard/` apenas em `User-agent: *`, essa regra não se aplicará ao `OAI-SearchBot`, que tem o seu próprio grupo. Indique os caminhos restritos em cada grupo em que permite que um crawler percorra o site.
No exemplo abaixo, os crawlers de pesquisa dos assistentes têm o acesso permitido, mas a área restrita `/dashboard/` é bloqueada diretamente nos respetivos grupos; os crawlers de treino são totalmente bloqueados. Bloquear os crawlers de treino é opcional — a decisão é sua e deve substituir a lista de caminhos restritos pela sua própria lista.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
De acordo com a documentação da OpenAI e da Perplexity, os respetivos sistemas poderão precisar de cerca de um dia para ter em conta as alterações ao `robots.txt`. Não espere um efeito imediato depois de guardar o ficheiro.
## Como se apresenta isto num site ativo?
No exemplo descrito das definições de `robots.txt`, os nomes dos crawlers dos assistentes — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` e outros — estão reunidos num único grupo. Abaixo deles encontram-se `Allow: /` e as mesmas linhas `Disallow:` para áreas restritas que no grupo geral `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` e outras. Os URLs das sitemaps são indicados no final do ficheiro através da diretiva `Sitemap:`.
As restrições são repetidas no grupo dos crawlers dos assistentes, para que as áreas restritas também fiquem bloqueadas para eles. Pode abrir o `/robots.txt` de qualquer site e ver como está configurado — o ficheiro é sempre público.
## O que mais ajuda os crawlers a compreender um site?
Principal conclusão
Depois de configurar o acesso, verifique se o texto da página está visível sem executar scripts do navegador, se existe um ficheiro sitemap.xml e se a resposta em si é clara.
Mesmo quando o rastreio é permitido, um crawler poderá não conseguir obter o conteúdo da página. Para além das regras de acesso, verifique a forma como o site disponibiliza o texto e ajuda as pessoas a encontrar o seu conteúdo.
- **O texto está disponível de imediato.** Se os scripts renderizarem o conteúdo da página no navegador, alguns crawlers verão apenas uma estrutura vazia. Para verificar, abra a página, escolha «ver código-fonte da página» e procure o seu texto. Se não estiver lá e aparecer apenas na visualização normal da página, terá de investigar a forma como a página é disponibilizada.
- **Existe uma sitemap.** O ficheiro `sitemap.xml` é uma lista de todas as suas páginas. Ajuda os crawlers a não deixar conteúdos por encontrar. Adicione uma ligação para a sitemap no `robots.txt`, com uma linha `Sitemap:`.
- **A resposta é clara para uma pessoa.** Os crawlers dos assistentes procuram páginas que respondam a perguntas. Um título claro, uma resposta curta no início e uma linguagem honesta funcionam melhor do que uma lista de palavras-chave.
## Porque poderá um site ser invisível para a IA?
Principal conclusão
Há três causas que vale a pena verificar: o crawler está bloqueado no robots.txt, o texto é gerado por scripts e não está visível sem um navegador, ou a segurança do site bloqueia os crawlers. No primeiro caso, verifique o ficheiro; no segundo, a forma como as páginas são disponibilizadas; no terceiro, as definições de segurança.
Se o seu site não aparecer nas respostas, verifique estas possíveis barreiras de acesso.
- **O crawler está bloqueado no `robots.txt`.** Por vezes, o ficheiro contém uma restrição geral que bloqueia os crawlers de que precisa. Verifique se existe um `Disallow: /` num grupo aplicável aos crawlers dos assistentes.
- **O texto não está visível sem um navegador.** Se os scripts gerarem o conteúdo, o crawler poderá não o receber. A verificação do código-fonte está descrita acima.
- **A segurança do site bloqueia os crawlers.** Muitos sites utilizam proteção contra tráfego indesejado — por exemplo, a Cloudflare. Essa proteção poderá bloquear o acesso independentemente do `robots.txt`. Com o `robots.txt`, controla para onde um crawler pode ir; a segurança do site decide se permite a passagem do respetivo pedido. A Perplexity recomenda que permita manualmente os crawlers nas definições de segurança, utilizando os nomes dos respetivos user-agents e os endereços IP publicados. Defina as regras de rastreio através do `robots.txt`: a Anthropic também alerta que bloquear crawlers apenas pelo endereço IP é pouco fiável. Se utilizar um serviço semelhante, verifique as respetivas definições.
Verifique as causas uma a uma: comece pelo `robots.txt`, depois consulte o código-fonte da página e, por fim, verifique as definições de segurança. A ausência destas barreiras, por si só, não garante que o seu site apareça nas respostas.
## Como pode verificar se um crawler chegou à página?
Principal conclusão
Não existe um contador direto de «fui citado». Mas pode verificar o essencial: se o robots.txt abre, se o texto está visível no código-fonte e se a sitemap está disponível. As visitas dos crawlers são visíveis nos registos do servidor através do respetivo user-agent.
Esta verificação ajuda a avaliar a acessibilidade do seu site e a encontrar registos de visitas dos crawlers.
- Abra `https://example.com/robots.txt` num navegador — o ficheiro deverá abrir e conter os grupos necessários.
- Abra a sitemap em `https://example.com/sitemap.xml` — deverá abrir e apresentar uma lista de páginas.
- Veja o código-fonte de uma página importante e procure nele o seu texto.
- Se tiver acesso aos registos do servidor, procure os nomes dos crawlers — `OAI-SearchBot`, `PerplexityBot` e outros. As respetivas visitas são visíveis através do user-agent.
Esta verificação não mostra se o assistente irá escolher especificamente a sua página. Isso depende da pergunta do utilizador e da qualidade da resposta que a página lhe dá.
## O que estas definições não garantem
O acesso ao seu site e a sua presença na resposta de um assistente são resultados diferentes. Estas definições têm limitações.
- **A citação não é garantida.** O acesso aberto apenas dá ao crawler a possibilidade de ler o seu site. A decisão de o citar cabe ao assistente e depende da pergunta.
- **Ninguém promete posições ou tráfego.** A definição do `robots.txt` abre o acesso, mas não garante um lugar nos resultados de pesquisa.
- **Alguns crawlers poderão ignorar as regras do ficheiro.** Isto aplica-se a alguns crawlers que visitam o site em resposta a um pedido direto do utilizador — por exemplo, o `ChatGPT-User` da OpenAI e o `Perplexity-User` da Perplexity.
- **As regras mudam.** Os programadores atualizam os nomes dos crawlers e as respetivas condições. Vale a pena consultar a documentação de poucos em poucos meses; as ligações encontram-se no final.
Controla o acesso e a qualidade do seu site, mas é o assistente que decide se inclui uma ligação. O objetivo destas definições é disponibilizar uma página útil para pesquisa e leitura, sem tentar «enganar» o assistente.
## O que fazer a seguir
Abra o `robots.txt`, adicione os crawlers de pesquisa dos assistentes e verifique a sitemap e a disponibilidade do texto. Se a segurança estiver a bloquear o acesso, verifique também as respetivas definições. Estas ações ajudam a identificar e remover barreiras técnicas. Depois, examine as próprias páginas: dão respostas claras a perguntas específicas do seu público?
### Fontes
- [OpenAI: visão geral dos crawlers (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: crawlers do Claude e como controlar o acesso](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawlers e definições de segurança do site](https://docs.perplexity.ai/guides/bots)
- [Google: visão geral dos crawlers e do token Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Continue a explorar o Ailoot em [ailoot.ai](https://ailoot.ai/).
## Perguntas frequentes
### Porque pode um grupo de crawler específico reabrir caminhos bloqueados em User-agent: *?
Um crawler com um grupo específico correspondente usa as regras desse grupo, sem herdar as do grupo genérico. Repita as regras Disallow dos caminhos restritos em cada grupo específico que autorizar.
### Autorizar um crawler de pesquisa garante que o assistente citará a minha página?
Não. Verifique robots.txt, texto no código-fonte, disponibilidade do sitemap e registos do servidor para comprovar acesso. Essas verificações demonstram acessibilidade ou visitas, não que o assistente escolherá a página para uma resposta.
## Ailoot · A empresa e a sua carteira de projetos
A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.
A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.
A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.