# Ouvrir un site aux robots ChatGPT, Claude et Perplexity
> Noms des robots d’exploration de recherche et d’entraînement, exemple complet de robots.txt, plan du site, disponibilité du texte et limites des citations.
Source: https://ailoot.ai/blog/fr/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/fr/ai-search-crawlers-robots-txt/
Language: fr
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-fd56215e28fee885426e4949289ad29905a1ff3cd36e49143decf9e3f6ad18d7
Vous avez créé un site Web ou un produit, mais quand quelqu’un demande : « recommandez un service pour cette tâche », ChatGPT, Claude et Perplexity ne le mentionnent pas. Il vaut la peine de vérifier si un assistant peut lire votre site et si l’accès est bloqué.
Il n’existe pas de bouton pour « apparaître dans une réponse d’IA », et personne ne peut garantir une citation. ChatGPT, Claude et Perplexity ont des robots d’exploration distincts pour la recherche : vous pouvez leur autoriser l’accès à votre site par l’intermédiaire de `robots.txt`. Vérifiez ensuite s’ils peuvent accéder au texte de la page et si la sécurité de votre site empêche l’accès.
Les instructions pratiques pour utiliser Ailoot se trouvent dans la [documentation](https://ailoot.ai/docs/).
## Que signifie être « visible par l’IA » ?
À retenir
Les assistants d’IA ont des robots d’exploration pour différentes tâches : certains collectent des sites Web pour les recherches dans l’assistant, tandis que d’autres collectent du texte pour entraîner des modèles. Le premier type compte pour les réponses aux recherches. Vous pouvez autoriser l’accès d’un robot, mais cela n’oblige pas l’assistant à vous citer : personne ne peut garantir une citation.
Quand quelqu’un demande à ChatGPT ou à Perplexity « où puis-je lire des informations sur X ? » ou « quel service devrais-je choisir ? », l’assistant effectue parfois une recherche sur le Web et ajoute des liens vers des pages. Pour que votre page figure dans cette liste de candidates, le robot d’exploration de l’assistant doit l’avoir lue et ne pas s’être vu refuser l’accès.
Il y a trois éléments à vérifier sur votre site :
- le robot d’exploration peut accéder au site : il n’est pas bloqué dans `robots.txt` et les mesures de sécurité n’empêchent pas l’accès ;
- le robot d’exploration peut voir le texte de la page, et non une coquille vide que le navigateur remplit ;
- la page répond honnêtement et clairement à une question précise, au lieu de remplacer une réponse par une liste de mots-clés.
Commencez par l’accès : si le robot n’a pas pu lire la page, il n’obtiendra pas non plus le texte utile qu’elle contient.
## En quoi un robot d’exploration de recherche diffère-t-il d’un robot d’entraînement ?
À retenir
Chaque grand assistant possède des robots d’exploration chargés de tâches distinctes. Un robot d’exploration de recherche collecte des sites Web afin qu’ils puissent apparaître dans les réponses et les résultats de recherche de l’assistant. Un robot d’entraînement collecte du texte pour entraîner un modèle. Ces paramètres sont indépendants : vous pouvez autoriser le robot de recherche et bloquer le robot d’entraînement.
L’accès doit être autorisé ou bloqué séparément pour chaque robot d’exploration. Une décision générale consistant à « laisser l’IA accéder au site » ne tient pas compte des différences entre leurs tâches.
- **Un robot d’exploration de recherche** permet à vos pages d’apparaître dans les réponses de l’assistant lorsqu’un utilisateur pose une question. Autorisez-le si vous voulez que votre site soit accessible aux recherches.
- **Un robot d’entraînement** collecte du texte qui peut servir à entraîner de futures versions d’un modèle. Vous décidez de l’autoriser ou non ; cela n’a pas d’effet direct sur votre présence dans les réponses de recherche actuelles.
La documentation d’OpenAI donne un exemple : vous pouvez autoriser un robot de recherche à explorer votre site tout en bloquant le robot d’entraînement, afin que le texte de votre site ne soit pas utilisé pour l’entraînement. Ces deux paramètres se configurent indépendamment dans le même fichier.
## Quels sont les noms des robots d’exploration de ChatGPT, Claude et Perplexity ?
À retenir
Pour OpenAI, le robot de recherche est OAI-SearchBot, le robot d’entraînement est GPTBot, et ChatGPT-User effectue des visites à la demande de l’utilisateur. Pour Anthropic : Claude-SearchBot (recherche), ClaudeBot (entraînement) et Claude-User (à la demande de l’utilisateur). Pour Perplexity : PerplexityBot (recherche) et Perplexity-User (à la demande de l’utilisateur). Google dispose d’un jeton distinct, Google-Extended, qui contrôle l’utilisation du contenu du site pour l’IA générative.
Pour configurer l’accès, vous avez besoin des noms exacts des robots d’exploration (user-agent), que vous indiquez dans `robots.txt`. Le tableau répertorie les noms et les fonctions selon la documentation officielle de chaque développeur, en date de septembre 2026.
| Robot d’exploration (user-agent) ou jeton | Appartient à | Fonction | Autoriser pour être visible ? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Affiche des sites Web dans la recherche ChatGPT | Oui |
| `GPTBot` | OpenAI | Collecte du texte pour entraîner des modèles | À vous de décider |
| `ChatGPT-User` | OpenAI | Accède à une page à la demande de l’utilisateur | Généralement oui |
| `Claude-SearchBot` | Anthropic | Indexe des sites Web pour améliorer la qualité de la recherche | Oui |
| `ClaudeBot` | Anthropic | Collecte du texte pour entraîner des modèles | À vous de décider |
| `Claude-User` | Anthropic | Accède à une page à la demande d’un utilisateur de Claude | Généralement oui |
| `PerplexityBot` | Perplexity | Affiche des sites Web dans les résultats et crée des liens vers eux | Oui |
| `Perplexity-User` | Perplexity | Accède à une page à la demande de l’utilisateur | Généralement oui |
| `Google-Extended` | Google | Jeton qui contrôle l’utilisation du contenu d’un site par l’IA générative de Google | À vous de décider |
Les robots `ChatGPT-User`, `Claude-User` et `Perplexity-User` accèdent à une page à la demande d’une personne dans une conversation, mais les règles d’accès diffèrent selon le développeur. OpenAI indique que les règles de `robots.txt` peuvent ne pas s’appliquer à `ChatGPT-User`. Perplexity indique que `Perplexity-User` les ignore généralement, car la visite a été initiée par l’utilisateur. Anthropic contrôle l’accès de `Claude-User` par l’intermédiaire de `robots.txt` : si vous le bloquez dans ce fichier, Claude ne récupérera pas de pages en réponse aux demandes des utilisateurs. L’accès des robots de recherche se configure séparément.
`Google-Extended` ne possède pas sa propre ligne user-agent lors de l’exploration : c’est uniquement un jeton de contrôle dans `robots.txt`. Il détermine si votre contenu peut être utilisé par l’IA générative de Google et n’a aucun effet sur la recherche Google classique.
Si vous souhaitez créer un site à la structure claire et au texte accessible, réfléchissez à la manière d’organiser les informations.
## Comment autoriser les robots d’exploration dans robots.txt : étape par étape
À retenir
Le fichier robots.txt se trouve à la racine du site et définit les règles d’accès des robots d’exploration. Pour autoriser les robots de recherche des assistants, ajoutez leurs user-agents avec l’autorisation d’explorer le site. Chaque sous-domaine doit avoir son propre fichier.
`robots.txt` est un fichier texte brut à la racine de votre site, accessible à une adresse telle que `https://example.com/robots.txt`. Les robots d’exploration le lisent avant d’explorer le site et suivent ses instructions, sous réserve des exceptions concernant les visites à la demande d’un utilisateur décrites plus haut.
1. **Ouvrez votre fichier actuel.** Saisissez l’adresse de votre site dans un navigateur et ajoutez `/robots.txt`. Voyez ce que contient déjà le fichier et vérifiez si les robots dont vous avez besoin ont été accidentellement bloqués par une ligne `Disallow: /`. Repérez également les lignes `Disallow:` visant les zones restreintes — pages de compte, pages de paiement et section d’administration : vous en aurez besoin à l’étape suivante.
2. **Ajoutez un groupe pour les robots de recherche des assistants.** Chaque groupe indique un nom de robot et des règles d’accès. Pour autoriser l’exploration, utilisez `Allow: /`. Un robot suit les règles du groupe où son nom est indiqué séparément ; il ne reprend pas celles du groupe général `User-agent: *`. Les restrictions présentes uniquement dans `User-agent: *` ne s’appliquent pas à ce robot. Si vous avez des zones restreintes, répétez les mêmes lignes `Disallow:` dans chaque nouveau groupe, sinon elles seront accessibles à ce robot.
3. **Prenez une décision distincte pour les robots d’entraînement.** Si vous ne voulez pas que le texte soit utilisé pour l’entraînement, définissez `Disallow: /` pour `GPTBot` et `ClaudeBot`. Cela n’aura aucun effet sur la visibilité dans les résultats de recherche.
4. **Enregistrez le fichier à la racine de votre site** et vérifiez qu’il s’ouvre à l’adresse `/robots.txt`. Si vous avez des sous-domaines (par exemple, `blog.example.com`), chacun doit avoir son propre fichier : les robots d’exploration lisent le fichier correspondant à chaque sous-domaine.
Avant de copier l’exemple, vérifiez les restrictions concernant les zones protégées. Si vous laissez `Disallow: /dashboard/` uniquement dans `User-agent: *`, cette règle ne s’appliquera pas à `OAI-SearchBot`, qui possède son propre groupe. Indiquez les chemins restreints dans chaque groupe où vous autorisez un robot à explorer le site.
Dans l’exemple ci-dessous, les robots de recherche des assistants sont autorisés, mais la zone restreinte `/dashboard/` est bloquée directement dans leurs groupes ; les robots d’entraînement sont entièrement bloqués. Le blocage des robots d’entraînement est facultatif : c’est votre décision, et vous devez remplacer la liste des chemins restreints par la vôtre.
```
# Autoriser les robots d’exploration de recherche des assistants, mais bloquer les zones restreintes
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Bloquer les robots d’exploration d’entraînement (facultatif)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Le plan du site aide les robots d’exploration à trouver toutes les pages
Sitemap: https://example.com/sitemap.xml
```
Selon la documentation d’OpenAI et de Perplexity, leurs systèmes peuvent avoir besoin d’environ un jour pour prendre en compte les modifications apportées à `robots.txt`. Ne vous attendez pas à un effet immédiat après l’enregistrement du fichier.
## À quoi cela ressemble-t-il sur un site en ligne ?
Dans l’exemple décrit de configuration de `robots.txt`, les noms des robots d’exploration des assistants — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` et d’autres — sont regroupés ensemble. Ils sont suivis de `Allow: /` et des mêmes lignes `Disallow:` pour les zones restreintes que dans le groupe général `User-agent: *` : `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` et d’autres. Les URL du plan du site figurent à la fin du fichier, à l’aide de la directive `Sitemap:`.
Les restrictions sont répétées dans le groupe des robots d’exploration des assistants afin que les zones protégées leur soient également bloquées. Vous pouvez ouvrir le fichier `/robots.txt` de n’importe quel site et voir comment il est configuré : ce fichier est toujours public.
## Qu’est-ce qui aide aussi les robots d’exploration à comprendre un site ?
À retenir
Après avoir configuré l’accès, vérifiez si le texte des pages est visible sans exécuter de scripts de navigateur, s’il existe un fichier sitemap.xml et si la réponse elle-même est claire.
Même lorsque l’exploration est autorisée, un robot peut ne pas obtenir le contenu de la page. En plus des règles d’accès, vérifiez comment le site fournit le texte et aide les personnes à trouver son contenu.
- **Le texte est disponible immédiatement.** Si des scripts affichent le contenu de la page dans le navigateur, certains robots d’exploration ne verront qu’une coquille vide. Pour vérifier, ouvrez la page, choisissez « afficher le code source de la page » et recherchez votre texte. S’il ne s’y trouve pas et n’apparaît que dans l’affichage normal de la page, vous devez examiner la façon dont celle-ci est fournie.
- **Il existe un plan du site.** Le fichier `sitemap.xml` est une liste de toutes vos pages. Il aide les robots d’exploration à ne pas manquer de contenu. Ajoutez un lien vers ce fichier dans `robots.txt` avec une ligne `Sitemap:`.
- **La réponse est claire pour une personne.** Les robots des assistants recherchent des pages qui répondent à une question. Un titre clair, une réponse courte dès le début et des formulations honnêtes fonctionnent mieux qu’une liste de mots-clés.
## Pourquoi un site peut-il être invisible pour l’IA ?
À retenir
Trois causes méritent d’être vérifiées : le robot est bloqué dans robots.txt, le texte est généré par des scripts et n’est pas visible sans navigateur, ou la sécurité du site bloque les robots. Dans le premier cas, vérifiez le fichier ; dans le deuxième, vérifiez la façon dont les pages sont fournies ; dans le troisième, vérifiez les paramètres de sécurité.
Si votre site n’apparaît pas dans les réponses, vérifiez la présence de ces obstacles possibles à l’accès.
- **Le robot est bloqué dans `robots.txt`.** Le fichier contient parfois une restriction générale qui bloque les robots dont vous avez besoin. Vérifiez si un `Disallow: /` figure dans un groupe qui s’applique aux robots des assistants.
- **Le texte n’est pas visible sans navigateur.** Si des scripts génèrent le contenu, le robot peut ne pas le recevoir. La vérification du code source est décrite plus haut.
- **La sécurité du site bloque les robots d’exploration.** De nombreux sites utilisent une protection contre le trafic indésirable, par exemple Cloudflare. Celle-ci peut bloquer l’accès indépendamment de `robots.txt`. Vous utilisez `robots.txt` pour contrôler où un robot peut aller, tandis que la sécurité du site décide si sa requête est autorisée. Perplexity recommande d’autoriser manuellement les robots dans les paramètres de sécurité en fonction de leurs noms user-agent et des adresses IP publiées. Définissez les règles d’exploration dans `robots.txt` : Anthropic avertit par ailleurs qu’un blocage des robots uniquement par adresse IP n’est pas fiable. Si vous utilisez un service similaire, vérifiez ses paramètres.
Vérifiez les causes une par une : commencez par `robots.txt`, examinez ensuite le code source de la page, puis vérifiez les paramètres de sécurité. L’absence de ces obstacles ne garantit pas, à elle seule, que votre site apparaîtra dans les réponses.
## Comment vérifier si un robot a accédé à la page ?
À retenir
Il n’existe pas de compteur direct indiquant « J’ai été cité ». Vous pouvez cependant vérifier les éléments de base : si robots.txt s’ouvre, si le texte est visible dans le code source et si le plan du site est disponible. Les visites des robots d’exploration sont visibles dans les journaux du serveur grâce à leur user-agent.
Cette vérification aide à évaluer l’accessibilité de votre site et à repérer les enregistrements des visites des robots.
- Ouvrez `https://example.com/robots.txt` dans un navigateur : le fichier doit s’ouvrir et contenir les groupes nécessaires.
- Ouvrez le plan du site à l’adresse `https://example.com/sitemap.xml` : il doit s’ouvrir et répertorier des pages.
- Affichez le code source d’une page importante et recherchez-y votre texte.
- Si vous avez accès aux journaux du serveur, recherchez-y les noms des robots d’exploration — `OAI-SearchBot`, `PerplexityBot` et d’autres. Leurs visites sont visibles grâce au user-agent.
Cette vérification ne vous dira pas si l’assistant choisira votre page en particulier. Cela dépend de la question de l’utilisateur et de la qualité de la réponse apportée par la page.
## Ce que les paramètres ne garantissent pas
L’accès à votre site et sa présence dans une réponse de l’assistant sont deux résultats différents. Ces paramètres ont des limites.
- **Aucune citation n’est garantie.** L’accès ouvert donne simplement à un robot la possibilité de lire votre site. C’est à l’assistant de décider s’il vous cite, en fonction de la question.
- **Personne ne promet de classement ni de trafic.** Le paramètre `robots.txt` ouvre l’accès, mais ne garantit pas une place dans les résultats de recherche.
- **Certains robots peuvent ignorer les règles du fichier.** Cela concerne certains robots qui accèdent au site en réponse à une demande directe de l’utilisateur, par exemple `ChatGPT-User` d’OpenAI et `Perplexity-User` de Perplexity.
- **Les règles changent.** Les développeurs mettent à jour les noms des robots et leurs conditions. Il vaut la peine de consulter la documentation tous les quelques mois ; les liens se trouvent à la fin.
Vous contrôlez l’accès et la qualité de votre site, mais c’est l’assistant qui décide d’inclure ou non un lien. Ces paramètres ont pour objectif de rendre une page utile accessible à la recherche et à la consultation, sans essayer de « tromper » l’assistant.
## Et ensuite
Ouvrez `robots.txt`, ajoutez les robots de recherche des assistants et vérifiez le plan du site ainsi que la disponibilité du texte. Si la sécurité bloque l’accès, vérifiez également ses paramètres. Ces actions aident à repérer et à supprimer les obstacles techniques. Examinez ensuite les pages elles-mêmes : apportent-elles des réponses claires aux questions précises de votre public ?
### Sources
- [OpenAI : aperçu des robots d’exploration (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic : robots d’exploration de Claude et contrôle de l’accès](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity : robots d’exploration et paramètres de sécurité des sites](https://docs.perplexity.ai/guides/bots)
- [Google : aperçu des robots d’exploration et jeton Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Continuez à découvrir Ailoot sur [ailoot.ai](https://ailoot.ai/).
## Questions fréquentes : Ouvrir un site aux robots ChatGPT, Claude et Perplexity
### Pourquoi un groupe de crawler nommé peut-il rouvrir des chemins bloqués sous User-agent: * ?
Un crawler correspondant à un groupe nommé applique ses règles sans hériter du groupe générique. Répétez les Disallow nécessaires pour les chemins privés dans chaque groupe nommé que vous autorisez.
### Autoriser un robot de recherche garantit-il qu’un assistant citera ma page ?
Non. Vérifiez robots.txt, le texte source des pages, le sitemap et les journaux serveur. Ils prouvent l’accessibilité ou des visites, pas la sélection de la page dans une réponse.
## Ailoot · L’entreprise et son portefeuille de projets
Ailoot s’appuie sur une expérience opérationnelle éprouvée, une large clientèle, un service stable et un suivi continu des KPI.
L’entreprise et son portefeuille de projets : des millions de clients ; des ventes qui se chiffrent en milliards chaque mois.
Ailoot met cette expérience opérationnelle au service de l’accès API aux fonctions d’IA dans les produits des clients, leurs agents, applications et automatisations.