Ouvrir un site aux robots ChatGPT, Claude et Perplexity

Vous avez créé un site Web ou un produit, mais quand quelqu’un demande : « recommandez un service pour cette tâche », ChatGPT, Claude et Perplexity ne le mentionnent pas. Il vaut la peine de vérifier si un assistant peut lire votre site et si l’accès est bloqué.

Il n’existe pas de bouton pour « apparaître dans une réponse d’IA », et personne ne peut garantir une citation. ChatGPT, Claude et Perplexity ont des robots d’exploration distincts pour la recherche : vous pouvez leur autoriser l’accès à votre site par l’intermédiaire de robots.txt. Vérifiez ensuite s’ils peuvent accéder au texte de la page et si la sécurité de votre site empêche l’accès.

Que signifie être « visible par l’IA » ?#

Quand quelqu’un demande à ChatGPT ou à Perplexity « où puis-je lire des informations sur X ? » ou « quel service devrais-je choisir ? », l’assistant effectue parfois une recherche sur le Web et ajoute des liens vers des pages. Pour que votre page figure dans cette liste de candidates, le robot d’exploration de l’assistant doit l’avoir lue et ne pas s’être vu refuser l’accès.

Il y a trois éléments à vérifier sur votre site :

• le robot d’exploration peut accéder au site : il n’est pas bloqué dans robots.txt et les mesures de sécurité n’empêchent pas l’accès ;
• le robot d’exploration peut voir le texte de la page, et non une coquille vide que le navigateur remplit ;
• la page répond honnêtement et clairement à une question précise, au lieu de remplacer une réponse par une liste de mots-clés.

Commencez par l’accès : si le robot n’a pas pu lire la page, il n’obtiendra pas non plus le texte utile qu’elle contient.

En quoi un robot d’exploration de recherche diffère-t-il d’un robot d’entraînement ?#

L’accès doit être autorisé ou bloqué séparément pour chaque robot d’exploration. Une décision générale consistant à « laisser l’IA accéder au site » ne tient pas compte des différences entre leurs tâches.

• Un robot d’exploration de recherche permet à vos pages d’apparaître dans les réponses de l’assistant lorsqu’un utilisateur pose une question. Autorisez-le si vous voulez que votre site soit accessible aux recherches.
• Un robot d’entraînement collecte du texte qui peut servir à entraîner de futures versions d’un modèle. Vous décidez de l’autoriser ou non ; cela n’a pas d’effet direct sur votre présence dans les réponses de recherche actuelles.

La documentation d’OpenAI donne un exemple : vous pouvez autoriser un robot de recherche à explorer votre site tout en bloquant le robot d’entraînement, afin que le texte de votre site ne soit pas utilisé pour l’entraînement. Ces deux paramètres se configurent indépendamment dans le même fichier.

Quels sont les noms des robots d’exploration de ChatGPT, Claude et Perplexity ?#

Pour configurer l’accès, vous avez besoin des noms exacts des robots d’exploration (user-agent), que vous indiquez dans robots.txt. Le tableau répertorie les noms et les fonctions selon la documentation officielle de chaque développeur, en date de septembre 2026.

Les robots ChatGPT-User, Claude-User et Perplexity-User accèdent à une page à la demande d’une personne dans une conversation, mais les règles d’accès diffèrent selon le développeur. OpenAI indique que les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User. Perplexity indique que Perplexity-User les ignore généralement, car la visite a été initiée par l’utilisateur. Anthropic contrôle l’accès de Claude-User par l’intermédiaire de robots.txt : si vous le bloquez dans ce fichier, Claude ne récupérera pas de pages en réponse aux demandes des utilisateurs. L’accès des robots de recherche se configure séparément.

Google-Extended ne possède pas sa propre ligne user-agent lors de l’exploration : c’est uniquement un jeton de contrôle dans robots.txt. Il détermine si votre contenu peut être utilisé par l’IA générative de Google et n’a aucun effet sur la recherche Google classique.

Si vous souhaitez créer un site à la structure claire et au texte accessible, réfléchissez à la manière d’organiser les informations.

Comment autoriser les robots d’exploration dans robots.txt : étape par étape#

robots.txt est un fichier texte brut à la racine de votre site, accessible à une adresse telle que https://example.com/robots.txt. Les robots d’exploration le lisent avant d’explorer le site et suivent ses instructions, sous réserve des exceptions concernant les visites à la demande d’un utilisateur décrites plus haut.

1. Ouvrez votre fichier actuel. Saisissez l’adresse de votre site dans un navigateur et ajoutez /robots.txt. Voyez ce que contient déjà le fichier et vérifiez si les robots dont vous avez besoin ont été accidentellement bloqués par une ligne Disallow: /. Repérez également les lignes Disallow: visant les zones restreintes — pages de compte, pages de paiement et section d’administration : vous en aurez besoin à l’étape suivante.
2. Ajoutez un groupe pour les robots de recherche des assistants. Chaque groupe indique un nom de robot et des règles d’accès. Pour autoriser l’exploration, utilisez Allow: /. Un robot suit les règles du groupe où son nom est indiqué séparément ; il ne reprend pas celles du groupe général User-agent: *. Les restrictions présentes uniquement dans User-agent: * ne s’appliquent pas à ce robot. Si vous avez des zones restreintes, répétez les mêmes lignes Disallow: dans chaque nouveau groupe, sinon elles seront accessibles à ce robot.
3. Prenez une décision distincte pour les robots d’entraînement. Si vous ne voulez pas que le texte soit utilisé pour l’entraînement, définissez Disallow: / pour GPTBot et ClaudeBot. Cela n’aura aucun effet sur la visibilité dans les résultats de recherche.
4. Enregistrez le fichier à la racine de votre site et vérifiez qu’il s’ouvre à l’adresse /robots.txt. Si vous avez des sous-domaines (par exemple, blog.example.com), chacun doit avoir son propre fichier : les robots d’exploration lisent le fichier correspondant à chaque sous-domaine.

Avant de copier l’exemple, vérifiez les restrictions concernant les zones protégées. Si vous laissez Disallow: /dashboard/ uniquement dans User-agent: *, cette règle ne s’appliquera pas à OAI-SearchBot, qui possède son propre groupe. Indiquez les chemins restreints dans chaque groupe où vous autorisez un robot à explorer le site.

Dans l’exemple ci-dessous, les robots de recherche des assistants sont autorisés, mais la zone restreinte /dashboard/ est bloquée directement dans leurs groupes ; les robots d’entraînement sont entièrement bloqués. Le blocage des robots d’entraînement est facultatif : c’est votre décision, et vous devez remplacer la liste des chemins restreints par la vôtre.

# Autoriser les robots d’exploration de recherche des assistants, mais bloquer les zones restreintes
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Bloquer les robots d’exploration d’entraînement (facultatif)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Le plan du site aide les robots d’exploration à trouver toutes les pages
Sitemap: https://example.com/sitemap.xml

Selon la documentation d’OpenAI et de Perplexity, leurs systèmes peuvent avoir besoin d’environ un jour pour prendre en compte les modifications apportées à robots.txt. Ne vous attendez pas à un effet immédiat après l’enregistrement du fichier.

À quoi cela ressemble-t-il sur un site en ligne ?#

Dans l’exemple décrit de configuration de robots.txt, les noms des robots d’exploration des assistants — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended et d’autres — sont regroupés ensemble. Ils sont suivis de Allow: / et des mêmes lignes Disallow: pour les zones restreintes que dans le groupe général User-agent: * : /dashboard/, /admin/, /login, /account/, /order/ et d’autres. Les URL du plan du site figurent à la fin du fichier, à l’aide de la directive Sitemap:.

Les restrictions sont répétées dans le groupe des robots d’exploration des assistants afin que les zones protégées leur soient également bloquées. Vous pouvez ouvrir le fichier /robots.txt de n’importe quel site et voir comment il est configuré : ce fichier est toujours public.

Qu’est-ce qui aide aussi les robots d’exploration à comprendre un site ?#

Même lorsque l’exploration est autorisée, un robot peut ne pas obtenir le contenu de la page. En plus des règles d’accès, vérifiez comment le site fournit le texte et aide les personnes à trouver son contenu.

• Le texte est disponible immédiatement. Si des scripts affichent le contenu de la page dans le navigateur, certains robots d’exploration ne verront qu’une coquille vide. Pour vérifier, ouvrez la page, choisissez « afficher le code source de la page » et recherchez votre texte. S’il ne s’y trouve pas et n’apparaît que dans l’affichage normal de la page, vous devez examiner la façon dont celle-ci est fournie.
• Il existe un plan du site. Le fichier sitemap.xml est une liste de toutes vos pages. Il aide les robots d’exploration à ne pas manquer de contenu. Ajoutez un lien vers ce fichier dans robots.txt avec une ligne Sitemap:.
• La réponse est claire pour une personne. Les robots des assistants recherchent des pages qui répondent à une question. Un titre clair, une réponse courte dès le début et des formulations honnêtes fonctionnent mieux qu’une liste de mots-clés.

Pourquoi un site peut-il être invisible pour l’IA ?#

Si votre site n’apparaît pas dans les réponses, vérifiez la présence de ces obstacles possibles à l’accès.

• Le robot est bloqué dans robots.txt. Le fichier contient parfois une restriction générale qui bloque les robots dont vous avez besoin. Vérifiez si un Disallow: / figure dans un groupe qui s’applique aux robots des assistants.
• Le texte n’est pas visible sans navigateur. Si des scripts génèrent le contenu, le robot peut ne pas le recevoir. La vérification du code source est décrite plus haut.
• La sécurité du site bloque les robots d’exploration. De nombreux sites utilisent une protection contre le trafic indésirable, par exemple Cloudflare. Celle-ci peut bloquer l’accès indépendamment de robots.txt. Vous utilisez robots.txt pour contrôler où un robot peut aller, tandis que la sécurité du site décide si sa requête est autorisée. Perplexity recommande d’autoriser manuellement les robots dans les paramètres de sécurité en fonction de leurs noms user-agent et des adresses IP publiées. Définissez les règles d’exploration dans robots.txt : Anthropic avertit par ailleurs qu’un blocage des robots uniquement par adresse IP n’est pas fiable. Si vous utilisez un service similaire, vérifiez ses paramètres.

Vérifiez les causes une par une : commencez par robots.txt, examinez ensuite le code source de la page, puis vérifiez les paramètres de sécurité. L’absence de ces obstacles ne garantit pas, à elle seule, que votre site apparaîtra dans les réponses.

Comment vérifier si un robot a accédé à la page ?#

Cette vérification aide à évaluer l’accessibilité de votre site et à repérer les enregistrements des visites des robots.

• Ouvrez https://example.com/robots.txt dans un navigateur : le fichier doit s’ouvrir et contenir les groupes nécessaires.
• Ouvrez le plan du site à l’adresse https://example.com/sitemap.xml : il doit s’ouvrir et répertorier des pages.
• Affichez le code source d’une page importante et recherchez-y votre texte.
• Si vous avez accès aux journaux du serveur, recherchez-y les noms des robots d’exploration — OAI-SearchBot, PerplexityBot et d’autres. Leurs visites sont visibles grâce au user-agent.

Cette vérification ne vous dira pas si l’assistant choisira votre page en particulier. Cela dépend de la question de l’utilisateur et de la qualité de la réponse apportée par la page.

Ce que les paramètres ne garantissent pas#

L’accès à votre site et sa présence dans une réponse de l’assistant sont deux résultats différents. Ces paramètres ont des limites.

• Aucune citation n’est garantie. L’accès ouvert donne simplement à un robot la possibilité de lire votre site. C’est à l’assistant de décider s’il vous cite, en fonction de la question.
• Personne ne promet de classement ni de trafic. Le paramètre robots.txt ouvre l’accès, mais ne garantit pas une place dans les résultats de recherche.
• Certains robots peuvent ignorer les règles du fichier. Cela concerne certains robots qui accèdent au site en réponse à une demande directe de l’utilisateur, par exemple ChatGPT-User d’OpenAI et Perplexity-User de Perplexity.
• Les règles changent. Les développeurs mettent à jour les noms des robots et leurs conditions. Il vaut la peine de consulter la documentation tous les quelques mois ; les liens se trouvent à la fin.

Vous contrôlez l’accès et la qualité de votre site, mais c’est l’assistant qui décide d’inclure ou non un lien. Ces paramètres ont pour objectif de rendre une page utile accessible à la recherche et à la consultation, sans essayer de « tromper » l’assistant.

Et ensuite#

Ouvrez robots.txt, ajoutez les robots de recherche des assistants et vérifiez le plan du site ainsi que la disponibilité du texte. Si la sécurité bloque l’accès, vérifiez également ses paramètres. Ces actions aident à repérer et à supprimer les obstacles techniques. Examinez ensuite les pages elles-mêmes : apportent-elles des réponses claires aux questions précises de votre public ?