Hoe je je site openstelt voor de zoekcrawlers van ChatGPT, Claude en Perplexity

Je hebt een website of product gebouwd, maar wanneer iemand vraagt: ‘Welke dienst raad je aan voor deze taak?’, noemen ChatGPT, Claude en Perplexity het niet. Het is de moeite waard om te controleren of een assistent je site kan lezen en of de toegang wordt geblokkeerd.

Er is geen knop om ‘in een AI-antwoord te komen’, en niemand kan een vermelding garanderen. ChatGPT, Claude en Perplexity hebben afzonderlijke crawlers voor zoeken: je kunt ze via robots.txt toegang tot je site geven. Controleer vervolgens of ze de paginatekst kunnen bereiken en of de beveiliging van je site daarbij niet in de weg zit.

Wat betekent het om ‘zichtbaar te zijn voor AI’?#

Wanneer iemand aan ChatGPT of Perplexity vraagt ‘Waar kan ik over X lezen?’ of ‘Welke dienst kan ik het beste kiezen?’, zoekt de assistent soms op internet en voegt links naar pagina’s toe. Om op de lijst met mogelijke resultaten te komen, moet de crawler van de assistent je pagina hebben gelezen en mag de toegang niet zijn geweigerd.

Controleer drie dingen op je site:

• de crawler kan de site bereiken: hij wordt niet geblokkeerd in robots.txt en beveiligingsmaatregelen verhinderen de toegang niet;
• de crawler kan de paginatekst zien, en niet alleen een leeg omhulsel dat de browser vult;
• de pagina beantwoordt een specifieke vraag eerlijk en duidelijk, in plaats van een antwoord te vervangen door een lijst met trefwoorden.

Begin met de toegang: als de crawler de pagina niet kon lezen, krijgt hij de nuttige tekst erop ook niet binnen.

Wat is het verschil tussen een zoekcrawler en een trainingscrawler?#

Sta elke crawler afzonderlijk toe of blokkeer hem. Een algemene beslissing om ‘AI op de site toe te laten’ houdt geen rekening met de verschillen tussen hun taken.

• Een zoekcrawler zorgt ervoor dat je pagina’s in antwoorden van de assistent kunnen verschijnen wanneer een gebruiker iets vraagt. Sta hem toe als je wilt dat je site beschikbaar is voor zoekopdrachten.
• Een trainingscrawler verzamelt tekst die gebruikt kan worden om toekomstige versies van een model te trainen. Of je die toestaat, bepaal je zelf; dit heeft geen rechtstreeks effect op je zichtbaarheid in huidige zoekantwoorden.

De documentatie van OpenAI geeft een voorbeeld: je kunt een zoekcrawler toestaan je site te crawlen en tegelijk de trainingscrawler blokkeren, zodat de tekst van je site niet voor training wordt gebruikt. Deze twee instellingen worden onafhankelijk van elkaar in hetzelfde bestand geconfigureerd.

Hoe heten de crawlers van ChatGPT, Claude en Perplexity?#

Om toegang te configureren, heb je de exacte crawlernamen (user-agent) nodig die je in robots.txt opgeeft. De tabel vermeldt de namen en doelen volgens de officiële documentatie van elke ontwikkelaar, zoals die in september 2026 luidde.

De crawlers ChatGPT-User, Claude-User en Perplexity-User bezoeken een pagina op verzoek van iemand in een gesprek, maar elke ontwikkelaar hanteert andere toegangsregels. OpenAI zegt dat regels in robots.txt mogelijk niet gelden voor ChatGPT-User. Perplexity zegt dat Perplexity-User deze regels meestal negeert omdat de gebruiker het bezoek heeft gestart. Anthropic regelt de toegang van Claude-User via robots.txt: als je hem daar blokkeert, haalt Claude geen pagina’s op als antwoord op verzoeken van gebruikers. De toegang voor zoekcrawlers wordt afzonderlijk geconfigureerd.

Google-Extended heeft tijdens het crawlen geen eigen user-agentregel—het is uitsluitend een beheertoken in robots.txt. Het bepaalt of je content voor generatieve AI van Google mag worden gebruikt en heeft geen invloed op de gewone Google Search.

Als je een site met een duidelijke structuur en toegankelijke tekst wilt bouwen, denk dan na over hoe je de informatie organiseert.

Crawlers toestaan in robots.txt: stap voor stap#

robots.txt is een gewoon tekstbestand in de hoofdmap van je site, beschikbaar op een adres zoals https://example.com/robots.txt. Crawlers lezen het voordat ze gaan crawlen en volgen de instructies, met uitzondering van de hierboven beschreven bezoeken op verzoek van een gebruiker.

1. Open je huidige bestand. Voer het adres van je site in een browser in en voeg /robots.txt toe. Bekijk wat er al in het bestand staat en of de crawlers die je nodig hebt per ongeluk zijn geblokkeerd met een regel Disallow: /. Zoek ook naar regels Disallow: voor afgeschermde gebieden—accountpagina’s, betaalpagina’s en het beheerdersgedeelte: die heb je nodig bij de volgende stap.
2. Voeg een groep toe voor de zoekcrawlers van assistenten. Elke groep vermeldt een crawlernaam en toegangsregels. Gebruik Allow: / om crawlen toe te staan. Een crawler volgt de regels in de groep waarin zijn naam afzonderlijk is vermeld; hij neemt geen regels over uit de algemene groep User-agent: *. Beperkingen die alleen in User-agent: * staan, gelden niet voor die crawler. Heb je afgeschermde gebieden, herhaal dan dezelfde regels Disallow: in elke nieuwe groep, anders zijn die gebieden voor die crawler toegankelijk.
3. Neem afzonderlijk een beslissing over trainingscrawlers. Wil je niet dat tekst voor training wordt gebruikt, stel dan Disallow: / in voor GPTBot en ClaudeBot. Dit heeft geen invloed op de zichtbaarheid in zoekresultaten.
4. Sla het bestand op in de hoofdmap van je site en controleer of het op /robots.txt opent. Heb je subdomeinen (bijvoorbeeld blog.example.com), dan heeft elk daarvan een eigen bestand nodig—crawlers lezen het bestand dat bij elk subdomein hoort.

Controleer de beperkingen voor afgeschermde gebieden voordat je het voorbeeld kopieert. Als je Disallow: /dashboard/ alleen in User-agent: * laat staan, geldt die regel niet voor OAI-SearchBot, die een eigen groep heeft. Vermeld afgeschermde paden in elke groep waarin je een crawler toestaat te crawlen.

In het onderstaande voorbeeld zijn de zoekcrawlers van assistenten toegestaan, maar is het afgeschermde gebied /dashboard/ rechtstreeks in hun groepen geblokkeerd; trainingscrawlers zijn volledig geblokkeerd. Trainingscrawlers blokkeren is optioneel—dat bepaal je zelf; vervang de lijst met afgeschermde paden door je eigen paden.

# Sta zoekcrawlers van assistenten toe, maar blokkeer afgeschermde gebieden
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Blokkeer trainingscrawlers (optioneel)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# De sitemap helpt crawlers alle pagina's te vinden
Sitemap: https://example.com/sitemap.xml

Volgens de documentatie van OpenAI en Perplexity kan het ongeveer een dag duren voordat hun systemen wijzigingen in robots.txt meenemen. Verwacht geen onmiddellijk effect nadat je het bestand hebt opgeslagen.

Hoe ziet dit eruit op een live site?#

In het beschreven voorbeeld van robots.txt-instellingen staan de namen van assistentcrawlers—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended en andere—in één groep. Daaronder staan Allow: / en dezelfde regels Disallow: voor afgeschermde gebieden als in de algemene groep User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ en andere. De sitemap-URL’s staan aan het einde van het bestand, met de richtlijn Sitemap:.

De beperkingen worden in de groep van de assistentcrawlers herhaald, zodat ook voor hen de afgeschermde gebieden geblokkeerd zijn. Je kunt de /robots.txt van elke site openen om te zien hoe die is ingesteld—het bestand is altijd openbaar.

Wat helpt crawlers nog meer om een site te begrijpen?#

Zelfs als crawlen is toegestaan, krijgt een crawler mogelijk de pagina-inhoud niet binnen. Controleer naast de toegangsregels ook hoe de site tekst levert en mensen helpt de inhoud te vinden.

• De tekst is direct beschikbaar. Als scripts de pagina-inhoud in de browser weergeven, zien sommige crawlers een leeg omhulsel. Open de pagina, kies ‘paginabron weergeven’ en zoek naar je tekst om dit te controleren. Staat die er niet en verschijnt ze alleen in de normale paginaview, dan moet je nagaan hoe de pagina wordt aangeboden.
• Er is een sitemap. Het bestand sitemap.xml is een lijst van al je pagina’s. Het helpt voorkomen dat crawlers inhoud missen. Voeg er met een regel Sitemap: een verwijzing naar toe in robots.txt.
• Het antwoord is duidelijk voor een persoon. Crawlers van assistenten zoeken pagina’s die een vraag beantwoorden. Een duidelijke kop, een kort antwoord aan het begin en eerlijke bewoordingen werken beter dan een lijst met trefwoorden.

Waarom is een site mogelijk onzichtbaar voor AI?#

Verschijnt je site niet in antwoorden, controleer dan de volgende mogelijke toegangsbelemmeringen.

• De crawler is geblokkeerd in robots.txt. Soms bevat het bestand een algemene beperking die de crawlers blokkeert die je nodig hebt. Controleer of er een Disallow: / staat in een groep die geldt voor crawlers van assistenten.
• De tekst is niet zichtbaar zonder browser. Als scripts de inhoud genereren, krijgt de crawler die mogelijk niet binnen. De controle van de broncode is hierboven beschreven.
• De beveiliging van de site blokkeert crawlers. Veel sites beschermen zich tegen ongewenst verkeer, bijvoorbeeld met Cloudflare. Die beveiliging kan toegang blokkeren, ongeacht robots.txt. Met robots.txt bepaal je waar een crawler naartoe mag; de beveiliging van de site bepaalt of het verzoek wordt doorgelaten. Perplexity raadt aan crawlers in de beveiligingsinstellingen handmatig toe te staan op basis van hun user-agentnamen en gepubliceerde IP-adressen. Stel crawlregels in via robots.txt: Anthropic waarschuwt afzonderlijk dat het onbetrouwbaar is om crawlers alleen op basis van IP-adressen te blokkeren. Gebruik je een vergelijkbare dienst, controleer dan de instellingen ervan.

Controleer de oorzaken een voor een: begin met robots.txt, bekijk daarna de broncode van de pagina en controleer vervolgens de beveiligingsinstellingen. Het ontbreken van deze belemmeringen garandeert op zichzelf niet dat je site in antwoorden verschijnt.

Hoe controleer je of een crawler de pagina heeft bezocht?#

Deze controle helpt de toegankelijkheid van je site te beoordelen en registraties van crawlerbezoeken te vinden.

• Open https://example.com/robots.txt in een browser—het bestand moet openen en de vereiste groepen bevatten.
• Open de sitemap op https://example.com/sitemap.xml—deze moet openen en pagina’s opsommen.
• Bekijk de broncode van een belangrijke pagina en zoek daarin naar je tekst.
• Heb je toegang tot serverlogs, zoek daar dan naar crawlernamen—OAI-SearchBot, PerplexityBot en andere. Hun bezoeken zijn aan de user-agent te herkennen.

De controle laat niet zien of de assistent juist jouw pagina zal kiezen. Dat hangt af van de vraag van de gebruiker en hoe goed de pagina die beantwoordt.

Wat de instellingen niet garanderen#

Toegang tot je site en verschijnen in een antwoord van een assistent zijn twee verschillende resultaten. Deze instellingen hebben beperkingen.

• Een vermelding is niet gegarandeerd. Open toegang geeft een crawler alleen de mogelijkheid je site te lezen. Of de assistent je citeert, bepaalt de assistent op basis van de vraag.
• Niemand belooft rankings of verkeer. De instelling in robots.txt opent de toegang, maar verzekert geen plaats in de zoekresultaten.
• Sommige crawlers negeren mogelijk de regels in het bestand. Dit geldt voor sommige crawlers die een site bezoeken na een rechtstreeks verzoek van een gebruiker, bijvoorbeeld OpenAI’s ChatGPT-User en Perplexity’s Perplexity-User.
• Regels veranderen. Ontwikkelaars werken crawlernamen en voorwaarden bij. Het is verstandig de documentatie om de paar maanden te controleren; de links staan aan het einde.

Je beheert de toegang en de kwaliteit van je site, maar de assistent beslist of er een link wordt opgenomen. Het doel van deze instellingen is een nuttige pagina beschikbaar te maken voor zoeken en lezen, zonder de assistent te proberen te ‘misleiden’.

Wat nu#

Open robots.txt, voeg de zoekcrawlers van assistenten toe en controleer de sitemap en de beschikbaarheid van de tekst. Blokkeert de beveiliging de toegang, controleer dan ook de instellingen daarvan. Zo kun je technische belemmeringen opsporen en wegnemen. Bekijk daarna de pagina’s zelf: geven ze duidelijke antwoorden op specifieke vragen van je doelgroep?