Sådan åbner du dit website for ChatGPTs, Claudes og Perplexitys søgecrawlere

Du har bygget et website eller et produkt, men når nogen spørger: »Anbefal en tjeneste til denne opgave«, nævner ChatGPT, Claude og Perplexity det ikke. Det er værd at undersøge, om en assistent kan læse dit website, og om adgangen er blokeret.

Der er ingen knap til at »komme med i et AI-svar«, og ingen kan garantere, at du bliver citeret. ChatGPT, Claude og Perplexity har separate crawlere til søgning: Du kan give dem adgang til dit website via robots.txt. Kontrollér derefter, om de kan få adgang til sidens tekst, og om dit websites sikkerhed forhindrer det.

Hvad vil det sige at være »synlig for AI«?#

Når nogen spørger ChatGPT eller Perplexity »hvor kan jeg læse om X?« eller »hvilken tjeneste skal jeg vælge?«, søger assistenten nogle gange på nettet og tilføjer links til sider. For at din side kan komme med på listen over kandidater, skal assistentens crawler have læst den og ikke være blevet nægtet adgang.

Der er tre ting, du bør kontrollere på dit website:

• Crawleren kan få adgang til websitet: Den er ikke blokeret i robots.txt, og sikkerhedsforanstaltninger forhindrer ikke adgangen.
• Crawleren kan se sidens tekst, ikke en tom skal, som browseren udfylder.
• Siden besvarer et konkret spørgsmål ærligt og tydeligt i stedet for at erstatte svaret med en liste over nøgleord.

Begynd med adgangen: Hvis crawleren ikke kunne læse siden, får den heller ikke sidens nyttige tekst.

Hvordan adskiller en søgecrawler sig fra en træningscrawler?#

Adgang bør tillades eller blokeres separat for hver crawler. En generel beslutning om at »give AI adgang til websitet« tager ikke højde for forskellene mellem deres opgaver.

• En søgecrawler gør det muligt for dine sider at blive vist i assistentens svar, når en bruger stiller et spørgsmål. Tillad den, hvis du vil have dit website tilgængeligt i søgninger.
• En træningscrawler indsamler tekst, der kan bruges til at træne fremtidige versioner af en model. Det er op til dig, om du vil tillade den; det påvirker ikke direkte, om du vises i aktuelle søgesvar.

OpenAIs dokumentation giver et eksempel: Du kan tillade en søgecrawler at crawle dit website, mens du blokerer træningscrawleren, så dit websites tekst ikke bruges til træning. De to indstillinger konfigureres uafhængigt af hinanden i den samme fil.

Hvad hedder ChatGPTs, Claudes og Perplexitys crawlere?#

For at konfigurere adgang skal du bruge de nøjagtige crawlernavne (user-agent), som du angiver i robots.txt. Tabellen viser navnene og formålene ifølge hver udviklers officielle dokumentation fra september 2026.

Crawlerne ChatGPT-User, Claude-User og Perplexity-User besøger en side på en persons anmodning i en samtale, men hver udvikler har forskellige adgangsregler. OpenAI siger, at reglerne i robots.txt muligvis ikke gælder for ChatGPT-User. Perplexity siger, at Perplexity-User som regel ignorerer dem, fordi besøget blev iværksat af brugeren. Anthropic styrer adgangen for Claude-User via robots.txt: Hvis du blokerer den dér, henter Claude ikke sider som svar på brugerens anmodninger. Adgang for søgecrawlere konfigureres separat.

Google-Extended har ikke sin egen user-agent-linje ved crawling – den er kun et kontroltoken i robots.txt. Den afgør, om dit indhold kan bruges til Googles generative AI, og påvirker ikke almindelig Google-søgning.

Hvis du vil bygge et website med en tydelig struktur og tilgængelig tekst, bør du overveje, hvordan informationen skal organiseres.

Sådan tillader du crawlere i robots.txt: trin for trin#

robots.txt er en almindelig tekstfil i dit websites rodmappe, som findes på en adresse som https://example.com/robots.txt. Crawlere læser den, før de crawler, og følger dens anvisninger, med de undtagelser for besøg på brugerens anmodning, der er beskrevet ovenfor.

1. Åbn den eksisterende fil. Skriv dit websites adresse i en browser, og tilføj /robots.txt. Se, hvad der allerede står i filen, og om de crawlere, du har brug for, ved en fejl er blevet blokeret af en Disallow: /-linje. Se også efter Disallow:-linjer for begrænsede områder – kontosider, betalingssider og administrationsområdet: Du skal bruge dem i næste trin.
2. Tilføj en gruppe for assistenternes søgecrawlere. Hver gruppe angiver et crawlernavn og adgangsregler. Brug Allow: / for at tillade crawling. En crawler følger reglerne i den gruppe, hvor dens navn er angivet separat; den overtager ikke regler fra den generelle User-agent: *-gruppe. Begrænsninger, der kun står i User-agent: *, gælder ikke for den crawler. Hvis du har begrænsede områder, skal du gentage de samme Disallow:-linjer i hver ny gruppe, ellers vil de være åbne for den crawler.
3. Tag særskilt stilling til træningscrawlere. Hvis du ikke ønsker, at tekst bruges til træning, skal du angive Disallow: / for GPTBot og ClaudeBot. Det påvirker ikke synligheden i søgninger.
4. Gem filen i dit websites rodmappe, og kontrollér, at den kan åbnes på /robots.txt. Hvis du har underdomæner (for eksempel blog.example.com), skal hvert af dem have sin egen fil – crawlere læser filen, der hører til hvert underdomæne.

Kontrollér begrænsningerne for begrænsede områder, før du kopierer eksemplet. Hvis du kun lader Disallow: /dashboard/ stå i User-agent: *, gælder den ikke for OAI-SearchBot, som har sin egen gruppe. Angiv begrænsede stier i hver gruppe, hvor du tillader en crawler at crawle.

I eksemplet nedenfor er assistenternes søgecrawlere tilladt, men det begrænsede område /dashboard/ er blokeret direkte i deres grupper; træningscrawlere er blokeret helt. Det er valgfrit at blokere træningscrawlere – det er din beslutning, og du bør erstatte listen over begrænsede stier med din egen.

# Tillad assistenternes søgecrawlere, men blokér begrænsede områder
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Blokér træningscrawlere (valgfrit)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Sitemapet hjælper crawlere med at finde alle sider
Sitemap: https://example.com/sitemap.xml

Ifølge OpenAIs og Perplexitys dokumentation kan deres systemer have brug for omkring en dag til at tage ændringer i robots.txt i betragtning. Forvent ikke en øjeblikkelig effekt, efter at du har gemt filen.

Hvordan ser det ud på et aktivt website?#

I det beskrevne eksempel på robots.txt-indstillinger er assistenternes crawlernavne – GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended og andre – samlet i én gruppe. Under dem står Allow: / og de samme Disallow:-linjer for begrænsede områder som i den generelle User-agent: *-gruppe: /dashboard/, /admin/, /login, /account/, /order/ og andre. Sitemap-URL'erne står til sidst i filen under direktivet Sitemap:.

Begrænsningerne gentages i assistenternes crawlergruppe, så begrænsede områder også er blokeret for dem. Du kan åbne enhver hjemmesides /robots.txt og se, hvordan den er konfigureret – filen er altid offentlig.

Hvad hjælper ellers crawlere med at forstå et website?#

Selv når crawling er tilladt, kan en crawler muligvis ikke hente sidens indhold. Ud over adgangsreglerne skal du kontrollere, hvordan websitet leverer tekst og hjælper folk med at finde indholdet.

• Teksten er tilgængelig med det samme. Hvis scripts gengiver sidens indhold i browseren, vil nogle crawlere se en tom skal. Åbn siden, vælg »vis sidens kildekode«, og søg efter din tekst. Hvis teksten ikke står dér og kun vises i den almindelige sidevisning, skal du undersøge, hvordan siden leveres.
• Der findes et sitemap. Filen sitemap.xml er en liste over alle dine sider. Den hjælper crawlere med ikke at overse indhold. Tilføj et link til den i robots.txt med en Sitemap:-linje.
• Svaret er tydeligt for et menneske. Assistenternes crawlere leder efter sider, der besvarer et spørgsmål. En tydelig overskrift, et kort svar i begyndelsen og ærlige formuleringer fungerer bedre end en liste over nøgleord.

Hvorfor kan et website være usynligt for AI?#

Hvis dit website ikke vises i svar, skal du undersøge disse mulige adgangshindringer.

• Crawleren er blokeret i robots.txt. Nogle gange indeholder filen en generel begrænsning, der blokerer de crawlere, du har brug for. Kontrollér, om der står Disallow: / i en gruppe, der gælder for assistenternes crawlere.
• Teksten er ikke synlig uden en browser. Hvis scripts genererer indholdet, får crawleren det muligvis ikke. Kontrollér kildekoden som beskrevet ovenfor.
• Websitets sikkerhed blokerer crawlere. Mange websites bruger beskyttelse mod uønsket trafik – for eksempel Cloudflare. Den kan blokere adgangen uanset robots.txt. Du bruger robots.txt til at styre, hvor en crawler må gå hen, mens websitets sikkerhed afgør, om dens anmodning får adgang. Perplexity anbefaler, at crawlere tillades manuelt i sikkerhedsindstillingerne ud fra deres user-agent-navne og offentliggjorte IP-adresser. Angiv crawlregler via robots.txt: Anthropic advarer særskilt om, at det er upålideligt kun at blokere crawlere efter IP-adresse. Hvis du bruger en lignende tjeneste, skal du kontrollere dens indstillinger.

Undersøg årsagerne én ad gangen: Begynd med robots.txt, se derefter på sidens kildekode, og kontrollér til sidst sikkerhedsindstillingerne. At disse hindringer ikke findes, garanterer ikke i sig selv, at dit website vises i svar.

Hvordan kan du kontrollere, om en crawler har besøgt siden?#

Denne kontrol hjælper dig med at vurdere, om dit website er tilgængeligt, og finde registreringer af crawlerbesøg.

• Åbn https://example.com/robots.txt i en browser – filen skal åbne og indeholde de nødvendige grupper.
• Åbn sitemapet på https://example.com/sitemap.xml – det skal åbne og vise en liste over sider.
• Vis kildekoden for en vigtig side, og se efter din tekst.
• Hvis du har adgang til serverlogfiler, skal du søge efter crawlernavne – OAI-SearchBot, PerplexityBot og andre. Deres besøg kan ses via user-agent.

Kontrollen viser ikke, om assistenten vil vælge netop din side. Det afhænger af brugerens spørgsmål, og hvor godt siden besvarer det.

Hvad indstillingerne ikke garanterer#

Adgang til dit website og det at blive vist i en assistents svar er forskellige resultater. Indstillingerne har begrænsninger.

• Citering er ikke garanteret. Åben adgang giver blot en crawler mulighed for at læse dit website. Om assistenten citerer dig, afhænger af assistenten og spørgsmålet.
• Ingen lover placeringer eller trafik. Indstillingen i robots.txt åbner for adgang, men sikrer ikke en plads i søgeresultaterne.
• Nogle crawlere kan ignorere filens regler. Det gælder nogle crawlere, der besøger som svar på en direkte brugeranmodning – for eksempel OpenAIs ChatGPT-User og Perplexitys Perplexity-User.
• Reglerne ændrer sig. Udviklere opdaterer crawlernavne og vilkår. Det er værd at kontrollere dokumentationen med nogle måneders mellemrum; links findes til sidst.

Du styrer adgangen og kvaliteten af dit website, men assistenten afgør, om et link skal med. Målet med disse indstillinger er at gøre en nyttig side tilgængelig for søgning og læsning uden at forsøge at »narre« assistenten.

Hvad nu?#

Åbn robots.txt, tilføj assistenternes søgecrawlere, og kontrollér sitemapet og tekstens tilgængelighed. Hvis sikkerheden blokerer adgangen, skal du også kontrollere dens indstillinger. Disse handlinger hjælper dig med at finde og fjerne tekniske hindringer. Gennemgå derefter selve siderne: Giver de tydelige svar på konkrete spørgsmål fra din målgruppe?