Slik åpner du nettstedet ditt for søkecrawlere fra ChatGPT, Claude og Perplexity

Du har laget et nettsted eller et produkt, men når noen spør «Anbefal en tjeneste for denne oppgaven», nevner ikke ChatGPT, Claude og Perplexity det. Det er verdt å undersøke om en assistent kan lese nettstedet ditt, og om tilgangen er blokkert.

Det finnes ingen knapp for å «komme med i et AI-svar», og ingen kan garantere at du blir sitert. ChatGPT, Claude og Perplexity har egne crawlere for søk: du kan gi dem tilgang til nettstedet ditt via robots.txt. Sjekk deretter om de får tilgang til sideteksten, og om sikkerheten på nettstedet hindrer dem.

Hva betyr det å «være synlig for AI»?#

Når noen spør ChatGPT eller Perplexity «Hvor kan jeg lese om X?» eller «Hvilken tjeneste bør jeg velge?», søker assistenten noen ganger på nettet og legger til lenker til sider. For at siden din skal bli med på listen over mulige kandidater, må assistentens crawler ha lest den uten å bli nektet tilgang.

Det er tre ting du bør kontrollere på nettstedet ditt:

• crawleren får tilgang til nettstedet: den er ikke blokkert i robots.txt, og sikkerhetstiltak hindrer ikke tilgangen;
• crawleren kan se sideteksten, ikke bare et tomt skall som nettleseren fyller ut;
• siden svarer ærlig og tydelig på et konkret spørsmål, i stedet for å erstatte svaret med en liste over nøkkelord.

Begynn med tilgangen: Hvis crawleren ikke kunne lese siden, får den heller ikke tak i den nyttige teksten på den.

Hva er forskjellen på en søkecrawler og en treningscrawler?#

Tilgang bør tillates eller blokkeres separat for hver crawler. En generell beslutning om å «slippe AI inn på nettstedet» tar ikke hensyn til forskjellene mellom oppgavene deres.

• En søkecrawler gjør at sidene dine kan vises i assistentens svar når en bruker spør om noe. Tillat den hvis du vil at nettstedet ditt skal være tilgjengelig i søk.
• En treningscrawler samler inn tekst som kan brukes til å trene framtidige versjoner av en modell. Det er opp til deg om du vil tillate den; det påvirker ikke direkte om du vises i dagens søkesvar.

I OpenAIs dokumentasjon finner du et eksempel: Du kan tillate en søkecrawler å gjennomgå nettstedet ditt samtidig som du blokkerer treningscrawleren, slik at nettstedets tekst ikke brukes til trening. Disse to innstillingene konfigureres uavhengig av hverandre i samme fil.

Hva heter crawlerne til ChatGPT, Claude og Perplexity?#

For å konfigurere tilgangen trenger du de nøyaktige crawlernavnene (user-agent) som du angir i robots.txt. Tabellen viser navnene og formålene slik de er beskrevet i den offisielle dokumentasjonen til hver utvikler, per september 2026.

Crawlerne ChatGPT-User, Claude-User og Perplexity-User besøker en side på en persons forespørsel i en samtale, men hver utvikler har egne tilgangsregler. OpenAI sier at reglene i robots.txt kanskje ikke gjelder for ChatGPT-User. Perplexity sier at Perplexity-User vanligvis ignorerer dem fordi det var brukeren som startet besøket. Anthropic styrer tilgangen til Claude-User via robots.txt: Hvis du blokkerer den der, henter ikke Claude sider som svar på brukerforespørsler. Tilgang for søkecrawlere konfigureres separat.

Google-Extended har ingen egen user-agent-linje under crawling – det er bare et kontrolltoken i robots.txt. Det avgjør om innholdet ditt kan brukes til Googles generative AI, og påvirker ikke vanlig Google Search.

Hvis du vil bygge et nettsted med tydelig struktur og tilgjengelig tekst, bør du tenke gjennom hvordan informasjonen organiseres.

Slik tillater du crawlere i robots.txt: trinn for trinn#

robots.txt er en ren tekstfil i nettstedets rotmappe, tilgjengelig på en adresse som https://example.com/robots.txt. Crawlere leser den før de begynner å crawle, og følger instruksjonene, med unntakene for besøk på brukerens forespørsel som er beskrevet ovenfor.

1. Åpne den gjeldende filen. Skriv inn nettstedets adresse i en nettleser, og legg til /robots.txt. Se hva som allerede står i filen, og om crawlerne du trenger ved et uhell er blokkert med en Disallow: /-linje. Se også etter Disallow:-linjer for begrensede områder – kontosider, betalingssider og administratorområdet: Du trenger dem i neste trinn.
2. Legg til en gruppe for assistentenes søkecrawlere. Hver gruppe angir et crawlernavn og tilgangsregler. Bruk Allow: / for å tillate crawling. En crawler følger reglene i gruppen der navnet dens er angitt separat; den henter ikke regler fra den generelle User-agent: *-gruppen. Begrensninger som bare står i User-agent: *, gjelder ikke for den crawleren. Hvis du har begrensede områder, gjentar du de samme Disallow:-linjene i hver nye gruppe. Ellers blir disse områdene åpne for crawleren.
3. Ta en egen beslutning om treningscrawlere. Hvis du ikke vil at tekst skal brukes til trening, angir du Disallow: / for GPTBot og ClaudeBot. Dette påvirker ikke synligheten i søk.
4. Lagre filen i nettstedets rotmappe og kontroller at den åpnes på /robots.txt. Hvis du har underdomener (for eksempel blog.example.com), trenger hvert av dem sin egen fil – crawlerne leser filen som hører til hvert underdomene.

Før du kopierer eksemplet, bør du kontrollere begrensningene for avgrensede områder. Hvis du lar Disallow: /dashboard/ stå bare i User-agent: *, gjelder den ikke for OAI-SearchBot, som har sin egen gruppe. Oppgi begrensede stier i hver gruppe der du tillater en crawler å crawle.

I eksemplet nedenfor er søkecrawlerne til assistentene tillatt, men det begrensede området /dashboard/ er blokkert direkte i gruppene deres. Treningscrawlerne er blokkert helt. Det er valgfritt å blokkere treningscrawlere – det bestemmer du selv, og du bør erstatte listen over begrensede stier med dine egne.

# Tillat søkecrawlere for assistenter, men blokker begrensede områder
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Blokker treningscrawlere (valgfritt)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Nettstedskartet hjelper crawlere med å finne alle sider
Sitemap: https://example.com/sitemap.xml

Ifølge dokumentasjonen til OpenAI og Perplexity kan det ta omtrent én dag før systemene deres tar hensyn til endringer i robots.txt. Ikke forvent umiddelbar effekt etter at du har lagret filen.

Hvordan ser dette ut på et aktivt nettsted?#

I eksemplet på de beskrevne robots.txt-innstillingene er navnene på assistentcrawlerne – GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended og andre – samlet i én gruppe. Under dem står Allow: / og de samme Disallow:-linjene for begrensede områder som i den generelle User-agent: *-gruppen: /dashboard/, /admin/, /login, /account/, /order/ og andre. Sitemap-URL-ene står nederst i filen under Sitemap:-direktivet.

Begrensningene gjentas i assistentcrawlernes gruppe, slik at begrensede områder også er blokkert for dem. Du kan åpne /robots.txt på et hvilket som helst nettsted og se hvordan den er konfigurert – filen er alltid offentlig.

Hva annet hjelper crawlere med å forstå et nettsted?#

Selv når crawling er tillatt, kan det hende at en crawler ikke får tak i sideinnholdet. I tillegg til tilgangsreglene bør du kontrollere hvordan nettstedet leverer tekst, og hvordan det hjelper folk med å finne innholdet.

• Teksten er tilgjengelig med en gang. Hvis skript gjengir sideinnholdet i nettleseren, vil noen crawlere se et tomt skall. Åpne siden, velg «vis sidekilde» og søk etter teksten din for å kontrollere dette. Hvis den ikke finnes der og bare vises i den vanlige sidevisningen, må du undersøke hvordan siden leveres.
• Det finnes et nettstedskart. sitemap.xml-filen er en liste over alle sidene dine. Den hjelper crawlere med å unngå å gå glipp av innhold. Legg til en lenke til den i robots.txt med en Sitemap:-linje.
• Svaret er tydelig for et menneske. Assistentenes crawlere ser etter sider som besvarer spørsmål. En tydelig overskrift, et kort svar i begynnelsen og ærlige formuleringer fungerer bedre enn en liste med nøkkelord.

Hvorfor kan et nettsted være usynlig for AI?#

Hvis nettstedet ditt ikke vises i svar, bør du undersøke disse mulige hindringene for tilgang.

• Crawleren er blokkert i robots.txt. Noen ganger inneholder filen en generell begrensning som blokkerer crawlerne du trenger. Sjekk om det finnes en Disallow: / i en gruppe som gjelder for assistentenes crawlere.
• Teksten er ikke synlig uten en nettleser. Hvis skript genererer innholdet, kan det hende crawleren ikke får tak i det. Kontrollen av kildekoden er beskrevet ovenfor.
• Sikkerheten på nettstedet blokkerer crawlere. Mange nettsteder bruker beskyttelse mot uønsket trafikk, for eksempel Cloudflare. Den kan blokkere tilgang uavhengig av robots.txt. Med robots.txt styrer du hvor en crawler kan gå, mens sikkerheten på nettstedet avgjør om forespørselen slipper gjennom. Perplexity anbefaler å tillate crawlere manuelt i sikkerhetsinnstillingene ved hjelp av user-agent-navnene og de publiserte IP-adressene deres. Sett opp crawlingregler via robots.txt: Anthropic advarer særskilt om at det er upålitelig å blokkere crawlere bare etter IP-adresse. Hvis du bruker en lignende tjeneste, bør du kontrollere innstillingene.

Undersøk årsakene én etter én: Begynn med robots.txt, se deretter på sidens kildekode, og kontroller til slutt sikkerhetsinnstillingene. At disse hindringene mangler, garanterer ikke i seg selv at nettstedet ditt vises i svar.

Hvordan kan du kontrollere om en crawler har nådd siden?#

Denne kontrollen hjelper deg med å vurdere hvor tilgjengelig nettstedet ditt er, og finne oppføringer av crawlerbesøk.

• Åpne https://example.com/robots.txt i en nettleser – filen skal åpnes og inneholde de nødvendige gruppene.
• Åpne nettstedskartet på https://example.com/sitemap.xml – det skal åpnes og liste opp sider.
• Vis kildekoden til en viktig side, og se etter teksten din.
• Hvis du har tilgang til serverlogger, kan du søke etter crawlernavn som OAI-SearchBot, PerplexityBot og andre. Besøkene deres vises gjennom user-agenten.

Kontrollen viser ikke om assistenten vil velge akkurat din side. Det avhenger av brukerens spørsmål og hvor godt siden besvarer det.

Hva innstillingene ikke garanterer#

Tilgang til nettstedet ditt og synlighet i et svar fra en assistent er to forskjellige utfall. Innstillingene har begrensninger.

• Sitering er ikke garantert. Åpen tilgang gir bare en crawler mulighet til å lese nettstedet ditt. Om assistenten siterer deg, avgjør den selv ut fra spørsmålet.
• Ingen lover deg rangeringer eller trafikk. robots.txt-innstillingen åpner for tilgang, men sikrer deg ikke en plass i søkeresultatene.
• Noen crawlere kan ignorere reglene i filen. Dette gjelder enkelte crawlere som besøker som svar på en direkte brukerforespørsel, for eksempel OpenAIs ChatGPT-User og Perplexitys Perplexity-User.
• Reglene endres. Utviklere oppdaterer crawlernavn og vilkår. Det er verdt å kontrollere dokumentasjonen med noen måneders mellomrom; lenkene står til slutt.

Du styrer tilgangen og kvaliteten på nettstedet ditt, men assistenten avgjør om den skal ta med en lenke. Målet med disse innstillingene er å gjøre en nyttig side tilgjengelig for søk og lesing, uten å prøve å «lure» assistenten.

Hva nå?#

Åpne robots.txt, legg til assistentenes søkecrawlere, og kontroller nettstedskartet og teksttilgjengeligheten. Hvis sikkerheten blokkerer tilgangen, bør du også kontrollere innstillingene der. Dette hjelper deg med å identifisere og fjerne tekniske hindringer. Se deretter på selve sidene: Gir de tydelige svar på konkrete spørsmål fra målgruppen din?