# Slik åpner du nettstedet ditt for søkecrawlere fra ChatGPT, Claude og Perplexity
> Navn på søke- og treningscrawlere, et komplett robots.txt-eksempel, nettstedskart, teksttilgjengelighet og begrensninger for sitering.
Source: https://ailoot.ai/blog/nb/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/nb/ai-search-crawlers-robots-txt/
Language: nb
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-3c6c3cc9618f32831cd1c68b844d74693a31ebd7a4d7c46d4d7ba9cdbd2cee2e
Du har laget et nettsted eller et produkt, men når noen spør «Anbefal en tjeneste for denne oppgaven», nevner ikke ChatGPT, Claude og Perplexity det. Det er verdt å undersøke om en assistent kan lese nettstedet ditt, og om tilgangen er blokkert.
Det finnes ingen knapp for å «komme med i et AI-svar», og ingen kan garantere at du blir sitert. ChatGPT, Claude og Perplexity har egne crawlere for søk: du kan gi dem tilgang til nettstedet ditt via `robots.txt`. Sjekk deretter om de får tilgang til sideteksten, og om sikkerheten på nettstedet hindrer dem.
Praktiske instruksjoner for hvordan du bruker Ailoot, finner du i [dokumentasjonen](https://ailoot.ai/docs/).
## Hva betyr det å «være synlig for AI»?
Viktigste poeng
AI-assistenter har crawlere for ulike oppgaver: Noen samler inn nettsteder for søk i assistenten, mens andre samler inn tekst for å trene modeller. Den første typen er viktig for søkesvar. Du kan gi en crawler tilgang, men det betyr ikke at assistenten må sitere deg – ingen kan garantere at du blir sitert.
Når noen spør ChatGPT eller Perplexity «Hvor kan jeg lese om X?» eller «Hvilken tjeneste bør jeg velge?», søker assistenten noen ganger på nettet og legger til lenker til sider. For at siden din skal bli med på listen over mulige kandidater, må assistentens crawler ha lest den uten å bli nektet tilgang.
Det er tre ting du bør kontrollere på nettstedet ditt:
- crawleren får tilgang til nettstedet: den er ikke blokkert i `robots.txt`, og sikkerhetstiltak hindrer ikke tilgangen;
- crawleren kan se sideteksten, ikke bare et tomt skall som nettleseren fyller ut;
- siden svarer ærlig og tydelig på et konkret spørsmål, i stedet for å erstatte svaret med en liste over nøkkelord.
Begynn med tilgangen: Hvis crawleren ikke kunne lese siden, får den heller ikke tak i den nyttige teksten på den.
## Hva er forskjellen på en søkecrawler og en treningscrawler?
Viktigste poeng
Alle større assistenter har crawlere med ulike oppgaver. En søkecrawler samler inn nettsteder slik at de kan vises i assistentens svar og søkeresultater. En treningscrawler samler inn tekst for å trene en modell. Disse innstillingene er uavhengige: Du kan tillate søkecrawleren og blokkere treningscrawleren.
Tilgang bør tillates eller blokkeres separat for hver crawler. En generell beslutning om å «slippe AI inn på nettstedet» tar ikke hensyn til forskjellene mellom oppgavene deres.
- **En søkecrawler** gjør at sidene dine kan vises i assistentens svar når en bruker spør om noe. Tillat den hvis du vil at nettstedet ditt skal være tilgjengelig i søk.
- **En treningscrawler** samler inn tekst som kan brukes til å trene framtidige versjoner av en modell. Det er opp til deg om du vil tillate den; det påvirker ikke direkte om du vises i dagens søkesvar.
I OpenAIs dokumentasjon finner du et eksempel: Du kan tillate en søkecrawler å gjennomgå nettstedet ditt samtidig som du blokkerer treningscrawleren, slik at nettstedets tekst ikke brukes til trening. Disse to innstillingene konfigureres uavhengig av hverandre i samme fil.
## Hva heter crawlerne til ChatGPT, Claude og Perplexity?
Viktigste poeng
For OpenAI er søkecrawleren OAI-SearchBot, treningscrawleren GPTBot, og ChatGPT-User besøker på brukerens forespørsel. For Anthropic: Claude-SearchBot (søk), ClaudeBot (trening) og Claude-User (på brukerens forespørsel). For Perplexity: PerplexityBot (søk) og Perplexity-User (på brukerens forespørsel). Google har et eget Google-Extended-token som styrer bruken av nettstedinnhold til generativ AI.
For å konfigurere tilgangen trenger du de nøyaktige crawlernavnene (user-agent) som du angir i `robots.txt`. Tabellen viser navnene og formålene slik de er beskrevet i den offisielle dokumentasjonen til hver utvikler, per september 2026.
| Crawler (user-agent) eller token | Tilhører | Hva den gjør | Tillate for synlighet? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Viser nettsteder i ChatGPT-søk | Ja |
| `GPTBot` | OpenAI | Samler inn tekst for å trene modeller | Opp til deg |
| `ChatGPT-User` | OpenAI | Besøker en side på brukerens forespørsel | Vanligvis ja |
| `Claude-SearchBot` | Anthropic | Indekserer nettsteder for å forbedre søkekvaliteten | Ja |
| `ClaudeBot` | Anthropic | Samler inn tekst for å trene modeller | Opp til deg |
| `Claude-User` | Anthropic | Besøker en side på forespørsel fra en Claude-bruker | Vanligvis ja |
| `PerplexityBot` | Perplexity | Viser nettsteder i søk og lenker til dem | Ja |
| `Perplexity-User` | Perplexity | Besøker på brukerens forespørsel | Vanligvis ja |
| `Google-Extended` | Google | Et token som styrer bruk av nettstedinnhold til Googles generative AI | Opp til deg |
Crawlerne `ChatGPT-User`, `Claude-User` og `Perplexity-User` besøker en side på en persons forespørsel i en samtale, men hver utvikler har egne tilgangsregler. OpenAI sier at reglene i `robots.txt` kanskje ikke gjelder for `ChatGPT-User`. Perplexity sier at `Perplexity-User` vanligvis ignorerer dem fordi det var brukeren som startet besøket. Anthropic styrer tilgangen til `Claude-User` via `robots.txt`: Hvis du blokkerer den der, henter ikke Claude sider som svar på brukerforespørsler. Tilgang for søkecrawlere konfigureres separat.
`Google-Extended` har ingen egen user-agent-linje under crawling – det er bare et kontrolltoken i `robots.txt`. Det avgjør om innholdet ditt kan brukes til Googles generative AI, og påvirker ikke vanlig Google Search.
Hvis du vil bygge et nettsted med tydelig struktur og tilgjengelig tekst, bør du tenke gjennom hvordan informasjonen organiseres.
## Slik tillater du crawlere i robots.txt: trinn for trinn
Viktigste poeng
Filen robots.txt ligger i nettstedets rotmappe og angir tilgangsregler for crawlere. Legg til user-agent-navnene til assistentenes søkecrawlere med tillatelse til å crawle. Hvert underdomene trenger sin egen fil.
`robots.txt` er en ren tekstfil i nettstedets rotmappe, tilgjengelig på en adresse som `https://example.com/robots.txt`. Crawlere leser den før de begynner å crawle, og følger instruksjonene, med unntakene for besøk på brukerens forespørsel som er beskrevet ovenfor.
1. **Åpne den gjeldende filen.** Skriv inn nettstedets adresse i en nettleser, og legg til `/robots.txt`. Se hva som allerede står i filen, og om crawlerne du trenger ved et uhell er blokkert med en `Disallow: /`-linje. Se også etter `Disallow:`-linjer for begrensede områder – kontosider, betalingssider og administratorområdet: Du trenger dem i neste trinn.
2. **Legg til en gruppe for assistentenes søkecrawlere.** Hver gruppe angir et crawlernavn og tilgangsregler. Bruk `Allow: /` for å tillate crawling. En crawler følger reglene i gruppen der navnet dens er angitt separat; den henter ikke regler fra den generelle `User-agent: *`-gruppen. Begrensninger som bare står i `User-agent: *`, gjelder ikke for den crawleren. Hvis du har begrensede områder, gjentar du de samme `Disallow:`-linjene i hver nye gruppe. Ellers blir disse områdene åpne for crawleren.
3. **Ta en egen beslutning om treningscrawlere.** Hvis du ikke vil at tekst skal brukes til trening, angir du `Disallow: /` for `GPTBot` og `ClaudeBot`. Dette påvirker ikke synligheten i søk.
4. **Lagre filen i nettstedets rotmappe** og kontroller at den åpnes på `/robots.txt`. Hvis du har underdomener (for eksempel `blog.example.com`), trenger hvert av dem sin egen fil – crawlerne leser filen som hører til hvert underdomene.
Før du kopierer eksemplet, bør du kontrollere begrensningene for avgrensede områder. Hvis du lar `Disallow: /dashboard/` stå bare i `User-agent: *`, gjelder den ikke for `OAI-SearchBot`, som har sin egen gruppe. Oppgi begrensede stier i hver gruppe der du tillater en crawler å crawle.
I eksemplet nedenfor er søkecrawlerne til assistentene tillatt, men det begrensede området `/dashboard/` er blokkert direkte i gruppene deres. Treningscrawlerne er blokkert helt. Det er valgfritt å blokkere treningscrawlere – det bestemmer du selv, og du bør erstatte listen over begrensede stier med dine egne.
```
# Tillat søkecrawlere for assistenter, men blokker begrensede områder
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Blokker treningscrawlere (valgfritt)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Nettstedskartet hjelper crawlere med å finne alle sider
Sitemap: https://example.com/sitemap.xml
```
Ifølge dokumentasjonen til OpenAI og Perplexity kan det ta omtrent én dag før systemene deres tar hensyn til endringer i `robots.txt`. Ikke forvent umiddelbar effekt etter at du har lagret filen.
## Hvordan ser dette ut på et aktivt nettsted?
I eksemplet på de beskrevne `robots.txt`-innstillingene er navnene på assistentcrawlerne – `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` og andre – samlet i én gruppe. Under dem står `Allow: /` og de samme `Disallow:`-linjene for begrensede områder som i den generelle `User-agent: *`-gruppen: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` og andre. Sitemap-URL-ene står nederst i filen under `Sitemap:`-direktivet.
Begrensningene gjentas i assistentcrawlernes gruppe, slik at begrensede områder også er blokkert for dem. Du kan åpne `/robots.txt` på et hvilket som helst nettsted og se hvordan den er konfigurert – filen er alltid offentlig.
## Hva annet hjelper crawlere med å forstå et nettsted?
Viktigste poeng
Når du har konfigurert tilgangen, bør du kontrollere om sideteksten er synlig uten å kjøre nettleserskript, om det finnes en `sitemap.xml`-fil, og om selve svaret er tydelig.
Selv når crawling er tillatt, kan det hende at en crawler ikke får tak i sideinnholdet. I tillegg til tilgangsreglene bør du kontrollere hvordan nettstedet leverer tekst, og hvordan det hjelper folk med å finne innholdet.
- **Teksten er tilgjengelig med en gang.** Hvis skript gjengir sideinnholdet i nettleseren, vil noen crawlere se et tomt skall. Åpne siden, velg «vis sidekilde» og søk etter teksten din for å kontrollere dette. Hvis den ikke finnes der og bare vises i den vanlige sidevisningen, må du undersøke hvordan siden leveres.
- **Det finnes et nettstedskart.** `sitemap.xml`-filen er en liste over alle sidene dine. Den hjelper crawlere med å unngå å gå glipp av innhold. Legg til en lenke til den i `robots.txt` med en `Sitemap:`-linje.
- **Svaret er tydelig for et menneske.** Assistentenes crawlere ser etter sider som besvarer spørsmål. En tydelig overskrift, et kort svar i begynnelsen og ærlige formuleringer fungerer bedre enn en liste med nøkkelord.
## Hvorfor kan et nettsted være usynlig for AI?
Viktigste poeng
Det er tre mulige årsaker det er verdt å undersøke: Crawleren er blokkert i robots.txt, teksten genereres av skript og er ikke synlig uten en nettleser, eller sikkerheten på nettstedet blokkerer crawlere. I det første tilfellet kontrollerer du filen, i det andre hvordan sidene leveres, og i det tredje sikkerhetsinnstillingene.
Hvis nettstedet ditt ikke vises i svar, bør du undersøke disse mulige hindringene for tilgang.
- **Crawleren er blokkert i `robots.txt`.** Noen ganger inneholder filen en generell begrensning som blokkerer crawlerne du trenger. Sjekk om det finnes en `Disallow: /` i en gruppe som gjelder for assistentenes crawlere.
- **Teksten er ikke synlig uten en nettleser.** Hvis skript genererer innholdet, kan det hende crawleren ikke får tak i det. Kontrollen av kildekoden er beskrevet ovenfor.
- **Sikkerheten på nettstedet blokkerer crawlere.** Mange nettsteder bruker beskyttelse mot uønsket trafikk, for eksempel Cloudflare. Den kan blokkere tilgang uavhengig av `robots.txt`. Med `robots.txt` styrer du hvor en crawler kan gå, mens sikkerheten på nettstedet avgjør om forespørselen slipper gjennom. Perplexity anbefaler å tillate crawlere manuelt i sikkerhetsinnstillingene ved hjelp av user-agent-navnene og de publiserte IP-adressene deres. Sett opp crawlingregler via `robots.txt`: Anthropic advarer særskilt om at det er upålitelig å blokkere crawlere bare etter IP-adresse. Hvis du bruker en lignende tjeneste, bør du kontrollere innstillingene.
Undersøk årsakene én etter én: Begynn med `robots.txt`, se deretter på sidens kildekode, og kontroller til slutt sikkerhetsinnstillingene. At disse hindringene mangler, garanterer ikke i seg selv at nettstedet ditt vises i svar.
## Hvordan kan du kontrollere om en crawler har nådd siden?
Viktigste poeng
Det finnes ingen direkte teller for «jeg ble sitert». Men du kan kontrollere det grunnleggende: om robots.txt åpnes, om teksten er synlig i kildekoden, og om nettstedskartet er tilgjengelig. Crawlerbesøk vises i serverlogger gjennom user-agenten deres.
Denne kontrollen hjelper deg med å vurdere hvor tilgjengelig nettstedet ditt er, og finne oppføringer av crawlerbesøk.
- Åpne `https://example.com/robots.txt` i en nettleser – filen skal åpnes og inneholde de nødvendige gruppene.
- Åpne nettstedskartet på `https://example.com/sitemap.xml` – det skal åpnes og liste opp sider.
- Vis kildekoden til en viktig side, og se etter teksten din.
- Hvis du har tilgang til serverlogger, kan du søke etter crawlernavn som `OAI-SearchBot`, `PerplexityBot` og andre. Besøkene deres vises gjennom user-agenten.
Kontrollen viser ikke om assistenten vil velge akkurat din side. Det avhenger av brukerens spørsmål og hvor godt siden besvarer det.
## Hva innstillingene ikke garanterer
Tilgang til nettstedet ditt og synlighet i et svar fra en assistent er to forskjellige utfall. Innstillingene har begrensninger.
- **Sitering er ikke garantert.** Åpen tilgang gir bare en crawler mulighet til å lese nettstedet ditt. Om assistenten siterer deg, avgjør den selv ut fra spørsmålet.
- **Ingen lover deg rangeringer eller trafikk.** `robots.txt`-innstillingen åpner for tilgang, men sikrer deg ikke en plass i søkeresultatene.
- **Noen crawlere kan ignorere reglene i filen.** Dette gjelder enkelte crawlere som besøker som svar på en direkte brukerforespørsel, for eksempel OpenAIs `ChatGPT-User` og Perplexitys `Perplexity-User`.
- **Reglene endres.** Utviklere oppdaterer crawlernavn og vilkår. Det er verdt å kontrollere dokumentasjonen med noen måneders mellomrom; lenkene står til slutt.
Du styrer tilgangen og kvaliteten på nettstedet ditt, men assistenten avgjør om den skal ta med en lenke. Målet med disse innstillingene er å gjøre en nyttig side tilgjengelig for søk og lesing, uten å prøve å «lure» assistenten.
## Hva nå?
Åpne `robots.txt`, legg til assistentenes søkecrawlere, og kontroller nettstedskartet og teksttilgjengeligheten. Hvis sikkerheten blokkerer tilgangen, bør du også kontrollere innstillingene der. Dette hjelper deg med å identifisere og fjerne tekniske hindringer. Se deretter på selve sidene: Gir de tydelige svar på konkrete spørsmål fra målgruppen din?
### Kilder
- [OpenAI: oversikt over crawlere (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: Claude-crawlere og hvordan du styrer tilgangen](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawlere og sikkerhetsinnstillinger for nettsteder](https://docs.perplexity.ai/guides/bots)
- [Google: oversikt over crawlere og Google-Extended-tokenet](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Fortsett å utforske Ailoot på [ailoot.ai](https://ailoot.ai/).
## Spørsmål om denne veiledningen: Slik åpner du nettstedet ditt for søkecrawlere fra ChatGPT, Claude og Perplexity
### Hvorfor kan en navngitt crawlergruppe åpne stier jeg blokkerte under User-agent: *?
En crawler med en matchende navngitt gruppe bruker den gruppens regler fremfor å arve jokertegngruppen. Gjenta nødvendige Disallow-regler for beskyttede stier i hver navngitt gruppe du tillater.
### Garanterer tilgang for en søkecrawler at en assistent siterer siden?
Nei. Kontroller robots.txt, teksten i sidekilden, tilgjengelig sitemap og serverlogger for belegg på tilgang. Kontrollene fastslår tilgjengelighet eller besøk, ikke at assistenten velger siden til et svar.
## Ailoot · Selskapet og dets prosjektportefølje
Ailoot bygger på etablert driftserfaring, en stor kundebase, stabil tjeneste og løpende KPI-kontroll.
Selskapet og dets prosjektportefølje: millioner av kunder; månedlig salg for milliarder.
Ailoot bruker denne driftserfaringen til API-tilgang til AI-funksjoner i kundenes produkter, agenter, applikasjoner og automatiseringer.