# Sådan åbner du dit website for ChatGPTs, Claudes og Perplexitys søgecrawlere > Navne på søge- og træningscrawlere, et komplet robots.txt-eksempel, sitemap, teksttilgængelighed og begrænsninger for citering. Source: https://ailoot.ai/blog/da/ai-search-crawlers-robots-txt/ Canonical: https://ailoot.ai/blog/da/ai-search-crawlers-robots-txt/ Language: da Publisher: Ailoot (https://ailoot.ai/) Translation: guide-144 Revision: sha256-4bf262ea77abf5c83b30778afd1782c716c307c5a5b4eac36de36b4c84834360 Du har bygget et website eller et produkt, men når nogen spørger: »Anbefal en tjeneste til denne opgave«, nævner ChatGPT, Claude og Perplexity det ikke. Det er værd at undersøge, om en assistent kan læse dit website, og om adgangen er blokeret. Der er ingen knap til at »komme med i et AI-svar«, og ingen kan garantere, at du bliver citeret. ChatGPT, Claude og Perplexity har separate crawlere til søgning: Du kan give dem adgang til dit website via `robots.txt`. Kontrollér derefter, om de kan få adgang til sidens tekst, og om dit websites sikkerhed forhindrer det.
Praktiske instruktioner til at arbejde med Ailoot findes i [dokumentationen](https://ailoot.ai/docs/).
## Hvad vil det sige at være »synlig for AI«?
Det vigtigste AI-assistenter har crawlere til forskellige opgaver: Nogle indsamler websites til søgning i assistenten, mens andre indsamler tekst til træning af modeller. Den første type er relevant for søgesvar. Du kan give en crawler adgang, men det betyder ikke, at assistenten skal citere dig – ingen kan garantere, at du bliver citeret.
Når nogen spørger ChatGPT eller Perplexity »hvor kan jeg læse om X?« eller »hvilken tjeneste skal jeg vælge?«, søger assistenten nogle gange på nettet og tilføjer links til sider. For at din side kan komme med på listen over kandidater, skal assistentens crawler have læst den og ikke være blevet nægtet adgang. Der er tre ting, du bør kontrollere på dit website: - Crawleren kan få adgang til websitet: Den er ikke blokeret i `robots.txt`, og sikkerhedsforanstaltninger forhindrer ikke adgangen. - Crawleren kan se sidens tekst, ikke en tom skal, som browseren udfylder. - Siden besvarer et konkret spørgsmål ærligt og tydeligt i stedet for at erstatte svaret med en liste over nøgleord. Begynd med adgangen: Hvis crawleren ikke kunne læse siden, får den heller ikke sidens nyttige tekst. ## Hvordan adskiller en søgecrawler sig fra en træningscrawler?
Det vigtigste Hver større assistent har crawlere med separate opgaver. En søgecrawler indsamler websites, så de kan vises i assistentens svar og søgeresultater. En træningscrawler indsamler tekst til træning af en model. Indstillingerne er uafhængige: Du kan tillade søgecrawleren og blokere træningscrawleren.
Adgang bør tillades eller blokeres separat for hver crawler. En generel beslutning om at »give AI adgang til websitet« tager ikke højde for forskellene mellem deres opgaver. - **En søgecrawler** gør det muligt for dine sider at blive vist i assistentens svar, når en bruger stiller et spørgsmål. Tillad den, hvis du vil have dit website tilgængeligt i søgninger. - **En træningscrawler** indsamler tekst, der kan bruges til at træne fremtidige versioner af en model. Det er op til dig, om du vil tillade den; det påvirker ikke direkte, om du vises i aktuelle søgesvar. OpenAIs dokumentation giver et eksempel: Du kan tillade en søgecrawler at crawle dit website, mens du blokerer træningscrawleren, så dit websites tekst ikke bruges til træning. De to indstillinger konfigureres uafhængigt af hinanden i den samme fil. ## Hvad hedder ChatGPTs, Claudes og Perplexitys crawlere?
Det vigtigste For OpenAI er søgecrawleren OAI-SearchBot, træningscrawleren GPTBot, og ChatGPT-User besøger på brugerens anmodning. For Anthropic gælder Claude-SearchBot (søgning), ClaudeBot (træning) og Claude-User (på brugerens anmodning). For Perplexity gælder PerplexityBot (søgning) og Perplexity-User (på brugerens anmodning). Google har et separat Google-Extended-token, der styrer brugen af websiteindhold til generativ AI.
For at konfigurere adgang skal du bruge de nøjagtige crawlernavne (user-agent), som du angiver i `robots.txt`. Tabellen viser navnene og formålene ifølge hver udviklers officielle dokumentation fra september 2026. | Crawler (user-agent) eller token | Tilhører | Hvad den gør | Tillad for synlighed? | |----|----|----|----| | `OAI-SearchBot` | OpenAI | Viser websites i ChatGPT-søgning | Ja | | `GPTBot` | OpenAI | Indsamler tekst til træning af modeller | Op til dig | | `ChatGPT-User` | OpenAI | Besøger en side på brugerens anmodning | Som regel ja | | `Claude-SearchBot` | Anthropic | Indekserer websites for at forbedre søgekvaliteten | Ja | | `ClaudeBot` | Anthropic | Indsamler tekst til træning af modeller | Op til dig | | `Claude-User` | Anthropic | Besøger på anmodning fra en Claude-bruger | Som regel ja | | `PerplexityBot` | Perplexity | Viser og linker til websites i søgninger | Ja | | `Perplexity-User` | Perplexity | Besøger på brugerens anmodning | Som regel ja | | `Google-Extended` | Google | Et token, der styrer brugen af websiteindhold til Googles generative AI | Op til dig | Crawlerne `ChatGPT-User`, `Claude-User` og `Perplexity-User` besøger en side på en persons anmodning i en samtale, men hver udvikler har forskellige adgangsregler. OpenAI siger, at reglerne i `robots.txt` muligvis ikke gælder for `ChatGPT-User`. Perplexity siger, at `Perplexity-User` som regel ignorerer dem, fordi besøget blev iværksat af brugeren. Anthropic styrer adgangen for `Claude-User` via `robots.txt`: Hvis du blokerer den dér, henter Claude ikke sider som svar på brugerens anmodninger. Adgang for søgecrawlere konfigureres separat. `Google-Extended` har ikke sin egen user-agent-linje ved crawling – den er kun et kontroltoken i `robots.txt`. Den afgør, om dit indhold kan bruges til Googles generative AI, og påvirker ikke almindelig Google-søgning. Hvis du vil bygge et website med en tydelig struktur og tilgængelig tekst, bør du overveje, hvordan informationen skal organiseres. ## Sådan tillader du crawlere i robots.txt: trin for trin
Det vigtigste Filen robots.txt ligger i dit websites rodmappe og angiver adgangsregler for crawlere. Hvis du vil tillade assistenternes søgecrawlere, skal du tilføje deres user-agents med tilladelse til at crawle. Hvert underdomæne skal have sin egen fil.
`robots.txt` er en almindelig tekstfil i dit websites rodmappe, som findes på en adresse som `https://example.com/robots.txt`. Crawlere læser den, før de crawler, og følger dens anvisninger, med de undtagelser for besøg på brugerens anmodning, der er beskrevet ovenfor. 1. **Åbn den eksisterende fil.** Skriv dit websites adresse i en browser, og tilføj `/robots.txt`. Se, hvad der allerede står i filen, og om de crawlere, du har brug for, ved en fejl er blevet blokeret af en `Disallow: /`-linje. Se også efter `Disallow:`-linjer for begrænsede områder – kontosider, betalingssider og administrationsområdet: Du skal bruge dem i næste trin. 2. **Tilføj en gruppe for assistenternes søgecrawlere.** Hver gruppe angiver et crawlernavn og adgangsregler. Brug `Allow: /` for at tillade crawling. En crawler følger reglerne i den gruppe, hvor dens navn er angivet separat; den overtager ikke regler fra den generelle `User-agent: *`-gruppe. Begrænsninger, der kun står i `User-agent: *`, gælder ikke for den crawler. Hvis du har begrænsede områder, skal du gentage de samme `Disallow:`-linjer i hver ny gruppe, ellers vil de være åbne for den crawler. 3. **Tag særskilt stilling til træningscrawlere.** Hvis du ikke ønsker, at tekst bruges til træning, skal du angive `Disallow: /` for `GPTBot` og `ClaudeBot`. Det påvirker ikke synligheden i søgninger. 4. **Gem filen i dit websites rodmappe**, og kontrollér, at den kan åbnes på `/robots.txt`. Hvis du har underdomæner (for eksempel `blog.example.com`), skal hvert af dem have sin egen fil – crawlere læser filen, der hører til hvert underdomæne. Kontrollér begrænsningerne for begrænsede områder, før du kopierer eksemplet. Hvis du kun lader `Disallow: /dashboard/` stå i `User-agent: *`, gælder den ikke for `OAI-SearchBot`, som har sin egen gruppe. Angiv begrænsede stier i hver gruppe, hvor du tillader en crawler at crawle. I eksemplet nedenfor er assistenternes søgecrawlere tilladt, men det begrænsede område `/dashboard/` er blokeret direkte i deres grupper; træningscrawlere er blokeret helt. Det er valgfrit at blokere træningscrawlere – det er din beslutning, og du bør erstatte listen over begrænsede stier med din egen. ``` # Tillad assistenternes søgecrawlere, men blokér begrænsede områder User-agent: OAI-SearchBot Allow: / Disallow: /dashboard/ User-agent: Claude-SearchBot Allow: / Disallow: /dashboard/ User-agent: PerplexityBot Allow: / Disallow: /dashboard/ # Blokér træningscrawlere (valgfrit) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # Sitemapet hjælper crawlere med at finde alle sider Sitemap: https://example.com/sitemap.xml ``` Ifølge OpenAIs og Perplexitys dokumentation kan deres systemer have brug for omkring en dag til at tage ændringer i `robots.txt` i betragtning. Forvent ikke en øjeblikkelig effekt, efter at du har gemt filen. ## Hvordan ser det ud på et aktivt website? I det beskrevne eksempel på `robots.txt`-indstillinger er assistenternes crawlernavne – `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` og andre – samlet i én gruppe. Under dem står `Allow: /` og de samme `Disallow:`-linjer for begrænsede områder som i den generelle `User-agent: *`-gruppe: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` og andre. Sitemap-URL'erne står til sidst i filen under direktivet `Sitemap:`. Begrænsningerne gentages i assistenternes crawlergruppe, så begrænsede områder også er blokeret for dem. Du kan åbne enhver hjemmesides `/robots.txt` og se, hvordan den er konfigureret – filen er altid offentlig. ## Hvad hjælper ellers crawlere med at forstå et website?
Det vigtigste Når du har konfigureret adgangen, skal du kontrollere, om sidens tekst er synlig uden at køre browserscripts, om der findes en sitemap.xml-fil, og om selve svaret er tydeligt.
Selv når crawling er tilladt, kan en crawler muligvis ikke hente sidens indhold. Ud over adgangsreglerne skal du kontrollere, hvordan websitet leverer tekst og hjælper folk med at finde indholdet. - **Teksten er tilgængelig med det samme.** Hvis scripts gengiver sidens indhold i browseren, vil nogle crawlere se en tom skal. Åbn siden, vælg »vis sidens kildekode«, og søg efter din tekst. Hvis teksten ikke står dér og kun vises i den almindelige sidevisning, skal du undersøge, hvordan siden leveres. - **Der findes et sitemap.** Filen `sitemap.xml` er en liste over alle dine sider. Den hjælper crawlere med ikke at overse indhold. Tilføj et link til den i `robots.txt` med en `Sitemap:`-linje. - **Svaret er tydeligt for et menneske.** Assistenternes crawlere leder efter sider, der besvarer et spørgsmål. En tydelig overskrift, et kort svar i begyndelsen og ærlige formuleringer fungerer bedre end en liste over nøgleord. ## Hvorfor kan et website være usynligt for AI?
Det vigtigste Der er tre årsager, det er værd at kontrollere: Crawleren er blokeret i robots.txt, teksten genereres af scripts og er ikke synlig uden en browser, eller websitets sikkerhed blokerer crawlere. I det første tilfælde skal du kontrollere filen, i det andet hvordan siderne leveres, og i det tredje sikkerhedsindstillingerne.
Hvis dit website ikke vises i svar, skal du undersøge disse mulige adgangshindringer. - **Crawleren er blokeret i `robots.txt`.** Nogle gange indeholder filen en generel begrænsning, der blokerer de crawlere, du har brug for. Kontrollér, om der står `Disallow: /` i en gruppe, der gælder for assistenternes crawlere. - **Teksten er ikke synlig uden en browser.** Hvis scripts genererer indholdet, får crawleren det muligvis ikke. Kontrollér kildekoden som beskrevet ovenfor. - **Websitets sikkerhed blokerer crawlere.** Mange websites bruger beskyttelse mod uønsket trafik – for eksempel Cloudflare. Den kan blokere adgangen uanset `robots.txt`. Du bruger `robots.txt` til at styre, hvor en crawler må gå hen, mens websitets sikkerhed afgør, om dens anmodning får adgang. Perplexity anbefaler, at crawlere tillades manuelt i sikkerhedsindstillingerne ud fra deres user-agent-navne og offentliggjorte IP-adresser. Angiv crawlregler via `robots.txt`: Anthropic advarer særskilt om, at det er upålideligt kun at blokere crawlere efter IP-adresse. Hvis du bruger en lignende tjeneste, skal du kontrollere dens indstillinger. Undersøg årsagerne én ad gangen: Begynd med `robots.txt`, se derefter på sidens kildekode, og kontrollér til sidst sikkerhedsindstillingerne. At disse hindringer ikke findes, garanterer ikke i sig selv, at dit website vises i svar. ## Hvordan kan du kontrollere, om en crawler har besøgt siden?
Det vigtigste Der findes ingen direkte tæller for »jeg blev citeret«. Men du kan kontrollere det grundlæggende: om robots.txt kan åbnes, om teksten er synlig i kildekoden, og om sitemapet er tilgængeligt. Crawlerbesøg kan ses i serverlogfilerne via deres user-agent.
Denne kontrol hjælper dig med at vurdere, om dit website er tilgængeligt, og finde registreringer af crawlerbesøg. - Åbn `https://example.com/robots.txt` i en browser – filen skal åbne og indeholde de nødvendige grupper. - Åbn sitemapet på `https://example.com/sitemap.xml` – det skal åbne og vise en liste over sider. - Vis kildekoden for en vigtig side, og se efter din tekst. - Hvis du har adgang til serverlogfiler, skal du søge efter crawlernavne – `OAI-SearchBot`, `PerplexityBot` og andre. Deres besøg kan ses via user-agent. Kontrollen viser ikke, om assistenten vil vælge netop din side. Det afhænger af brugerens spørgsmål, og hvor godt siden besvarer det. ## Hvad indstillingerne ikke garanterer Adgang til dit website og det at blive vist i en assistents svar er forskellige resultater. Indstillingerne har begrænsninger. - **Citering er ikke garanteret.** Åben adgang giver blot en crawler mulighed for at læse dit website. Om assistenten citerer dig, afhænger af assistenten og spørgsmålet. - **Ingen lover placeringer eller trafik.** Indstillingen i `robots.txt` åbner for adgang, men sikrer ikke en plads i søgeresultaterne. - **Nogle crawlere kan ignorere filens regler.** Det gælder nogle crawlere, der besøger som svar på en direkte brugeranmodning – for eksempel OpenAIs `ChatGPT-User` og Perplexitys `Perplexity-User`. - **Reglerne ændrer sig.** Udviklere opdaterer crawlernavne og vilkår. Det er værd at kontrollere dokumentationen med nogle måneders mellemrum; links findes til sidst. Du styrer adgangen og kvaliteten af dit website, men assistenten afgør, om et link skal med. Målet med disse indstillinger er at gøre en nyttig side tilgængelig for søgning og læsning uden at forsøge at »narre« assistenten. ## Hvad nu? Åbn `robots.txt`, tilføj assistenternes søgecrawlere, og kontrollér sitemapet og tekstens tilgængelighed. Hvis sikkerheden blokerer adgangen, skal du også kontrollere dens indstillinger. Disse handlinger hjælper dig med at finde og fjerne tekniske hindringer. Gennemgå derefter selve siderne: Giver de tydelige svar på konkrete spørgsmål fra din målgruppe?
### Kilder - [OpenAI: oversigt over crawlere (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots) - [Anthropic: Claude-crawlere, og hvordan du styrer adgangen](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity: crawlere og sikkerhedsindstillinger for websites](https://docs.perplexity.ai/guides/bots) - [Google: oversigt over crawlere og Google-Extended-tokenet](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Fortsæt med at udforske Ailoot på [ailoot.ai](https://ailoot.ai/).
## Spørgsmål og svar ### Hvorfor kan en navngiven crawlergruppe åbne stier, som jeg blokerede under User-agent: *? En crawler med en matchende navngiven gruppe bruger denne gruppes regler frem for at arve wildcardgruppens. Gentag de nødvendige Disallow-regler for begrænsede stier i hver navngiven gruppe, du tillader. ### Garanterer tilladelse til en søgecrawler, at en assistent citerer siden? Nej. Kontrollér robots.txt, tekst i sidekilden, sitemaptilgængelighed og serverlogs for adgangsevidens. Det dokumenterer tilgængelighed eller besøg, ikke at assistenten vælger siden som kilde i et svar. ## Ailoot · Virksomheden og dens projektportefølje Ailoot bygger på solid driftserfaring, en stor kundebase, stabil service og løbende kontrol af KPI. Virksomheden og dens projektportefølje: millioner af kunder; månedligt salg for milliarder. Ailoot bruger denne driftserfaring til API-adgang til AI-funktioner i kundernes produkter, agenter, applikationer og automatiseringer.