# Kako omogočiti iskalnim pajkom ChatGPT, Claude in Perplexity dostop do svojega spletnega mesta
> Imena iskalnih in učnih pajkov, popoln primer datoteke robots.txt, zemljevid spletnega mesta, dostopnost besedila in omejitve citiranja.
Source: https://ailoot.ai/blog/sl/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/sl/ai-search-crawlers-robots-txt/
Language: sl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-c35a48eb98a3c952c746fbac8a9ecb3b2809477091317712b49a25e5e077073c
Zgradili ste spletno mesto ali izdelek, vendar ga ChatGPT, Claude in Perplexity ne omenijo, ko nekdo vpraša: »Priporoči storitev za to nalogo.« Vredno je preveriti, ali lahko pomočnik prebere vaše spletno mesto in ali je dostop blokiran.
Ni gumba za »uvrstitev v odgovor umetne inteligence« in nihče ne more zagotoviti, da bo vaše spletno mesto citirano. ChatGPT, Claude in Perplexity imajo za iskanje ločene pajke: dovolite jim lahko dostop do svojega spletnega mesta prek datoteke `robots.txt`. Nato preverite, ali lahko dostopajo do besedila na strani in ali jih pri tem ovira varnost vašega spletnega mesta.
Praktična navodila za delo z Ailoot so na voljo v [dokumentaciji](https://ailoot.ai/docs/).
## Kaj pomeni biti »viden za umetno inteligenco«?
Ključna ugotovitev
Pomočniki umetne inteligence uporabljajo pajke za različne naloge: nekateri zbirajo spletna mesta za iskanje znotraj pomočnika, drugi pa besedilo za učenje modelov. Za iskalne odgovore je pomembna prva vrsta. Pajku lahko dovolite dostop, vendar to ne pomeni, da vas mora pomočnik citirati — tega nihče ne more zagotoviti.
Ko nekdo vpraša ChatGPT ali Perplexity »kje lahko preberem o X?« ali »katero storitev naj izberem?«, pomočnik včasih poišče informacije v spletu in doda povezave do strani. Da bi se vaša stran uvrstila med kandidate, jo mora pajek pomočnika najprej prebrati, dostop pa ne sme biti zavrnjen.
Na svojem spletnem mestu preverite tri stvari:
- pajek lahko dostopa do spletnega mesta: dostop ni blokiran v datoteki `robots.txt`, varnostni ukrepi pa dostopa ne preprečujejo;
- pajek lahko vidi besedilo strani, ne le praznega ogrodja, ki ga napolni brskalnik;
- stran jasno in pošteno odgovarja na določeno vprašanje, namesto da odgovor nadomesti s seznamom ključnih besed.
Začnite z dostopom: če pajek strani ni mogel prebrati, ne bo dobil niti koristnega besedila na njej.
## V čem se iskalni pajek razlikuje od učnega pajka?
Ključna ugotovitev
Vsak večji pomočnik ima pajke z ločenimi nalogami. Iskalni pajek zbira spletna mesta, da se lahko pojavijo v odgovorih pomočnika in med rezultati iskanja. Učni pajek zbira besedilo za učenje modela. Ti nastavitvi sta neodvisni: iskalnemu pajku lahko dovolite dostop, učnega pa blokirate.
Dostop je treba dovoliti ali blokirati za vsakega pajka posebej. Splošna odločitev, da »umetni inteligenci dovolimo dostop do spletnega mesta«, ne upošteva razlik med njihovimi nalogami.
- **Iskalni pajek** omogoča, da se vaše strani pojavijo v odgovorih pomočnika, ko uporabnik nekaj vpraša. Dovolite mu dostop, če želite, da je vaše spletno mesto na voljo za iskanje.
- **Učni pajek** zbira besedilo, ki se lahko uporabi za učenje prihodnjih različic modela. Sami se odločite, ali ga boste dovolili; to ne vpliva neposredno na to, ali se vaše spletno mesto pojavi v trenutnih iskalnih odgovorih.
Dokumentacija OpenAI navaja primer: iskalnemu pajku lahko dovolite pregledovanje spletnega mesta, učnega pajka pa blokirate, da se besedilo vašega spletnega mesta ne uporabi za učenje. Ti nastavitvi konfigurirate ločeno v isti datoteki.
## Kako se imenujejo pajki ChatGPT, Claude in Perplexity?
Ključna ugotovitev
Pri OpenAI je iskalni pajek OAI-SearchBot, učni pajek GPTBot, ChatGPT-User pa obišče stran na zahtevo uporabnika. Pri Anthropic so to Claude-SearchBot (iskanje), ClaudeBot (učenje) in Claude-User (na zahtevo uporabnika). Pri Perplexity sta to PerplexityBot (iskanje) in Perplexity-User (na zahtevo uporabnika). Google ima ločen žeton Google-Extended, ki nadzira uporabo vsebine spletnega mesta za generativno umetno inteligenco.
Za konfiguracijo dostopa potrebujete natančna imena pajkov (user-agent), ki jih navedete v datoteki `robots.txt`. Tabela prikazuje imena in namene glede na uradno dokumentacijo posameznega razvijalca, stanje septembra 2026.
| Pajek (user-agent) ali žeton | Pripada | Kaj počne | Dovoliti za vidnost? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Prikazuje spletna mesta v iskanju ChatGPT | Da |
| `GPTBot` | OpenAI | Zbira besedilo za učenje modelov | Po vaši presoji |
| `ChatGPT-User` | OpenAI | Obišče stran na zahtevo uporabnika | Običajno da |
| `Claude-SearchBot` | Anthropic | Indeksira spletna mesta za izboljšanje kakovosti iskanja | Da |
| `ClaudeBot` | Anthropic | Zbira besedilo za učenje modelov | Po vaši presoji |
| `Claude-User` | Anthropic | Obišče stran na zahtevo uporabnika Claude | Običajno da |
| `PerplexityBot` | Perplexity | Prikazuje spletna mesta in povezave do njih v iskanju | Da |
| `Perplexity-User` | Perplexity | Obišče stran na zahtevo uporabnika | Običajno da |
| `Google-Extended` | Google | Žeton, ki nadzira uporabo vsebine spletnega mesta za Googlovo generativno umetno inteligenco | Po vaši presoji |
Pajki `ChatGPT-User`, `Claude-User` in `Perplexity-User` obiščejo stran na zahtevo osebe v pogovoru, vendar ima vsak razvijalec drugačna pravila dostopa. OpenAI navaja, da pravila datoteke `robots.txt` morda ne veljajo za `ChatGPT-User`. Perplexity navaja, da jih `Perplexity-User` običajno prezre, ker je obisk sprožil uporabnik. Anthropic dostop za `Claude-User` nadzira prek datoteke `robots.txt`: če ga tam blokirate, Claude na zahtevo uporabnikov ne bo pridobil strani. Dostop za iskalne pajke konfigurirate ločeno.
`Google-Extended` med pregledovanjem nima lastne vrstice user-agent — v datoteki `robots.txt` je le nadzorni žeton. Določa, ali se vaša vsebina lahko uporabi za Googlovo generativno umetno inteligenco, ne vpliva pa na običajno Iskanje Google.
Če želite ustvariti spletno mesto z jasno strukturo in dostopnim besedilom, razmislite, kako urediti informacije.
## Kako dovoliti dostop pajkom v datoteki robots.txt: korak za korakom
Ključna ugotovitev
Datoteka robots.txt je v korenski mapi spletnega mesta in določa pravila dostopa za pajke. Če želite dovoliti iskalne pajke pomočnikov, dodajte njihove user-agente in jim dovolite pregledovanje. Vsaka poddomena potrebuje svojo datoteko.
`robots.txt` je navadna besedilna datoteka v korenski mapi vašega spletnega mesta, dostopna na naslovu, kot je `https://example.com/robots.txt`. Pajki jo preberejo pred pregledovanjem in upoštevajo njena navodila, razen pri obiskih na zahtevo uporabnika, opisanih zgoraj.
1. **Odprite obstoječo datoteko.** V brskalnik vnesite naslov svojega spletnega mesta in dodajte `/robots.txt`. Preverite, kaj je že v datoteki in ali so pajki, ki jih potrebujete, po pomoti blokirani z vrstico `Disallow: /`. Poiščite tudi vrstice `Disallow:` za omejena območja — strani računa, plačilne strani in skrbniški razdelek: potrebovali jih boste v naslednjem koraku.
2. **Dodajte skupino za iskalne pajke pomočnikov.** Vsaka skupina določa ime pajka in pravila dostopa. Za dovoljenje pregledovanja uporabite `Allow: /`. Pajek upošteva pravila v skupini, v kateri je njegovo ime navedeno posebej; pravil iz splošne skupine `User-agent: *` ne prevzame. Omejitve, navedene samo v skupini `User-agent: *`, za tega pajka ne veljajo. Če imate omejena območja, ponovite iste vrstice `Disallow:` v vsaki novi skupini, sicer bodo pajku dostopna.
3. **O učnih pajkih se odločite ločeno.** Če ne želite, da se besedilo uporabi za učenje, nastavite `Disallow: /` za `GPTBot` in `ClaudeBot`. To ne vpliva na vidnost v iskanju.
4. **Shranite datoteko v korensko mapo spletnega mesta** in preverite, ali se odpre na naslovu `/robots.txt`. Če imate poddomene (na primer `blog.example.com`), vsaka potrebuje svojo datoteko — pajki preberejo datoteko posamezne poddomene.
Preden kopirate primer, preverite omejitve za omejena območja. Če vrstico `Disallow: /dashboard/` pustite samo v skupini `User-agent: *`, ne bo veljala za `OAI-SearchBot`, ki ima svojo skupino. Omejene poti navedite v vsaki skupini, v kateri pajku dovolite pregledovanje.
V spodnjem primeru je iskalnim pajkom pomočnikov dovoljen dostop, vendar je omejeno območje `/dashboard/` blokirano neposredno v njihovih skupinah; učni pajki so v celoti blokirani. Blokiranje učnih pajkov ni obvezno — odločitev je vaša, seznam omejenih poti pa zamenjajte s svojim.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Po dokumentaciji OpenAI in Perplexity lahko njuni sistemi potrebujejo približno en dan, da upoštevajo spremembe v datoteki `robots.txt`. Po shranjevanju datoteke ne pričakujte takojšnjega učinka.
## Kako je to videti na delujočem spletnem mestu?
V opisanem primeru nastavitev datoteke `robots.txt` so imena pajkov pomočnikov — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` in druga — združena v eni skupini. Pod njimi sta `Allow: /` in enake vrstice `Disallow:` za omejena območja kot v splošni skupini `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` in druga. URL-ji zemljevida spletnega mesta so navedeni na koncu datoteke z direktivo `Sitemap:`.
Omejitve se ponovijo v skupini pajkov pomočnikov, tako da so omejena območja blokirana tudi zanje. Odprete lahko datoteko `/robots.txt` katerega koli spletnega mesta in preverite njeno konfiguracijo — datoteka je vedno javna.
## Kaj še pomaga pajkom razumeti spletno mesto?
Ključna ugotovitev
Po nastavitvi dostopa preverite, ali je besedilo strani vidno brez izvajanja skript brskalnika, ali obstaja datoteka sitemap.xml in ali je sam odgovor jasen.
Tudi če je pregledovanje dovoljeno, pajek morda ne bo dobil vsebine strani. Poleg pravil dostopa preverite, kako spletno mesto posreduje besedilo in pomaga ljudem najti njegovo vsebino.
- **Besedilo je takoj na voljo.** Če skripti prikažejo vsebino strani v brskalniku, bodo nekateri pajki videli prazno ogrodje. To preverite tako, da odprete stran, izberete »view page source« in poiščete svoje besedilo. Če ga tam ni in se pojavi le v običajnem pogledu strani, preverite, kako se stran posreduje.
- **Obstaja zemljevid spletnega mesta.** Datoteka `sitemap.xml` je seznam vseh vaših strani. Pajkom pomaga, da ne spregledajo vsebine. Dodajte povezavo do nje v datoteko `robots.txt` z vrstico `Sitemap:`.
- **Odgovor je jasen človeku.** Pajki pomočnikov iščejo strani, ki odgovarjajo na vprašanje. Jasni naslov, kratek odgovor na začetku in pošteno izražanje delujejo bolje kot seznam ključnih besed.
## Zakaj je lahko spletno mesto nevidno za umetno inteligenco?
Ključna ugotovitev
Preverite tri možne vzroke: pajek je blokiran v datoteki robots.txt, besedilo ustvarijo skripti in brez brskalnika ni vidno ali pa varnost spletnega mesta blokira pajke. V prvem primeru preverite datoteko; v drugem preverite, kako se strani posredujejo; v tretjem pa preverite varnostne nastavitve.
Če se vaše spletno mesto ne pojavi v odgovorih, preverite naslednje morebitne ovire za dostop.
- **Pajek je blokiran v datoteki `robots.txt`.** Včasih datoteka vsebuje splošno omejitev, ki blokira pajke, ki jih potrebujete. Preverite, ali je `Disallow: /` v skupini, ki velja za pajke pomočnikov.
- **Besedilo ni vidno brez brskalnika.** Če vsebino ustvarijo skripti, je pajek morda ne bo dobil. Preverjanje izvorne kode je opisano zgoraj.
- **Varnost spletnega mesta blokira pajke.** Številna spletna mesta uporabljajo zaščito pred neželenim prometom — na primer Cloudflare. Ta lahko blokira dostop ne glede na datoteko `robots.txt`. Z datoteko `robots.txt` določite, kam lahko pajek gre, varnost spletnega mesta pa odloča, ali bo njegovo zahtevo sprejela. Perplexity priporoča ročno dovoljenje pajkov v varnostnih nastavitvah glede na njihova imena user-agent in objavljene naslove IP. Pravila za pregledovanje nastavite prek datoteke `robots.txt`: Anthropic posebej opozarja, da blokiranje pajkov samo na podlagi naslovov IP ni zanesljivo. Če uporabljate podobno storitev, preverite njene nastavitve.
Vzroke preverite enega za drugim: začnite z datoteko `robots.txt`, nato preverite izvorno kodo strani, zatem pa še varnostne nastavitve. Odsotnost teh ovir sama po sebi ne zagotavlja, da se bo vaše spletno mesto pojavilo v odgovorih.
## Kako lahko preverite, ali je pajek obiskal stran?
Ključna ugotovitev
Ni neposrednega števca »bil sem citiran«. Lahko pa preverite osnove: ali se robots.txt odpre, ali je besedilo vidno v izvorni kodi in ali je zemljevid spletnega mesta na voljo. Obiski pajkov so v dnevnikih strežnika vidni po njihovem user-agentu.
S tem preverjanjem lahko ocenite dostopnost svojega spletnega mesta in poiščete zapise o obiskih pajkov.
- V brskalniku odprite `https://example.com/robots.txt` — datoteka bi se morala odpreti in vsebovati zahtevane skupine.
- Odprite zemljevid spletnega mesta na naslovu `https://example.com/sitemap.xml` — odpreti bi se moral in vsebovati seznam strani.
- Oglejte si izvorno kodo pomembne strani in v njej poiščite svoje besedilo.
- Če imate dostop do dnevnikov strežnika, v njih poiščite imena pajkov — `OAI-SearchBot`, `PerplexityBot` in druge. Njihovi obiski so vidni po user-agentu.
S preverjanjem ne boste ugotovili, ali bo pomočnik izbral prav vašo stran. To je odvisno od uporabnikovega vprašanja in od tega, kako dobro stran nanj odgovori.
## Česa te nastavitve ne zagotavljajo
Dostop do vašega spletnega mesta in njegova pojavitev v odgovoru pomočnika sta različna rezultata. Te nastavitve imajo omejitve.
- **Citiranje ni zagotovljeno.** Odprt dostop pajku le omogoči, da prebere vaše spletno mesto. O tem, ali vas bo citiral, odloča pomočnik na podlagi vprašanja.
- **Nihče ne obljublja uvrstitve ali prometa.** Nastavitev `robots.txt` odpre dostop, ne zagotovi pa mesta med rezultati iskanja.
- **Nekateri pajki lahko prezrejo pravila datoteke.** To velja za nekatere pajke, ki obiščejo stran na neposredno uporabnikovo zahtevo — na primer OpenAI-jev `ChatGPT-User` in Perplexityjev `Perplexity-User`.
- **Pravila se spreminjajo.** Razvijalci posodabljajo imena pajkov in pogoje. Dokumentacijo je vredno preveriti vsakih nekaj mesecev; povezave so navedene na koncu.
Nadzirate dostop in kakovost svojega spletnega mesta, vendar pomočnik odloča, ali bo vključil povezavo. Cilj teh nastavitev je omogočiti dostop do uporabne strani za iskanje in branje, ne pa poskušati »pretentati« pomočnika.
## Kaj sledi
Odprite datoteko `robots.txt`, dodajte iskalne pajke pomočnikov ter preverite zemljevid spletnega mesta in dostopnost besedila. Če varnostni sistem blokira dostop, preverite tudi njegove nastavitve. Tako boste lažje prepoznali in odpravili tehnične ovire. Nato preverite same strani: ali jasno odgovarjajo na konkretna vprašanja vaše ciljne skupine?
### Viri
- [OpenAI: pregled pajkov (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: pajki Claude in nadzor dostopa](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: pajki in varnostne nastavitve spletnega mesta](https://docs.perplexity.ai/guides/bots)
- [Google: pregled pajkov in žeton Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Nadaljujte raziskovanje Ailoot na [ailoot.ai](https://ailoot.ai/).
## Vprašanja in odgovori: Kako omogočiti iskalnim pajkom ChatGPT, Claude in Perplexity dostop do svojega spletnega mesta
### Zakaj lahko poimenovana skupina pajka znova odpre poti, blokirane pod User-agent: *?
Pajek z ujemajočo se poimenovano skupino uporablja njena pravila, ne podedovanih pravil splošne skupine. V vsaki poimenovani skupini, ki ji dovolite dostop, ponovite potrebna pravila Disallow za omejene poti.
### Ali dovoljenje iskalnemu pajku zagotavlja, da bo pomočnik citiral mojo stran?
Ne. Preverite robots.txt, besedilo v izvorni kodi strani, dosegljivost zemljevida spletnega mesta in strežniške dnevnike za dokaz dostopa. Ta preverjanja potrjujejo dostopnost ali obiske, ne izbire strani za odgovor pomočnika.
## Ailoot · Podjetje in njegov portfelj projektov
Ailoot temelji na pridobljenih operativnih izkušnjah, široki bazi strank, stabilni storitvi in stalnem spremljanju KPI.
Podjetje in njegov portfelj projektov: milijoni strank; mesečna prodaja v milijardah.
Ailoot te operativne izkušnje uporablja za dostop prek API do funkcij umetne inteligence v izdelkih strank, agentih, aplikacijah in avtomatizacijah.