Kako omogočiti iskalnim pajkom ChatGPT, Claude in Perplexity dostop do svojega spletnega mesta

Zgradili ste spletno mesto ali izdelek, vendar ga ChatGPT, Claude in Perplexity ne omenijo, ko nekdo vpraša: »Priporoči storitev za to nalogo.« Vredno je preveriti, ali lahko pomočnik prebere vaše spletno mesto in ali je dostop blokiran.

Ni gumba za »uvrstitev v odgovor umetne inteligence« in nihče ne more zagotoviti, da bo vaše spletno mesto citirano. ChatGPT, Claude in Perplexity imajo za iskanje ločene pajke: dovolite jim lahko dostop do svojega spletnega mesta prek datoteke robots.txt. Nato preverite, ali lahko dostopajo do besedila na strani in ali jih pri tem ovira varnost vašega spletnega mesta.

Kaj pomeni biti »viden za umetno inteligenco«?#

Ko nekdo vpraša ChatGPT ali Perplexity »kje lahko preberem o X?« ali »katero storitev naj izberem?«, pomočnik včasih poišče informacije v spletu in doda povezave do strani. Da bi se vaša stran uvrstila med kandidate, jo mora pajek pomočnika najprej prebrati, dostop pa ne sme biti zavrnjen.

Na svojem spletnem mestu preverite tri stvari:

• pajek lahko dostopa do spletnega mesta: dostop ni blokiran v datoteki robots.txt, varnostni ukrepi pa dostopa ne preprečujejo;
• pajek lahko vidi besedilo strani, ne le praznega ogrodja, ki ga napolni brskalnik;
• stran jasno in pošteno odgovarja na določeno vprašanje, namesto da odgovor nadomesti s seznamom ključnih besed.

Začnite z dostopom: če pajek strani ni mogel prebrati, ne bo dobil niti koristnega besedila na njej.

V čem se iskalni pajek razlikuje od učnega pajka?#

Dostop je treba dovoliti ali blokirati za vsakega pajka posebej. Splošna odločitev, da »umetni inteligenci dovolimo dostop do spletnega mesta«, ne upošteva razlik med njihovimi nalogami.

• Iskalni pajek omogoča, da se vaše strani pojavijo v odgovorih pomočnika, ko uporabnik nekaj vpraša. Dovolite mu dostop, če želite, da je vaše spletno mesto na voljo za iskanje.
• Učni pajek zbira besedilo, ki se lahko uporabi za učenje prihodnjih različic modela. Sami se odločite, ali ga boste dovolili; to ne vpliva neposredno na to, ali se vaše spletno mesto pojavi v trenutnih iskalnih odgovorih.

Dokumentacija OpenAI navaja primer: iskalnemu pajku lahko dovolite pregledovanje spletnega mesta, učnega pajka pa blokirate, da se besedilo vašega spletnega mesta ne uporabi za učenje. Ti nastavitvi konfigurirate ločeno v isti datoteki.

Kako se imenujejo pajki ChatGPT, Claude in Perplexity?#

Za konfiguracijo dostopa potrebujete natančna imena pajkov (user-agent), ki jih navedete v datoteki robots.txt. Tabela prikazuje imena in namene glede na uradno dokumentacijo posameznega razvijalca, stanje septembra 2026.

Pajki ChatGPT-User, Claude-User in Perplexity-User obiščejo stran na zahtevo osebe v pogovoru, vendar ima vsak razvijalec drugačna pravila dostopa. OpenAI navaja, da pravila datoteke robots.txt morda ne veljajo za ChatGPT-User. Perplexity navaja, da jih Perplexity-User običajno prezre, ker je obisk sprožil uporabnik. Anthropic dostop za Claude-User nadzira prek datoteke robots.txt: če ga tam blokirate, Claude na zahtevo uporabnikov ne bo pridobil strani. Dostop za iskalne pajke konfigurirate ločeno.

Google-Extended med pregledovanjem nima lastne vrstice user-agent — v datoteki robots.txt je le nadzorni žeton. Določa, ali se vaša vsebina lahko uporabi za Googlovo generativno umetno inteligenco, ne vpliva pa na običajno Iskanje Google.

Če želite ustvariti spletno mesto z jasno strukturo in dostopnim besedilom, razmislite, kako urediti informacije.

Kako dovoliti dostop pajkom v datoteki robots.txt: korak za korakom#

robots.txt je navadna besedilna datoteka v korenski mapi vašega spletnega mesta, dostopna na naslovu, kot je https://example.com/robots.txt. Pajki jo preberejo pred pregledovanjem in upoštevajo njena navodila, razen pri obiskih na zahtevo uporabnika, opisanih zgoraj.

1. Odprite obstoječo datoteko. V brskalnik vnesite naslov svojega spletnega mesta in dodajte /robots.txt. Preverite, kaj je že v datoteki in ali so pajki, ki jih potrebujete, po pomoti blokirani z vrstico Disallow: /. Poiščite tudi vrstice Disallow: za omejena območja — strani računa, plačilne strani in skrbniški razdelek: potrebovali jih boste v naslednjem koraku.
2. Dodajte skupino za iskalne pajke pomočnikov. Vsaka skupina določa ime pajka in pravila dostopa. Za dovoljenje pregledovanja uporabite Allow: /. Pajek upošteva pravila v skupini, v kateri je njegovo ime navedeno posebej; pravil iz splošne skupine User-agent: * ne prevzame. Omejitve, navedene samo v skupini User-agent: *, za tega pajka ne veljajo. Če imate omejena območja, ponovite iste vrstice Disallow: v vsaki novi skupini, sicer bodo pajku dostopna.
3. O učnih pajkih se odločite ločeno. Če ne želite, da se besedilo uporabi za učenje, nastavite Disallow: / za GPTBot in ClaudeBot. To ne vpliva na vidnost v iskanju.
4. Shranite datoteko v korensko mapo spletnega mesta in preverite, ali se odpre na naslovu /robots.txt. Če imate poddomene (na primer blog.example.com), vsaka potrebuje svojo datoteko — pajki preberejo datoteko posamezne poddomene.

Preden kopirate primer, preverite omejitve za omejena območja. Če vrstico Disallow: /dashboard/ pustite samo v skupini User-agent: *, ne bo veljala za OAI-SearchBot, ki ima svojo skupino. Omejene poti navedite v vsaki skupini, v kateri pajku dovolite pregledovanje.

V spodnjem primeru je iskalnim pajkom pomočnikov dovoljen dostop, vendar je omejeno območje /dashboard/ blokirano neposredno v njihovih skupinah; učni pajki so v celoti blokirani. Blokiranje učnih pajkov ni obvezno — odločitev je vaša, seznam omejenih poti pa zamenjajte s svojim.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Po dokumentaciji OpenAI in Perplexity lahko njuni sistemi potrebujejo približno en dan, da upoštevajo spremembe v datoteki robots.txt. Po shranjevanju datoteke ne pričakujte takojšnjega učinka.

Kako je to videti na delujočem spletnem mestu?#

V opisanem primeru nastavitev datoteke robots.txt so imena pajkov pomočnikov — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended in druga — združena v eni skupini. Pod njimi sta Allow: / in enake vrstice Disallow: za omejena območja kot v splošni skupini User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ in druga. URL-ji zemljevida spletnega mesta so navedeni na koncu datoteke z direktivo Sitemap:.

Omejitve se ponovijo v skupini pajkov pomočnikov, tako da so omejena območja blokirana tudi zanje. Odprete lahko datoteko /robots.txt katerega koli spletnega mesta in preverite njeno konfiguracijo — datoteka je vedno javna.

Kaj še pomaga pajkom razumeti spletno mesto?#

Tudi če je pregledovanje dovoljeno, pajek morda ne bo dobil vsebine strani. Poleg pravil dostopa preverite, kako spletno mesto posreduje besedilo in pomaga ljudem najti njegovo vsebino.

• Besedilo je takoj na voljo. Če skripti prikažejo vsebino strani v brskalniku, bodo nekateri pajki videli prazno ogrodje. To preverite tako, da odprete stran, izberete »view page source« in poiščete svoje besedilo. Če ga tam ni in se pojavi le v običajnem pogledu strani, preverite, kako se stran posreduje.
• Obstaja zemljevid spletnega mesta. Datoteka sitemap.xml je seznam vseh vaših strani. Pajkom pomaga, da ne spregledajo vsebine. Dodajte povezavo do nje v datoteko robots.txt z vrstico Sitemap:.
• Odgovor je jasen človeku. Pajki pomočnikov iščejo strani, ki odgovarjajo na vprašanje. Jasni naslov, kratek odgovor na začetku in pošteno izražanje delujejo bolje kot seznam ključnih besed.

Zakaj je lahko spletno mesto nevidno za umetno inteligenco?#

Če se vaše spletno mesto ne pojavi v odgovorih, preverite naslednje morebitne ovire za dostop.

• Pajek je blokiran v datoteki robots.txt. Včasih datoteka vsebuje splošno omejitev, ki blokira pajke, ki jih potrebujete. Preverite, ali je Disallow: / v skupini, ki velja za pajke pomočnikov.
• Besedilo ni vidno brez brskalnika. Če vsebino ustvarijo skripti, je pajek morda ne bo dobil. Preverjanje izvorne kode je opisano zgoraj.
• Varnost spletnega mesta blokira pajke. Številna spletna mesta uporabljajo zaščito pred neželenim prometom — na primer Cloudflare. Ta lahko blokira dostop ne glede na datoteko robots.txt. Z datoteko robots.txt določite, kam lahko pajek gre, varnost spletnega mesta pa odloča, ali bo njegovo zahtevo sprejela. Perplexity priporoča ročno dovoljenje pajkov v varnostnih nastavitvah glede na njihova imena user-agent in objavljene naslove IP. Pravila za pregledovanje nastavite prek datoteke robots.txt: Anthropic posebej opozarja, da blokiranje pajkov samo na podlagi naslovov IP ni zanesljivo. Če uporabljate podobno storitev, preverite njene nastavitve.

Vzroke preverite enega za drugim: začnite z datoteko robots.txt, nato preverite izvorno kodo strani, zatem pa še varnostne nastavitve. Odsotnost teh ovir sama po sebi ne zagotavlja, da se bo vaše spletno mesto pojavilo v odgovorih.

Kako lahko preverite, ali je pajek obiskal stran?#

S tem preverjanjem lahko ocenite dostopnost svojega spletnega mesta in poiščete zapise o obiskih pajkov.

• V brskalniku odprite https://example.com/robots.txt — datoteka bi se morala odpreti in vsebovati zahtevane skupine.
• Odprite zemljevid spletnega mesta na naslovu https://example.com/sitemap.xml — odpreti bi se moral in vsebovati seznam strani.
• Oglejte si izvorno kodo pomembne strani in v njej poiščite svoje besedilo.
• Če imate dostop do dnevnikov strežnika, v njih poiščite imena pajkov — OAI-SearchBot, PerplexityBot in druge. Njihovi obiski so vidni po user-agentu.

S preverjanjem ne boste ugotovili, ali bo pomočnik izbral prav vašo stran. To je odvisno od uporabnikovega vprašanja in od tega, kako dobro stran nanj odgovori.

Česa te nastavitve ne zagotavljajo#

Dostop do vašega spletnega mesta in njegova pojavitev v odgovoru pomočnika sta različna rezultata. Te nastavitve imajo omejitve.

• Citiranje ni zagotovljeno. Odprt dostop pajku le omogoči, da prebere vaše spletno mesto. O tem, ali vas bo citiral, odloča pomočnik na podlagi vprašanja.
• Nihče ne obljublja uvrstitve ali prometa. Nastavitev robots.txt odpre dostop, ne zagotovi pa mesta med rezultati iskanja.
• Nekateri pajki lahko prezrejo pravila datoteke. To velja za nekatere pajke, ki obiščejo stran na neposredno uporabnikovo zahtevo — na primer OpenAI-jev ChatGPT-User in Perplexityjev Perplexity-User.
• Pravila se spreminjajo. Razvijalci posodabljajo imena pajkov in pogoje. Dokumentacijo je vredno preveriti vsakih nekaj mesecev; povezave so navedene na koncu.

Nadzirate dostop in kakovost svojega spletnega mesta, vendar pomočnik odloča, ali bo vključil povezavo. Cilj teh nastavitev je omogočiti dostop do uporabne strani za iskanje in branje, ne pa poskušati »pretentati« pomočnika.

Kaj sledi#

Odprite datoteko robots.txt, dodajte iskalne pajke pomočnikov ter preverite zemljevid spletnega mesta in dostopnost besedila. Če varnostni sistem blokira dostop, preverite tudi njegove nastavitve. Tako boste lažje prepoznali in odpravili tehnične ovire. Nato preverite same strani: ali jasno odgovarjajo na konkretna vprašanja vaše ciljne skupine?