Ako sprístupniť svoj web vyhľadávacím crawlerom ChatGPT, Claude a Perplexity

Vytvorili ste web alebo produkt, no keď sa niekto opýta „odporučte službu na túto úlohu“, ChatGPT, Claude a Perplexity ho nespomenú. Oplatí sa skontrolovať, či si asistent dokáže prečítať váš web a či nie je prístup zablokovaný.

Neexistuje tlačidlo, ktorým sa „dostanete do odpovede umelej inteligencie“, a nikto nemôže zaručiť citáciu. ChatGPT, Claude a Perplexity majú samostatné crawlery na vyhľadávanie: môžete im povoliť prístup na svoj web cez robots.txt. Potom skontrolujte, či majú prístup k textu stránky a či im v prístupe nebráni zabezpečenie vášho webu.

Čo znamená „byť viditeľný pre umelú inteligenciu“?#

Keď sa niekto opýta ChatGPT alebo Perplexity „kde si môžem prečítať o X?“ alebo „ktorú službu si mám vybrať?“, asistent niekedy vyhľadá informácie na webe a pridá odkazy na stránky. Aby sa vaša stránka dostala na zoznam kandidátov, crawler asistenta ju musí prečítať a nesmie mať prístup zamietnutý.

Na svojom webe skontrolujte tri veci:

• crawler má prístup na web: nie je zablokovaný v robots.txt a bezpečnostné opatrenia mu nebránia v prístupe;
• crawler vidí text stránky, nie prázdnu škrupinu, ktorú dopĺňa prehliadač;
• stránka úprimne a jasne odpovedá na konkrétnu otázku namiesto toho, aby odpoveď nahrádzala zoznamom kľúčových slov.

Začnite prístupom: ak crawler nedokázal prečítať stránku, nedostane sa ani k užitočnému textu na nej.

Ako sa vyhľadávací crawler líši od tréningového crawlera?#

Prístup treba povoliť alebo zablokovať osobitne pre každý crawler. Všeobecné rozhodnutie „pustiť umelú inteligenciu na web“ nezohľadňuje rozdiely medzi ich úlohami.

• Vyhľadávací crawler umožňuje, aby sa vaše stránky zobrazovali v odpovediach asistenta, keď sa používateľ na niečo opýta. Povoľte ho, ak chcete, aby bol váš web dostupný vo vyhľadávaní.
• Tréningový crawler zbiera texty, ktoré sa môžu použiť na trénovanie budúcich verzií modelu. Či mu prístup povolíte, je na vás; priamo to neovplyvňuje, či sa zobrazíte v aktuálnych výsledkoch vyhľadávania.

Dokumentácia OpenAI uvádza príklad: vyhľadávaciemu crawleru môžete povoliť prehľadávať svoj web a zároveň zablokovať tréningový crawler, aby sa text z vášho webu nepoužíval na trénovanie. Tieto dve nastavenia sa konfigurujú nezávisle v tom istom súbore.

Ako sa volajú crawlery ChatGPT, Claude a Perplexity?#

Na konfiguráciu prístupu potrebujete presné názvy crawlerov (user-agent), ktoré zadáte v súbore robots.txt. Tabuľka uvádza názvy a účely podľa oficiálnej dokumentácie jednotlivých vývojárov k septembru 2026.

Crawlery ChatGPT-User, Claude-User a Perplexity-User navštevujú stránku na žiadosť človeka v konverzácii, no každý vývojár má vlastné pravidlá prístupu. OpenAI uvádza, že pravidlá robots.txt sa na ChatGPT-User nemusia vzťahovať. Perplexity uvádza, že Perplexity-User ich zvyčajne ignoruje, pretože návštevu inicioval používateľ. Anthropic riadi prístup Claude-User prostredníctvom robots.txt: ak ho tam zablokujete, Claude nebude načítavať stránky v odpovedi na požiadavky používateľov. Prístup vyhľadávacích crawlerov sa konfiguruje samostatne.

Google-Extended pri prehľadávaní nemá vlastný riadok user-agent—v robots.txt je iba riadiacim tokenom. Určuje, či sa váš obsah môže použiť na generatívnu umelú inteligenciu Google, a nemá vplyv na bežné Vyhľadávanie Google.

Ak chcete vytvoriť web s prehľadnou štruktúrou a prístupným textom, premyslite si, ako usporiadať informácie.

Ako povoliť crawlery v robots.txt: krok za krokom#

robots.txt je obyčajný textový súbor v koreňovom adresári vášho webu, dostupný na adrese, ako je https://example.com/robots.txt. Crawlery ho čítajú pred prehľadávaním a riadia sa jeho pokynmi s výnimkami pre návštevy na žiadosť používateľa, ktoré sú opísané vyššie.

1. Otvorte aktuálny súbor. Do prehliadača zadajte adresu svojho webu a pridajte /robots.txt. Pozrite sa, čo už súbor obsahuje a či crawlery, ktoré potrebujete, neboli omylom zablokované riadkom Disallow: /. Skontrolujte aj riadky Disallow: pre obmedzené oblasti—stránky účtov, platobné stránky, sekciu správcu: budete ich potrebovať v ďalšom kroku.
2. Pridajte skupinu pre vyhľadávacie crawlery asistentov. Každá skupina určuje názov crawlera a pravidlá prístupu. Na povolenie prehľadávania použite Allow: /. Crawler sa riadi pravidlami v skupine, v ktorej je jeho názov uvedený samostatne; pravidlá nepreberá zo všeobecnej skupiny User-agent: *. Obmedzenia uvedené iba v skupine User-agent: * sa na tento crawler nevzťahujú. Ak máte obmedzené oblasti, zopakujte rovnaké riadky Disallow: v každej novej skupine, inak budú tomuto crawleru prístupné.
3. O tréningových crawleroch rozhodnite osobitne. Ak nechcete, aby sa text používal na trénovanie, nastavte pre GPTBot a ClaudeBot hodnotu Disallow: /. Neovplyvní to viditeľnosť vo vyhľadávaní.
4. Uložte súbor do koreňového adresára webu a skontrolujte, či sa otvára na adrese /robots.txt. Ak máte subdomény (napríklad blog.example.com), každá potrebuje vlastný súbor—crawlery čítajú súbor patriaci danej subdoméne.

Pred skopírovaním príkladu skontrolujte obmedzenia pre obmedzené oblasti. Ak ponecháte Disallow: /dashboard/ iba v skupine User-agent: *, nebude sa vzťahovať na OAI-SearchBot, ktorý má vlastnú skupinu. Zakázané cesty uveďte v každej skupine, v ktorej crawleru povoľujete prehľadávanie.

V nasledujúcom príklade majú vyhľadávacie crawlery asistentov povolený prístup, ale obmedzená oblasť /dashboard/ je zablokovaná priamo v ich skupinách; tréningové crawlery sú zablokované úplne. Blokovanie tréningových crawlerov je voliteľné—je to vaše rozhodnutie a zoznam obmedzených ciest by ste mali nahradiť vlastným.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Podľa dokumentácie OpenAI a Perplexity môžu ich systémy potrebovať približne deň, kým zohľadnia zmeny v robots.txt. Po uložení súboru nečakajte okamžitý účinok.

Ako to vyzerá na aktívnom webe?#

V opísanom príklade nastavení robots.txt sú názvy crawlerov asistentov—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended a ďalšie—zhromaždené v jednej skupine. Pod nimi sú Allow: / a rovnaké riadky Disallow: pre obmedzené oblasti ako vo všeobecnej skupine User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ a ďalšie. URL adresa mapy webu sú uvedené na konci súboru pomocou direktívy Sitemap:.

Obmedzenia sa v skupine crawlerov asistentov opakujú, aby boli obmedzené oblasti zablokované aj pre ne. Môžete otvoriť súbor /robots.txt na ľubovoľnom webe a pozrieť sa, ako je nakonfigurovaný—tento súbor je vždy verejný.

Čo ešte pomáha crawlerom porozumieť webu?#

Aj keď je prehľadávanie povolené, crawler nemusí získať obsah stránky. Okrem pravidiel prístupu skontrolujte, ako web poskytuje text a pomáha ľuďom nájsť jeho obsah.

• Text je dostupný okamžite. Ak skripty vykresľujú obsah stránky v prehliadači, niektoré crawlery uvidia prázdnu škrupinu. Ak to chcete skontrolovať, otvorte stránku, vyberte „zobraziť zdrojový kód stránky“ a vyhľadajte svoj text. Ak tam nie je a zobrazuje sa iba v bežnom zobrazení stránky, treba preskúmať spôsob, akým sa stránka poskytuje.
• Existuje mapa webu. Súbor sitemap.xml obsahuje zoznam všetkých vašich stránok. Pomáha crawlerom nevynechať obsah. Pridajte naň odkaz do robots.txt pomocou riadka Sitemap:.
• Odpoveď je pre človeka jasná. Crawlery asistentov hľadajú stránky, ktoré odpovedajú na otázku. Jasný nadpis, krátka odpoveď na začiatku a úprimné formulácie fungujú lepšie než zoznam kľúčových slov.

Prečo môže byť web pre umelú inteligenciu neviditeľný?#

Ak sa váš web nezobrazuje v odpovediach, skontrolujte tieto možné prekážky prístupu.

• Crawler je zablokovaný v robots.txt. Súbor niekedy obsahuje všeobecné obmedzenie, ktoré blokuje potrebné crawlery. Skontrolujte, či sa v skupine platnej pre crawlery asistentov nachádza Disallow: /.
• Text nie je viditeľný bez prehliadača. Ak obsah vytvárajú skripty, crawler ho nemusí získať. Kontrola zdrojového kódu je opísaná vyššie.
• Bezpečnostné nastavenia webu blokujú crawlery. Mnohé weby používajú ochranu proti nežiadúcej prevádzke—napríklad Cloudflare. Môže zablokovať prístup bez ohľadu na robots.txt. Pomocou robots.txt určujete, kam crawler smie ísť, zatiaľ čo bezpečnostné nastavenia webu rozhodujú, či jeho požiadavku povolia. Perplexity odporúča manuálne povoliť crawlery v bezpečnostných nastaveniach podľa ich názvov user-agent a zverejnených IP adries. Pravidlá prehľadávania nastavujte cez robots.txt: Anthropic osobitne upozorňuje, že blokovanie crawlerov iba podľa IP adresy je nespoľahlivé. Ak používate podobnú službu, skontrolujte jej nastavenia.

Možné príčiny preverujte jednu po druhej: začnite súborom robots.txt, potom si pozrite zdrojový kód stránky a následne skontrolujte bezpečnostné nastavenia. Samotná neprítomnosť týchto prekážok nezaručuje, že sa váš web zobrazí v odpovediach.

Ako skontrolovať, či crawler navštívil stránku?#

Táto kontrola pomáha posúdiť prístupnosť vášho webu a nájsť záznamy o návštevách crawlerov.

• Otvorte v prehliadači https://example.com/robots.txt—súbor by sa mal otvoriť a obsahovať požadované skupiny.
• Otvorte mapu webu na adrese https://example.com/sitemap.xml—mala by sa otvoriť a obsahovať zoznam stránok.
• Zobrazte zdrojový kód dôležitej stránky a vyhľadajte v ňom svoj text.
• Ak máte prístup k protokolom servera, vyhľadajte názvy crawlerov—OAI-SearchBot, PerplexityBot a ďalšie. Ich návštevy sú viditeľné podľa user-agent.

Kontrola neukáže, či si asistent vyberie práve vašu stránku. Závisí to od otázky používateľa a od toho, ako dobre na ňu stránka odpovedá.

Čo tieto nastavenia nezaručujú#

Prístup na váš web a jeho zobrazenie v odpovedi asistenta sú dva odlišné výsledky. Tieto nastavenia majú svoje obmedzenia.

• Citácia nie je zaručená. Otvorený prístup dáva crawleru iba možnosť prečítať si váš web. O tom, či vás asistent cituje, rozhoduje asistent na základe otázky.
• Nikto nesľubuje umiestnenie ani návštevnosť. Nastavenie robots.txt otvára prístup, ale nezabezpečí vám miesto vo výsledkoch vyhľadávania.
• Niektoré crawlery môžu ignorovať pravidlá súboru. Platí to pre niektoré crawlery, ktoré navštívia web v reakcii na priamu požiadavku používateľa—napríklad ChatGPT-User od OpenAI a Perplexity-User od Perplexity.
• Pravidlá sa menia. Vývojári aktualizujú názvy crawlerov a podmienky. Oplatí sa kontrolovať dokumentáciu každých niekoľko mesiacov; odkazy sú na konci.

Prístup a kvalitu svojho webu máte pod kontrolou, no o zahrnutí odkazu rozhoduje asistent. Cieľom týchto nastavení je sprístupniť užitočnú stránku na vyhľadávanie a čítanie bez snahy asistenta „oklamať“.

Čo ďalej#

Otvorte robots.txt, pridajte vyhľadávacie crawlery asistentov a skontrolujte mapu webu a dostupnosť textu. Ak prístup blokuje zabezpečenie, skontrolujte aj jeho nastavenia. Tieto kroky pomáhajú nájsť a odstrániť technické prekážky. Potom skontrolujte samotné stránky: odpovedajú jasne na konkrétne otázky vášho publika?