Jak zpřístupnit web crawlerům ChatGPT, Claude a Perplexity

Vytvořili jste web nebo produkt, ale když se někdo zeptá „doporučte službu pro tento úkol“, ChatGPT, Claude a Perplexity se o něm nezmíní. Stojí za to ověřit, zda asistent dokáže váš web přečíst a zda mu v přístupu něco nebrání.

Neexistuje tlačítko, kterým byste se „dostali do odpovědi AI“, a nikdo vám nemůže zaručit citaci. ChatGPT, Claude a Perplexity mají samostatné crawlery pro vyhledávání: přístup k webu jim můžete povolit prostřednictvím souboru robots.txt. Pak ověřte, zda mají přístup k textu stránky a zda jim v tom nebrání zabezpečení vašeho webu.

Co znamená viditelnost webu ve vyhledávání AI?#

Když se někdo zeptá ChatGPT nebo Perplexity „kde si můžu přečíst o X?“ nebo „kterou službu si mám vybrat?“, asistent někdy prohledá web a přidá odkazy na stránky. Aby se vaše stránka dostala na tento seznam kandidátů, musí ji crawler asistenta přečíst a nesmí mít odepřený přístup.

Na svém webu je třeba zkontrolovat tři věci:

• crawler má k webu přístup: není blokovaný v souboru robots.txt a bezpečnostní opatření mu přístup neznemožňují;
• crawler vidí text stránky, nikoli prázdnou schránku, kterou doplní prohlížeč;
• stránka poctivě a srozumitelně odpovídá na konkrétní otázku, místo aby odpověď nahrazovala seznamem klíčových slov.

Začněte přístupem: pokud crawler stránku nemohl přečíst, nedostane se ani k užitečnému textu na ní.

Jak se vyhledávací crawler liší od trénovacího crawleru?#

Přístup je třeba povolit nebo zablokovat samostatně pro každý crawler. Obecné rozhodnutí „pustit AI na web“ nezohledňuje rozdíly mezi jejich úkoly.

• Vyhledávací crawler umožňuje, aby se vaše stránky zobrazovaly v odpovědích asistenta, když se uživatel na něco zeptá. Povolte ho, pokud chcete, aby byl váš web dostupný pro vyhledávání.
• Trénovací crawler sbírá texty, které mohou být použity k trénování budoucích verzí modelu. Zda mu přístup povolíte, je na vás; nemá přímý vliv na to, zda se objevíte v současných odpovědích z vyhledávání.

Dokumentace OpenAI uvádí příklad: můžete povolit vyhledávacímu crawleru procházet váš web a zároveň zablokovat trénovací crawler, aby se texty z vašeho webu nepoužívaly k trénování. Tato dvě nastavení se konfigurují nezávisle v témže souboru.

Jak se jmenují crawlery ChatGPT, Claude a Perplexity?#

Ke konfiguraci přístupu potřebujete přesné názvy crawlerů (user-agent), které zadáváte do souboru robots.txt. Tabulka uvádí názvy a účely podle oficiální dokumentace jednotlivých vývojářů k září 2026.

Crawlery ChatGPT-User, Claude-User a Perplexity-User navštěvují stránku na žádost člověka v konverzaci, ale každý vývojář má jiná pravidla přístupu. OpenAI uvádí, že pravidla robots.txt se na ChatGPT-User nemusejí vztahovat. Perplexity říká, že Perplexity-User je obvykle ignoruje, protože návštěvu inicioval uživatel. Anthropic řídí přístup Claude-User prostřednictvím robots.txt: pokud ho tam zablokujete, Claude nebude načítat stránky v reakci na žádosti uživatelů. Přístup pro vyhledávací crawlery se konfiguruje samostatně.

Google-Extended nemá při procházení vlastní řádek user-agent — v souboru robots.txt jde pouze o řídicí token. Určuje, zda může být váš obsah použit pro generativní AI Google, a nemá vliv na běžné Vyhledávání Google.

Pokud chcete vytvořit web s jasnou strukturou a přístupným textem, promyslete si, jak informace uspořádat.

Jak povolit crawlery v robots.txt: krok za krokem#

robots.txt je prostý textový soubor v kořenovém adresáři webu, dostupný na adrese, jako je https://example.com/robots.txt. Crawlery si ho přečtou před procházením a řídí se jeho pokyny, s výjimkami pro návštěvy na žádost uživatele popsanými výše.

1. Otevřete aktuální soubor. Zadejte adresu webu do prohlížeče a přidejte /robots.txt. Podívejte se, co už v souboru je a zda crawlery, které potřebujete, nebyly omylem zablokovány řádkem Disallow: /. Hledejte také řádky Disallow: pro omezené oblasti — stránky účtů, platební stránky, sekci administrace: budete je potřebovat v dalším kroku.
2. Přidejte skupinu pro vyhledávací crawlery asistentů. Každá skupina určuje název crawleru a pravidla přístupu. Chcete-li povolit procházení, použijte Allow: /. Crawler se řídí pravidly ve skupině, v níž je jeho název uveden samostatně; nepřebírá pravidla z obecné skupiny User-agent: *. Omezení uvedená pouze ve skupině User-agent: * se na tento crawler nevztahují. Pokud máte omezené oblasti, zopakujte stejné řádky Disallow: v každé nové skupině, jinak budou pro daný crawler přístupné.
3. O trénovacích crawlerech rozhodněte zvlášť. Pokud nechcete, aby se text používal k trénování, nastavte pro GPTBot a ClaudeBot hodnotu Disallow: /. To neovlivní viditelnost ve vyhledávání.
4. Uložte soubor do kořenového adresáře webu a ověřte, že se otevírá na adrese /robots.txt. Pokud máte subdomény (například blog.example.com), každá potřebuje vlastní soubor — crawlery čtou soubor příslušný dané subdoméně.

Než příklad zkopírujete, zkontrolujte omezení pro chráněné oblasti. Pokud ponecháte Disallow: /dashboard/ pouze ve skupině User-agent: *, nebude se vztahovat na OAI-SearchBot, který má vlastní skupinu. Omezené cesty uveďte v každé skupině, v níž povolíte crawleru procházení.

V níže uvedeném příkladu mají vyhledávací crawlery asistentů povolený přístup, ale omezená oblast /dashboard/ je přímo v jejich skupinách zablokovaná; trénovací crawlery jsou zablokované úplně. Blokování trénovacích crawlerů je volitelné — rozhodnutí je na vás a seznam omezených cest byste měli nahradit vlastním.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Podle dokumentace OpenAI a Perplexity může jejich systémům trvat přibližně den, než zohlední změny v souboru robots.txt. Neočekávejte okamžitý účinek po uložení souboru.

Jak to vypadá na fungujícím webu?#

V popsaném příkladu nastavení robots.txt jsou názvy crawlerů asistentů — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended a další — shromážděny v jedné skupině. Pod nimi jsou Allow: / a stejné řádky Disallow: pro omezené oblasti jako v obecné skupině User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ a další. URL sitemap jsou uvedeny na konci souboru pomocí direktivy Sitemap:.

Omezení se ve skupině crawlerů asistentů opakují, takže jsou v ní chráněné oblasti také zablokované. Můžete otevřít soubor /robots.txt libovolného webu a podívat se, jak je nakonfigurovaný — soubor je vždy veřejný.

Co ještě pomáhá crawlerům porozumět webu?#

I když je procházení povoleno, crawler nemusí získat obsah stránky. Kromě pravidel přístupu ověřte, jak web předává text a pomáhá lidem najít svůj obsah.

• Text je dostupný okamžitě. Pokud skripty vykreslují obsah stránky v prohlížeči, některé crawlery uvidí prázdnou schránku. Ověříte to tak, že stránku otevřete, zvolíte „zobrazit zdrojový kód stránky“ a vyhledáte v něm svůj text. Pokud tam není a objeví se pouze v běžném zobrazení stránky, je třeba zjistit, jak se stránka předává.
• Existuje sitemap. Soubor sitemap.xml obsahuje seznam všech vašich stránek. Pomáhá crawlerům, aby žádný obsah nepřehlédly. Přidejte na něj odkaz do robots.txt pomocí řádku Sitemap:.
• Odpověď je srozumitelná člověku. Crawlery asistentů hledají stránky, které odpovídají na otázku. Jasný nadpis, krátká odpověď na začátku a poctivé formulace fungují lépe než seznam klíčových slov.

Proč může být web pro AI neviditelný?#

Pokud se váš web v odpovědích nezobrazuje, prověřte tyto možné překážky přístupu.

• Crawler je blokovaný v souboru robots.txt. Někdy soubor obsahuje obecné omezení, které blokuje potřebné crawlery. Zkontrolujte, zda se ve skupině vztahující se na crawlery asistentů nachází Disallow: /.
• Text není viditelný bez prohlížeče. Pokud obsah vytvářejí skripty, crawler ho nemusí získat. Kontrola zdrojového kódu je popsána výše.
• Zabezpečení webu blokuje crawlery. Mnoho webů používá ochranu proti nežádoucímu provozu — například Cloudflare. Ta může blokovat přístup bez ohledu na robots.txt. Pomocí robots.txt určujete, kam crawler smí jít, zatímco zabezpečení webu rozhoduje, zda jeho požadavek propustí. Perplexity doporučuje ručně povolit crawlery v nastavení zabezpečení podle jejich názvů user-agent a zveřejněných IP adres. Pravidla procházení nastavujte přes robots.txt: Anthropic samostatně varuje, že blokování crawlerů pouze podle IP adresy je nespolehlivé. Pokud používáte podobnou službu, zkontrolujte její nastavení.

Prověřujte možné příčiny postupně: začněte souborem robots.txt, pak se podívejte do zdrojového kódu stránky a poté zkontrolujte nastavení zabezpečení. Samotná nepřítomnost těchto překážek nezaručuje, že se váš web objeví v odpovědích.

Jak ověřit, zda se crawler dostal na stránku?#

Tato kontrola pomáhá posoudit přístupnost webu a najít záznamy o návštěvách crawlerů.

• Otevřete v prohlížeči https://example.com/robots.txt — soubor by se měl otevřít a obsahovat potřebné skupiny.
• Otevřete sitemap na adrese https://example.com/sitemap.xml — měla by se otevřít a obsahovat seznam stránek.
• Zobrazte zdrojový kód důležité stránky a vyhledejte v něm svůj text.
• Pokud máte přístup k serverovým protokolům, vyhledejte v nich názvy crawlerů — OAI-SearchBot, PerplexityBot a další. Jejich návštěvy jsou viditelné podle user-agent.

Tato kontrola neukáže, zda si asistent vybere právě vaši stránku. To záleží na otázce uživatele a na tom, jak dobře na ni stránka odpovídá.

Co tato nastavení nezaručují#

Přístup k vašemu webu a jeho zobrazení v odpovědi asistenta jsou dva různé výsledky. Tato nastavení mají svá omezení.

• Citace není zaručena. Otevřený přístup crawleru pouze umožňuje váš web přečíst. Zda vás asistent ocituje, záleží na asistentovi a položené otázce.
• Nikdo neslibuje pozice ani návštěvnost. Nastavení robots.txt otevře přístup, ale nezajistí místo ve výsledcích vyhledávání.
• Některé crawlery mohou pravidla souboru ignorovat. Týká se to některých crawlerů, které přicházejí v reakci na přímou žádost uživatele — například ChatGPT-User od OpenAI a Perplexity-User od Perplexity.
• Pravidla se mění. Vývojáři aktualizují názvy crawlerů i podmínky. Dokumentaci se vyplatí kontrolovat každých několik měsíců; odkazy jsou na konci.

Přístup a kvalitu svého webu máte pod kontrolou, ale o tom, zda přidá odkaz, rozhoduje asistent. Cílem těchto nastavení je zpřístupnit užitečnou stránku pro vyhledávání a čtení, nikoli se pokoušet asistenta „obelstít“.

Co dál#

Otevřete robots.txt, přidejte vyhledávací crawlery asistentů a zkontrolujte sitemap i dostupnost textu. Pokud přístup blokuje zabezpečení, prověřte také jeho nastavení. Tyto kroky pomohou odhalit a odstranit technické překážky. Pak zkontrolujte samotné stránky: poskytují jasné odpovědi na konkrétní otázky vašeho publika?