# Jak zpřístupnit web crawlerům ChatGPT, Claude a Perplexity
> Názvy vyhledávacích a trénovacích crawlerů, kompletní příklad souboru robots.txt, sitemap, dostupnost textu a omezení citací.
Source: https://ailoot.ai/blog/cs/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/cs/ai-search-crawlers-robots-txt/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-822c4fa39d22ec77e4873e6d6d0bcf6bbccac404842fe3ba0b346afb5b58896d
Vytvořili jste web nebo produkt, ale když se někdo zeptá „doporučte službu pro tento úkol“, ChatGPT, Claude a Perplexity se o něm nezmíní. Stojí za to ověřit, zda asistent dokáže váš web přečíst a zda mu v přístupu něco nebrání.
Neexistuje tlačítko, kterým byste se „dostali do odpovědi AI“, a nikdo vám nemůže zaručit citaci. ChatGPT, Claude a Perplexity mají samostatné crawlery pro vyhledávání: přístup k webu jim můžete povolit prostřednictvím souboru `robots.txt`. Pak ověřte, zda mají přístup k textu stránky a zda jim v tom nebrání zabezpečení vašeho webu.
Praktické pokyny pro práci s Ailoot najdete v [dokumentaci](https://ailoot.ai/docs/).
## Co znamená viditelnost webu ve vyhledávání AI?
Hlavní poznatek
AI asistenti mají crawlery pro různé úkoly: některé shromažďují weby pro vyhledávání přímo v asistentovi, zatímco jiné sbírají texty pro trénování modelů. Pro odpovědi ve vyhledávání je důležitý první typ. Crawleru můžete povolit přístup, ale asistentovi tím neukládáte povinnost vás citovat — citaci nemůže zaručit nikdo.
Když se někdo zeptá ChatGPT nebo Perplexity „kde si můžu přečíst o X?“ nebo „kterou službu si mám vybrat?“, asistent někdy prohledá web a přidá odkazy na stránky. Aby se vaše stránka dostala na tento seznam kandidátů, musí ji crawler asistenta přečíst a nesmí mít odepřený přístup.
Na svém webu je třeba zkontrolovat tři věci:
- crawler má k webu přístup: není blokovaný v souboru `robots.txt` a bezpečnostní opatření mu přístup neznemožňují;
- crawler vidí text stránky, nikoli prázdnou schránku, kterou doplní prohlížeč;
- stránka poctivě a srozumitelně odpovídá na konkrétní otázku, místo aby odpověď nahrazovala seznamem klíčových slov.
Začněte přístupem: pokud crawler stránku nemohl přečíst, nedostane se ani k užitečnému textu na ní.
## Jak se vyhledávací crawler liší od trénovacího crawleru?
Hlavní poznatek
Každý významný asistent má crawlery s odlišnými úkoly. Vyhledávací crawler sbírá webové stránky, aby se mohly zobrazovat v odpovědích a výsledcích vyhledávání asistenta. Trénovací crawler sbírá texty pro trénování modelu. Tato nastavení jsou nezávislá: vyhledávacímu crawleru můžete přístup povolit a trénovací crawler zablokovat.
Přístup je třeba povolit nebo zablokovat samostatně pro každý crawler. Obecné rozhodnutí „pustit AI na web“ nezohledňuje rozdíly mezi jejich úkoly.
- **Vyhledávací crawler** umožňuje, aby se vaše stránky zobrazovaly v odpovědích asistenta, když se uživatel na něco zeptá. Povolte ho, pokud chcete, aby byl váš web dostupný pro vyhledávání.
- **Trénovací crawler** sbírá texty, které mohou být použity k trénování budoucích verzí modelu. Zda mu přístup povolíte, je na vás; nemá přímý vliv na to, zda se objevíte v současných odpovědích z vyhledávání.
Dokumentace OpenAI uvádí příklad: můžete povolit vyhledávacímu crawleru procházet váš web a zároveň zablokovat trénovací crawler, aby se texty z vašeho webu nepoužívaly k trénování. Tato dvě nastavení se konfigurují nezávisle v témže souboru.
## Jak se jmenují crawlery ChatGPT, Claude a Perplexity?
Hlavní poznatek
U OpenAI je vyhledávacím crawlerem OAI-SearchBot, trénovacím crawlerem GPTBot a ChatGPT-User navštěvuje stránky na žádost uživatele. U Anthropic jde o Claude-SearchBot (vyhledávání), ClaudeBot (trénování) a Claude-User (na žádost uživatele). U Perplexity jde o PerplexityBot (vyhledávání) a Perplexity-User (na žádost uživatele). Google má samostatný token Google-Extended, který řídí používání obsahu webu pro generativní AI.
Ke konfiguraci přístupu potřebujete přesné názvy crawlerů (user-agent), které zadáváte do souboru `robots.txt`. Tabulka uvádí názvy a účely podle oficiální dokumentace jednotlivých vývojářů k září 2026.
| Crawler (user-agent) nebo token | Patří komu | Co dělá | Povolit kvůli viditelnosti? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Zobrazuje weby ve vyhledávání ChatGPT | Ano |
| `GPTBot` | OpenAI | Sbírá texty pro trénování modelů | Je to na vás |
| `ChatGPT-User` | OpenAI | Navštěvuje stránku na žádost uživatele | Obvykle ano |
| `Claude-SearchBot` | Anthropic | Indexuje weby pro zlepšení kvality vyhledávání | Ano |
| `ClaudeBot` | Anthropic | Sbírá texty pro trénování modelů | Je to na vás |
| `Claude-User` | Anthropic | Navštěvuje stránku na žádost uživatele Claude | Obvykle ano |
| `PerplexityBot` | Perplexity | Zobrazuje weby ve výsledcích vyhledávání a odkazuje na ně | Ano |
| `Perplexity-User` | Perplexity | Navštěvuje stránku na žádost uživatele | Obvykle ano |
| `Google-Extended` | Google | Token řídící používání obsahu webu pro generativní AI Google | Je to na vás |
Crawlery `ChatGPT-User`, `Claude-User` a `Perplexity-User` navštěvují stránku na žádost člověka v konverzaci, ale každý vývojář má jiná pravidla přístupu. OpenAI uvádí, že pravidla `robots.txt` se na `ChatGPT-User` nemusejí vztahovat. Perplexity říká, že `Perplexity-User` je obvykle ignoruje, protože návštěvu inicioval uživatel. Anthropic řídí přístup `Claude-User` prostřednictvím `robots.txt`: pokud ho tam zablokujete, Claude nebude načítat stránky v reakci na žádosti uživatelů. Přístup pro vyhledávací crawlery se konfiguruje samostatně.
`Google-Extended` nemá při procházení vlastní řádek user-agent — v souboru `robots.txt` jde pouze o řídicí token. Určuje, zda může být váš obsah použit pro generativní AI Google, a nemá vliv na běžné Vyhledávání Google.
Pokud chcete vytvořit web s jasnou strukturou a přístupným textem, promyslete si, jak informace uspořádat.
## Jak povolit crawlery v robots.txt: krok za krokem
Hlavní poznatek
Soubor robots.txt se nachází v kořenovém adresáři webu a nastavuje pravidla přístupu pro crawlery. Chcete-li povolit vyhledávací crawlery asistentů, přidejte jejich user-agenty s povolením procházení. Každá subdoména potřebuje vlastní soubor.
`robots.txt` je prostý textový soubor v kořenovém adresáři webu, dostupný na adrese, jako je `https://example.com/robots.txt`. Crawlery si ho přečtou před procházením a řídí se jeho pokyny, s výjimkami pro návštěvy na žádost uživatele popsanými výše.
1. **Otevřete aktuální soubor.** Zadejte adresu webu do prohlížeče a přidejte `/robots.txt`. Podívejte se, co už v souboru je a zda crawlery, které potřebujete, nebyly omylem zablokovány řádkem `Disallow: /`. Hledejte také řádky `Disallow:` pro omezené oblasti — stránky účtů, platební stránky, sekci administrace: budete je potřebovat v dalším kroku.
2. **Přidejte skupinu pro vyhledávací crawlery asistentů.** Každá skupina určuje název crawleru a pravidla přístupu. Chcete-li povolit procházení, použijte `Allow: /`. Crawler se řídí pravidly ve skupině, v níž je jeho název uveden samostatně; nepřebírá pravidla z obecné skupiny `User-agent: *`. Omezení uvedená pouze ve skupině `User-agent: *` se na tento crawler nevztahují. Pokud máte omezené oblasti, zopakujte stejné řádky `Disallow:` v každé nové skupině, jinak budou pro daný crawler přístupné.
3. **O trénovacích crawlerech rozhodněte zvlášť.** Pokud nechcete, aby se text používal k trénování, nastavte pro `GPTBot` a `ClaudeBot` hodnotu `Disallow: /`. To neovlivní viditelnost ve vyhledávání.
4. **Uložte soubor do kořenového adresáře webu** a ověřte, že se otevírá na adrese `/robots.txt`. Pokud máte subdomény (například `blog.example.com`), každá potřebuje vlastní soubor — crawlery čtou soubor příslušný dané subdoméně.
Než příklad zkopírujete, zkontrolujte omezení pro chráněné oblasti. Pokud ponecháte `Disallow: /dashboard/` pouze ve skupině `User-agent: *`, nebude se vztahovat na `OAI-SearchBot`, který má vlastní skupinu. Omezené cesty uveďte v každé skupině, v níž povolíte crawleru procházení.
V níže uvedeném příkladu mají vyhledávací crawlery asistentů povolený přístup, ale omezená oblast `/dashboard/` je přímo v jejich skupinách zablokovaná; trénovací crawlery jsou zablokované úplně. Blokování trénovacích crawlerů je volitelné — rozhodnutí je na vás a seznam omezených cest byste měli nahradit vlastním.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Podle dokumentace OpenAI a Perplexity může jejich systémům trvat přibližně den, než zohlední změny v souboru `robots.txt`. Neočekávejte okamžitý účinek po uložení souboru.
## Jak to vypadá na fungujícím webu?
V popsaném příkladu nastavení `robots.txt` jsou názvy crawlerů asistentů — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` a další — shromážděny v jedné skupině. Pod nimi jsou `Allow: /` a stejné řádky `Disallow:` pro omezené oblasti jako v obecné skupině `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` a další. URL sitemap jsou uvedeny na konci souboru pomocí direktivy `Sitemap:`.
Omezení se ve skupině crawlerů asistentů opakují, takže jsou v ní chráněné oblasti také zablokované. Můžete otevřít soubor `/robots.txt` libovolného webu a podívat se, jak je nakonfigurovaný — soubor je vždy veřejný.
## Co ještě pomáhá crawlerům porozumět webu?
Hlavní poznatek
Po nastavení přístupu ověřte, zda je text stránky viditelný bez spouštění skriptů prohlížeče, zda existuje soubor sitemap.xml a zda je samotná odpověď srozumitelná.
I když je procházení povoleno, crawler nemusí získat obsah stránky. Kromě pravidel přístupu ověřte, jak web předává text a pomáhá lidem najít svůj obsah.
- **Text je dostupný okamžitě.** Pokud skripty vykreslují obsah stránky v prohlížeči, některé crawlery uvidí prázdnou schránku. Ověříte to tak, že stránku otevřete, zvolíte „zobrazit zdrojový kód stránky“ a vyhledáte v něm svůj text. Pokud tam není a objeví se pouze v běžném zobrazení stránky, je třeba zjistit, jak se stránka předává.
- **Existuje sitemap.** Soubor `sitemap.xml` obsahuje seznam všech vašich stránek. Pomáhá crawlerům, aby žádný obsah nepřehlédly. Přidejte na něj odkaz do `robots.txt` pomocí řádku `Sitemap:`.
- **Odpověď je srozumitelná člověku.** Crawlery asistentů hledají stránky, které odpovídají na otázku. Jasný nadpis, krátká odpověď na začátku a poctivé formulace fungují lépe než seznam klíčových slov.
## Proč může být web pro AI neviditelný?
Hlavní poznatek
Stojí za to prověřit tři možné příčiny: crawler je blokovaný v souboru robots.txt, text vytvářejí skripty a bez prohlížeče není viditelný, nebo crawlery blokuje zabezpečení webu. V prvním případě zkontrolujte soubor, ve druhém způsob předávání stránek a ve třetím nastavení zabezpečení.
Pokud se váš web v odpovědích nezobrazuje, prověřte tyto možné překážky přístupu.
- **Crawler je blokovaný v souboru `robots.txt`.** Někdy soubor obsahuje obecné omezení, které blokuje potřebné crawlery. Zkontrolujte, zda se ve skupině vztahující se na crawlery asistentů nachází `Disallow: /`.
- **Text není viditelný bez prohlížeče.** Pokud obsah vytvářejí skripty, crawler ho nemusí získat. Kontrola zdrojového kódu je popsána výše.
- **Zabezpečení webu blokuje crawlery.** Mnoho webů používá ochranu proti nežádoucímu provozu — například Cloudflare. Ta může blokovat přístup bez ohledu na `robots.txt`. Pomocí `robots.txt` určujete, kam crawler smí jít, zatímco zabezpečení webu rozhoduje, zda jeho požadavek propustí. Perplexity doporučuje ručně povolit crawlery v nastavení zabezpečení podle jejich názvů user-agent a zveřejněných IP adres. Pravidla procházení nastavujte přes `robots.txt`: Anthropic samostatně varuje, že blokování crawlerů pouze podle IP adresy je nespolehlivé. Pokud používáte podobnou službu, zkontrolujte její nastavení.
Prověřujte možné příčiny postupně: začněte souborem `robots.txt`, pak se podívejte do zdrojového kódu stránky a poté zkontrolujte nastavení zabezpečení. Samotná nepřítomnost těchto překážek nezaručuje, že se váš web objeví v odpovědích.
## Jak ověřit, zda se crawler dostal na stránku?
Hlavní poznatek
Neexistuje přímé počítadlo „byl jsem citován“. Základní věci ale zkontrolovat můžete: zda se otevírá robots.txt, zda je text viditelný ve zdrojovém kódu a zda je dostupná sitemap. Návštěvy crawlerů jsou v serverových protokolech viditelné podle user-agent.
Tato kontrola pomáhá posoudit přístupnost webu a najít záznamy o návštěvách crawlerů.
- Otevřete v prohlížeči `https://example.com/robots.txt` — soubor by se měl otevřít a obsahovat potřebné skupiny.
- Otevřete sitemap na adrese `https://example.com/sitemap.xml` — měla by se otevřít a obsahovat seznam stránek.
- Zobrazte zdrojový kód důležité stránky a vyhledejte v něm svůj text.
- Pokud máte přístup k serverovým protokolům, vyhledejte v nich názvy crawlerů — `OAI-SearchBot`, `PerplexityBot` a další. Jejich návštěvy jsou viditelné podle user-agent.
Tato kontrola neukáže, zda si asistent vybere právě vaši stránku. To záleží na otázce uživatele a na tom, jak dobře na ni stránka odpovídá.
## Co tato nastavení nezaručují
Přístup k vašemu webu a jeho zobrazení v odpovědi asistenta jsou dva různé výsledky. Tato nastavení mají svá omezení.
- **Citace není zaručena.** Otevřený přístup crawleru pouze umožňuje váš web přečíst. Zda vás asistent ocituje, záleží na asistentovi a položené otázce.
- **Nikdo neslibuje pozice ani návštěvnost.** Nastavení `robots.txt` otevře přístup, ale nezajistí místo ve výsledcích vyhledávání.
- **Některé crawlery mohou pravidla souboru ignorovat.** Týká se to některých crawlerů, které přicházejí v reakci na přímou žádost uživatele — například `ChatGPT-User` od OpenAI a `Perplexity-User` od Perplexity.
- **Pravidla se mění.** Vývojáři aktualizují názvy crawlerů i podmínky. Dokumentaci se vyplatí kontrolovat každých několik měsíců; odkazy jsou na konci.
Přístup a kvalitu svého webu máte pod kontrolou, ale o tom, zda přidá odkaz, rozhoduje asistent. Cílem těchto nastavení je zpřístupnit užitečnou stránku pro vyhledávání a čtení, nikoli se pokoušet asistenta „obelstít“.
## Co dál
Otevřete `robots.txt`, přidejte vyhledávací crawlery asistentů a zkontrolujte sitemap i dostupnost textu. Pokud přístup blokuje zabezpečení, prověřte také jeho nastavení. Tyto kroky pomohou odhalit a odstranit technické překážky. Pak zkontrolujte samotné stránky: poskytují jasné odpovědi na konkrétní otázky vašeho publika?
### Zdroje
- [OpenAI: přehled crawlerů (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: crawlery Claude a jak řídit přístup](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawlery a nastavení zabezpečení webu](https://docs.perplexity.ai/guides/bots)
- [Google: přehled crawlerů a token Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Pokračujte v objevování Ailoot na [ailoot.ai](https://ailoot.ai/).
## Časté otázky
### Proč může pojmenovaná skupina pro robota znovu otevřít cesty zakázané pod User-agent: *?
Robot s odpovídající pojmenovanou skupinou používá její pravidla a nedědí pravidla skupiny se zástupným znakem. Potřebná pravidla Disallow pro omezené cesty zopakujte v každé pojmenované skupině, kterou povolíte.
### Zaručí povolení vyhledávacího robota citaci stránky asistentem?
Ne. Ověřte robots.txt, text ve zdrojovém kódu stránky, dostupnost sitemap a serverové logy. Tyto kontroly dokládají dostupnost nebo návštěvy, nikoli výběr stránky pro odpověď asistenta.
## Ailoot · Společnost a její portfolio projektů
Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.
Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.
Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.