# Hogyan teheti elérhetővé webhelyét a ChatGPT, Claude és Perplexity keresőrobotjai számára
> A kereső- és tanítórobotok nevei, teljes robots.txt-példa, webhelytérkép, a szöveg elérhetősége és az idézés korlátai.
Source: https://ailoot.ai/blog/hu/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/hu/ai-search-crawlers-robots-txt/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-6a0de4864fa7768ea7e89072bf9bce8e013a837952c8ad377d6d3c067757577b
Felépített egy webhelyet vagy terméket, de amikor valaki azt kérdezi: „ajánlj egy szolgáltatást ehhez a feladathoz”, a ChatGPT, a Claude és a Perplexity nem említi. Érdemes ellenőriznie, hogy az asszisztens el tudja-e olvasni a webhelyét, és nem blokkolja-e valami a hozzáférést.
Nincs gomb, amellyel „bekerülhet egy AI-válaszba”, és senki sem garantálhatja, hogy idézni fogják. A ChatGPT, a Claude és a Perplexity külön keresőrobotokat használ: a `robots.txt` fájlon keresztül engedélyezheti számukra a webhely elérését. Ezután ellenőrizze, hogy hozzáférnek-e az oldal szövegéhez, és nem akadályozza-e a hozzáférést a webhely biztonsági rendszere.
Az Ailoot használatához szükséges gyakorlati útmutatót a [dokumentációban](https://ailoot.ai/docs/) találja.
## Mit jelent az, hogy „látható az AI számára”?
Fő tanulság
Az AI-asszisztensek különböző feladatokra szolgáló robotokat használnak: egyesek webhelyeket gyűjtenek az asszisztensen belüli kereséshez, mások szövegeket gyűjtenek a modellek tanításához. A keresőválaszok szempontjából az első típus számít. Engedélyezheti egy robot hozzáférését, de ettől az asszisztens még nem köteles idézni Önt — ezt senki sem garantálhatja.
Amikor valaki azt kérdezi a ChatGPT-től vagy a Perplexitytől, hogy „hol olvashatok X-ről?” vagy „melyik szolgáltatást válasszam?”, az asszisztens olykor keres az interneten, és oldalhivatkozásokat ad hozzá a válaszhoz. Ahhoz, hogy az oldala felkerüljön a lehetséges találatok listájára, az asszisztens robotjának már el kellett olvasnia, és nem szabadott hozzáférés-megtagadásba ütköznie.
Három dolgot érdemes ellenőrizni a webhelyén:
- a robot hozzáfér a webhelyhez: a `robots.txt` nem tiltja le, és a biztonsági intézkedések sem akadályozzák a hozzáférést;
- a robot látja az oldal szövegét, nem csupán egy üres vázat, amelyet a böngésző tölt meg tartalommal;
- az oldal világosan és őszintén válaszol egy konkrét kérdésre, nem pedig kulcsszólistával helyettesíti a választ.
Kezdje a hozzáféréssel: ha a robot nem tudta elolvasni az oldalt, az azon szereplő hasznos szöveghez sem jut hozzá.
## Miben különbözik a keresőrobot a tanítórobottól?
Fő tanulság
Minden jelentős asszisztens külön feladatokra szolgáló robotokat használ. A keresőrobot webhelyeket gyűjt, hogy azok megjelenhessenek az asszisztens válaszaiban és keresési találatai között. A tanítórobot szöveget gyűjt a modell tanításához. A két beállítás egymástól független: engedélyezheti a keresőrobotot, miközben letiltja a tanítórobotot.
Minden robot hozzáféréséről külön kell dönteni: engedélyezi vagy letiltja. Az általános döntés, hogy „beengedi-e az AI-t a webhelyre”, nem veszi figyelembe a feladatok közötti különbségeket.
- **A keresőrobot** lehetővé teszi, hogy az oldalai megjelenjenek az asszisztens válaszaiban, amikor egy felhasználó kérdez valamit. Engedélyezze, ha azt szeretné, hogy webhelye kereshető legyen.
- **A tanítórobot** olyan szöveget gyűjt, amelyet a modell későbbi verzióinak tanítására használhatnak. Ön döntheti el, hogy engedélyezi-e; ez közvetlenül nem befolyásolja, hogy megjelenik-e a jelenlegi keresőválaszokban.
Az OpenAI dokumentációja példát is ad erre: engedélyezheti a keresőrobotnak a webhely feltérképezését, miközben letiltja a tanítórobotot, így a webhely szövegét nem használják fel tanításra. Ezt a két beállítást ugyanabban a fájlban, egymástól függetlenül kell megadni.
## Mi a ChatGPT, a Claude és a Perplexity robotjainak neve?
Fő tanulság
Az OpenAI keresőrobotja az OAI-SearchBot, a tanítórobotja a GPTBot, a ChatGPT-User pedig a felhasználó kérésére látogat el egy oldalra. Az Anthropichez tartozik a Claude-SearchBot (keresés), a ClaudeBot (tanítás) és a Claude-User (a felhasználó kérésére). A Perplexity robotjai a PerplexityBot (keresés) és a Perplexity-User (a felhasználó kérésére). A Google külön Google-Extended tokent használ, amely a webhelytartalom generatív AI-hoz való felhasználását szabályozza.
A hozzáférés beállításához pontosan ismernie kell a robotok neveit (user-agent), amelyeket a `robots.txt` fájlban adhat meg. A táblázat az egyes fejlesztők hivatalos dokumentációja szerinti neveket és feladatokat sorolja fel, 2026 szeptemberi állapot szerint.
| Robot (user-agent) vagy token | Kihez tartozik | Mit csinál | Engedélyezze a láthatóság érdekében? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Webhelyeket jelenít meg a ChatGPT keresőjében | Igen |
| `GPTBot` | OpenAI | Szöveget gyűjt a modellek tanításához | Ön dönt |
| `ChatGPT-User` | OpenAI | A felhasználó kérésére meglátogat egy oldalt | Általában igen |
| `Claude-SearchBot` | Anthropic | Webhelyeket indexel a keresés minőségének javításához | Igen |
| `ClaudeBot` | Anthropic | Szöveget gyűjt a modellek tanításához | Ön dönt |
| `Claude-User` | Anthropic | Egy Claude-felhasználó kérésére meglátogat egy oldalt | Általában igen |
| `PerplexityBot` | Perplexity | Webhelyeket jelenít meg és hivatkozásokat ad rájuk a keresésben | Igen |
| `Perplexity-User` | Perplexity | A felhasználó kérésére meglátogat egy oldalt | Általában igen |
| `Google-Extended` | Google | A webhelytartalom Google generatív AI-hoz való felhasználását szabályozó token | Ön dönt |
A `ChatGPT-User`, a `Claude-User` és a `Perplexity-User` beszélgetés közben, egy személy kérésére látogat meg egy oldalt, de az egyes fejlesztők eltérő hozzáférési szabályokat alkalmaznak. Az OpenAI szerint a `robots.txt` szabályai esetleg nem vonatkoznak a `ChatGPT-User` robotra. A Perplexity szerint a `Perplexity-User` általában figyelmen kívül hagyja ezeket, mert a látogatást a felhasználó kezdeményezte. Az Anthropic a `robots.txt` fájlon keresztül szabályozza a `Claude-User` hozzáférését: ha ott letiltja, a Claude nem fog oldalakat lekérni a felhasználói kérések teljesítésekor. A keresőrobotok hozzáférése külön állítható be.
A `Google-Extended` nem rendelkezik saját user-agent sorral a feltérképezéskor — ez csupán egy vezérlőtoken a `robots.txt` fájlban. Azt határozza meg, hogy a tartalma felhasználható-e a Google generatív AI-jához, a hagyományos Google Keresést azonban nem befolyásolja.
Ha világos felépítésű, könnyen olvasható szöveget tartalmazó webhelyet szeretne létrehozni, gondolja át, hogyan rendezi el az információkat.
## Robotok engedélyezése a robots.txt fájlban: lépésről lépésre
Fő tanulság
A robots.txt fájl a webhely gyökérkönyvtárában található, és a robotok hozzáférési szabályait határozza meg. Az asszisztensek keresőrobotjainak engedélyezéséhez adja hozzá a user-agentjeiket, és engedélyezze a feltérképezést. Minden aldomainnek saját fájlra van szüksége.
A `robots.txt` egyszerű szöveges fájl a webhely gyökérkönyvtárában, amely például a `https://example.com/robots.txt` címen érhető el. A robotok feltérképezés előtt elolvassák, és követik az utasításait, a felhasználói kérésre történő látogatások fent ismertetett kivételeivel együtt.
1. **Nyissa meg a meglévő fájlt.** Írja be webhelye címét a böngészőbe, majd adja hozzá a `/robots.txt` útvonalat. Nézze meg, mi van már a fájlban, és nem tiltja-e le véletlenül a szükséges robotokat egy `Disallow: /` sor. Keressen korlátozott területekre vonatkozó `Disallow:` sorokat is — például fiókoldalakhoz, fizetési oldalakhoz vagy az adminisztrációs felülethez: ezekre a következő lépésben is szüksége lesz.
2. **Adjon hozzá egy csoportot az asszisztensek keresőrobotjaihoz.** Minden csoport megadja a robot nevét és a hozzáférési szabályokat. A feltérképezés engedélyezéséhez használja az `Allow: /` sort. A robot abban a csoportban megadott szabályokat követi, amely külön feltünteti a nevét; az általános `User-agent: *` csoportból nem vesz át szabályokat. A kizárólag a `User-agent: *` csoportban szereplő korlátozások nem vonatkoznak erre a robotra. Ha vannak korlátozott területei, ismételje meg ugyanazokat a `Disallow:` sorokat minden új csoportban, különben ezek a területek megnyílnak a robot előtt.
3. **A tanítórobotokról külön döntsön.** Ha nem szeretné, hogy a szöveget tanításra használják, állítsa be a `Disallow: /` szabályt a `GPTBot` és a `ClaudeBot` számára. Ez nem befolyásolja a keresési láthatóságot.
4. **Mentse a fájlt a webhely gyökérkönyvtárába**, majd ellenőrizze, hogy megnyílik-e a `/robots.txt` címen. Ha vannak aldomainjei (például `blog.example.com`), mindegyiknek külön fájlra van szüksége — a robotok az adott aldomainhez tartozó fájlt olvassák.
A példa másolása előtt ellenőrizze a korlátozott területek szabályait. Ha a `Disallow: /dashboard/` szabály csak a `User-agent: *` csoportban szerepel, nem vonatkozik az `OAI-SearchBot` robotra, amelynek külön csoportja van. Sorolja fel a korlátozott útvonalakat minden olyan csoportban, amelyben engedélyezi a robot feltérképezését.
Az alábbi példában az asszisztensek keresőrobotjai engedélyezettek, de a korlátozott `/dashboard/` terület közvetlenül az ő csoportjaikban van letiltva; a tanítórobotok teljesen le vannak tiltva. A tanítórobotok letiltása nem kötelező — Ön dönt erről, és a korlátozott útvonalak listáját a sajátjaira kell cserélnie.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Az OpenAI és a Perplexity dokumentációja szerint rendszereiknek körülbelül egy napra lehet szükségük ahhoz, hogy figyelembe vegyék a `robots.txt` változásait. Ne várjon azonnali hatást a fájl mentése után.
## Hogy néz ki mindez egy működő webhelyen?
A bemutatott `robots.txt`-beállításban az asszisztensrobotok nevei — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` és mások — egy csoportba kerülnek. Alattuk szerepel az `Allow: /`, valamint a korlátozott területekre vonatkozó, az általános `User-agent: *` csoportéval megegyező `Disallow:` sorok: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` és mások. A sitemap URL-jei a fájl végén, a `Sitemap:` direktívával vannak felsorolva.
A korlátozásokat megismétlik az asszisztensrobotok csoportjában is, hogy a korlátozott területek előttük is zárva maradjanak. Bármelyik webhely `/robots.txt` fájlját megnyithatja, és megnézheti a beállításait — a fájl mindig nyilvános.
## Mi segít még a robotoknak a webhely megértésében?
Fő tanulság
A hozzáférés beállítása után ellenőrizze, hogy az oldal szövege látható-e böngészőszkriptek futtatása nélkül, van-e sitemap.xml fájl, és maga a válasz világos-e.
Még ha a feltérképezés engedélyezett is, előfordulhat, hogy a robot nem jut hozzá az oldal tartalmához. A hozzáférési szabályokon túl ellenőrizze azt is, hogyan jeleníti meg a webhely a szöveget, és hogyan segíti az embereket a tartalom megtalálásában.
- **A szöveg azonnal elérhető.** Ha szkriptek jelenítik meg az oldal tartalmát a böngészőben, egyes robotok üres vázat látnak. Az ellenőrzéshez nyissa meg az oldalt, válassza az „oldal forrásának megtekintése” lehetőséget, majd keressen rá a szövegére. Ha ott nem található, és csak a normál oldalnézetben jelenik meg, vizsgálja meg, hogyan szolgáltatja a webhely az oldalt.
- **Van webhelytérkép.** A `sitemap.xml` fájl az összes oldal listáját tartalmazza. Segít a robotoknak, hogy ne hagyjanak ki tartalmat. Adjon hozzá egy rá mutató hivatkozást a `robots.txt` fájlhoz egy `Sitemap:` sorral.
- **A válasz világos az emberek számára.** Az asszisztensek robotjai olyan oldalakat keresnek, amelyek megválaszolnak egy kérdést. A világos cím, az elején szereplő rövid válasz és az őszinte megfogalmazás hatásosabb, mint egy kulcsszólista.
## Miért lehet láthatatlan egy webhely az AI számára?
Fő tanulság
Három lehetséges okot érdemes ellenőrizni: a robotot letiltja a robots.txt, a szöveget szkriptek állítják elő, ezért böngésző nélkül nem látható, vagy a webhely biztonsági rendszere blokkolja a robotokat. Az első esetben ellenőrizze a fájlt; a másodikban azt, hogyan szolgálja ki az oldalakat; a harmadikban pedig a biztonsági beállításokat.
Ha webhelye nem jelenik meg a válaszokban, ellenőrizze a lehetséges hozzáférési akadályokat.
- **A robotot letiltja a `robots.txt`.** A fájl néha olyan általános korlátozást tartalmaz, amely letiltja a szükséges robotokat. Ellenőrizze, szerepel-e `Disallow: /` olyan csoportban, amely az asszisztensrobotokra vonatkozik.
- **A szöveg böngésző nélkül nem látható.** Ha a tartalmat szkriptek állítják elő, előfordulhat, hogy a robot nem kapja meg. A forráskód ellenőrzését fentebb ismertettük.
- **A webhely biztonsági rendszere blokkolja a robotokat.** Sok webhely használ védelmet a nem kívánt forgalom ellen — például Cloudflare-t. Ez a `robots.txt` beállításaitól függetlenül is blokkolhatja a hozzáférést. A `robots.txt` fájlban szabályozhatja, hogy a robot merre járhat, a webhely biztonsági rendszere pedig azt dönti el, átengedi-e a kérését. A Perplexity azt javasolja, hogy a biztonsági beállításokban manuálisan engedélyezze a robotokat a user-agent nevük és közzétett IP-címük alapján. A feltérképezési szabályokat a `robots.txt` fájlban állítsa be: az Anthropic külön figyelmeztet arra, hogy a robotok kizárólag IP-cím szerinti blokkolása nem megbízható. Ha hasonló szolgáltatást használ, ellenőrizze annak beállításait.
Egyenként ellenőrizze az okokat: kezdje a `robots.txt` fájllal, majd nézze meg az oldal forráskódját, végül ellenőrizze a biztonsági beállításokat. Önmagában az, hogy ezek az akadályok nincsenek jelen, nem garantálja, hogy webhelye megjelenik a válaszokban.
## Hogyan ellenőrizheti, hogy egy robot elérte-e az oldalt?
Fő tanulság
Nincs közvetlen „idéztek” számláló. Az alapvető dolgokat azonban ellenőrizheti: megnyílik-e a robots.txt, látható-e a szöveg a forráskódban, és elérhető-e a webhelytérkép. A robotok látogatásai a user-agent alapján láthatók a szervernaplókban.
Ez az ellenőrzés segít felmérni a webhely hozzáférhetőségét, és megkeresni a robotok látogatásainak nyomait.
- Nyissa meg böngészőben a `https://example.com/robots.txt` címet — a fájlnak meg kell nyílnia, és tartalmaznia kell a szükséges csoportokat.
- Nyissa meg a webhelytérképet a `https://example.com/sitemap.xml` címen — meg kell nyílnia, és fel kell sorolnia az oldalakat.
- Tekintse meg egy fontos oldal forráskódját, és keresse meg benne a szövegét.
- Ha hozzáfér a szervernaplókhoz, keressen rájuk a robotok nevei alapján — például `OAI-SearchBot`, `PerplexityBot` és mások. Látogatásaik a user-agent alapján láthatók.
Az ellenőrzésből nem derül ki, hogy az asszisztens éppen az Ön oldalát választja-e. Ez a felhasználó kérdésétől és attól függ, mennyire jól válaszol rá az oldal.
## Mit nem garantálnak a beállítások
A webhelyhez való hozzáférés és az, hogy megjelenik-e egy asszisztens válaszában, két különböző eredmény. Ezeknek a beállításoknak vannak korlátai.
- **Az idézést semmi sem garantálja.** A nyílt hozzáférés csupán lehetőséget ad a robotnak, hogy elolvassa webhelyét. Az asszisztens dönti el — a kérdés alapján —, hogy idézi-e Önt.
- **Senki sem ígér rangsorolást vagy forgalmat.** A `robots.txt` beállítása megnyitja a hozzáférést, de nem biztosít helyet a keresési találatok között.
- **Egyes robotok figyelmen kívül hagyhatják a fájl szabályait.** Ez azokra a robotokra vonatkozik, amelyek közvetlen felhasználói kérésre látogatnak el egy oldalra — például az OpenAI `ChatGPT-User` és a Perplexity `Perplexity-User` robotjára.
- **A szabályok változnak.** A fejlesztők módosítják a robotok neveit és feltételeit. Érdemes néhány havonta ellenőrizni a dokumentációt; a hivatkozások a cikk végén találhatók.
Ön szabályozza a hozzáférést és a webhely minőségét, de az asszisztens dönti el, hogy feltüntet-e egy hivatkozást. Ezeknek a beállításoknak az a célja, hogy hasznos oldala elérhető legyen keresésre és olvasásra, anélkül, hogy megpróbálná „becsapni” az asszisztenst.
## Mi a következő lépés?
Nyissa meg a `robots.txt` fájlt, adja hozzá az asszisztensek keresőrobotjait, majd ellenőrizze a webhelytérképet és a szöveg elérhetőségét. Ha a biztonsági rendszer blokkolja a hozzáférést, annak beállításait is ellenőrizze. Ezekkel a lépésekkel azonosíthatja és megszüntetheti a technikai akadályokat. Ezután nézze meg magukat az oldalakat: világosan válaszolnak a közönsége konkrét kérdéseire?
### Források
- [OpenAI: a robotok áttekintése (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: a Claude robotjai és a hozzáférés szabályozása](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: robotok és a webhely biztonsági beállításai](https://docs.perplexity.ai/guides/bots)
- [Google: a robotok áttekintése és a Google-Extended token](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Fedezze fel tovább az Ailootot az [ailoot.ai](https://ailoot.ai/) oldalon.
## Kérdések és válaszok: Hogyan teheti elérhetővé webhelyét a ChatGPT, Claude és Perplexity keresőrobotjai számára
### Miért nyithat meg újra korlátozott útvonalakat egy név szerinti robotcsoport a User-agent: * mellett?
Az illeszkedő név szerinti csoporttal rendelkező robot annak szabályait használja a csillagos csoport öröklése helyett. Minden engedélyezett név szerinti csoportban ismételje meg a szükséges korlátozott útvonalak Disallow szabályait.
### A keresőrobot engedélyezése garantálja, hogy az asszisztens idézi az oldalamat?
Nem. A robots.txt-t, oldalforrásbeli szöveget, webhelytérkép elérhetőségét és szervernaplókat ellenőrizze a hozzáférés bizonyítékához. Ezek az elérhetőséget vagy látogatást igazolják, nem az oldal válaszhoz választását.
## Ailoot · A vállalat és projektportfóliója
Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.
A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.
Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.