Hogyan teheti elérhetővé webhelyét a ChatGPT, Claude és Perplexity keresőrobotjai számára

Felépített egy webhelyet vagy terméket, de amikor valaki azt kérdezi: „ajánlj egy szolgáltatást ehhez a feladathoz”, a ChatGPT, a Claude és a Perplexity nem említi. Érdemes ellenőriznie, hogy az asszisztens el tudja-e olvasni a webhelyét, és nem blokkolja-e valami a hozzáférést.

Nincs gomb, amellyel „bekerülhet egy AI-válaszba”, és senki sem garantálhatja, hogy idézni fogják. A ChatGPT, a Claude és a Perplexity külön keresőrobotokat használ: a robots.txt fájlon keresztül engedélyezheti számukra a webhely elérését. Ezután ellenőrizze, hogy hozzáférnek-e az oldal szövegéhez, és nem akadályozza-e a hozzáférést a webhely biztonsági rendszere.

Mit jelent az, hogy „látható az AI számára”?#

Amikor valaki azt kérdezi a ChatGPT-től vagy a Perplexitytől, hogy „hol olvashatok X-ről?” vagy „melyik szolgáltatást válasszam?”, az asszisztens olykor keres az interneten, és oldalhivatkozásokat ad hozzá a válaszhoz. Ahhoz, hogy az oldala felkerüljön a lehetséges találatok listájára, az asszisztens robotjának már el kellett olvasnia, és nem szabadott hozzáférés-megtagadásba ütköznie.

Három dolgot érdemes ellenőrizni a webhelyén:

• a robot hozzáfér a webhelyhez: a robots.txt nem tiltja le, és a biztonsági intézkedések sem akadályozzák a hozzáférést;
• a robot látja az oldal szövegét, nem csupán egy üres vázat, amelyet a böngésző tölt meg tartalommal;
• az oldal világosan és őszintén válaszol egy konkrét kérdésre, nem pedig kulcsszólistával helyettesíti a választ.

Kezdje a hozzáféréssel: ha a robot nem tudta elolvasni az oldalt, az azon szereplő hasznos szöveghez sem jut hozzá.

Miben különbözik a keresőrobot a tanítórobottól?#

Minden robot hozzáféréséről külön kell dönteni: engedélyezi vagy letiltja. Az általános döntés, hogy „beengedi-e az AI-t a webhelyre”, nem veszi figyelembe a feladatok közötti különbségeket.

• A keresőrobot lehetővé teszi, hogy az oldalai megjelenjenek az asszisztens válaszaiban, amikor egy felhasználó kérdez valamit. Engedélyezze, ha azt szeretné, hogy webhelye kereshető legyen.
• A tanítórobot olyan szöveget gyűjt, amelyet a modell későbbi verzióinak tanítására használhatnak. Ön döntheti el, hogy engedélyezi-e; ez közvetlenül nem befolyásolja, hogy megjelenik-e a jelenlegi keresőválaszokban.

Az OpenAI dokumentációja példát is ad erre: engedélyezheti a keresőrobotnak a webhely feltérképezését, miközben letiltja a tanítórobotot, így a webhely szövegét nem használják fel tanításra. Ezt a két beállítást ugyanabban a fájlban, egymástól függetlenül kell megadni.

Mi a ChatGPT, a Claude és a Perplexity robotjainak neve?#

A hozzáférés beállításához pontosan ismernie kell a robotok neveit (user-agent), amelyeket a robots.txt fájlban adhat meg. A táblázat az egyes fejlesztők hivatalos dokumentációja szerinti neveket és feladatokat sorolja fel, 2026 szeptemberi állapot szerint.

A ChatGPT-User, a Claude-User és a Perplexity-User beszélgetés közben, egy személy kérésére látogat meg egy oldalt, de az egyes fejlesztők eltérő hozzáférési szabályokat alkalmaznak. Az OpenAI szerint a robots.txt szabályai esetleg nem vonatkoznak a ChatGPT-User robotra. A Perplexity szerint a Perplexity-User általában figyelmen kívül hagyja ezeket, mert a látogatást a felhasználó kezdeményezte. Az Anthropic a robots.txt fájlon keresztül szabályozza a Claude-User hozzáférését: ha ott letiltja, a Claude nem fog oldalakat lekérni a felhasználói kérések teljesítésekor. A keresőrobotok hozzáférése külön állítható be.

A Google-Extended nem rendelkezik saját user-agent sorral a feltérképezéskor — ez csupán egy vezérlőtoken a robots.txt fájlban. Azt határozza meg, hogy a tartalma felhasználható-e a Google generatív AI-jához, a hagyományos Google Keresést azonban nem befolyásolja.

Ha világos felépítésű, könnyen olvasható szöveget tartalmazó webhelyet szeretne létrehozni, gondolja át, hogyan rendezi el az információkat.

Robotok engedélyezése a robots.txt fájlban: lépésről lépésre#

A robots.txt egyszerű szöveges fájl a webhely gyökérkönyvtárában, amely például a https://example.com/robots.txt címen érhető el. A robotok feltérképezés előtt elolvassák, és követik az utasításait, a felhasználói kérésre történő látogatások fent ismertetett kivételeivel együtt.

1. Nyissa meg a meglévő fájlt. Írja be webhelye címét a böngészőbe, majd adja hozzá a /robots.txt útvonalat. Nézze meg, mi van már a fájlban, és nem tiltja-e le véletlenül a szükséges robotokat egy Disallow: / sor. Keressen korlátozott területekre vonatkozó Disallow: sorokat is — például fiókoldalakhoz, fizetési oldalakhoz vagy az adminisztrációs felülethez: ezekre a következő lépésben is szüksége lesz.
2. Adjon hozzá egy csoportot az asszisztensek keresőrobotjaihoz. Minden csoport megadja a robot nevét és a hozzáférési szabályokat. A feltérképezés engedélyezéséhez használja az Allow: / sort. A robot abban a csoportban megadott szabályokat követi, amely külön feltünteti a nevét; az általános User-agent: * csoportból nem vesz át szabályokat. A kizárólag a User-agent: * csoportban szereplő korlátozások nem vonatkoznak erre a robotra. Ha vannak korlátozott területei, ismételje meg ugyanazokat a Disallow: sorokat minden új csoportban, különben ezek a területek megnyílnak a robot előtt.
3. A tanítórobotokról külön döntsön. Ha nem szeretné, hogy a szöveget tanításra használják, állítsa be a Disallow: / szabályt a GPTBot és a ClaudeBot számára. Ez nem befolyásolja a keresési láthatóságot.
4. Mentse a fájlt a webhely gyökérkönyvtárába, majd ellenőrizze, hogy megnyílik-e a /robots.txt címen. Ha vannak aldomainjei (például blog.example.com), mindegyiknek külön fájlra van szüksége — a robotok az adott aldomainhez tartozó fájlt olvassák.

A példa másolása előtt ellenőrizze a korlátozott területek szabályait. Ha a Disallow: /dashboard/ szabály csak a User-agent: * csoportban szerepel, nem vonatkozik az OAI-SearchBot robotra, amelynek külön csoportja van. Sorolja fel a korlátozott útvonalakat minden olyan csoportban, amelyben engedélyezi a robot feltérképezését.

Az alábbi példában az asszisztensek keresőrobotjai engedélyezettek, de a korlátozott /dashboard/ terület közvetlenül az ő csoportjaikban van letiltva; a tanítórobotok teljesen le vannak tiltva. A tanítórobotok letiltása nem kötelező — Ön dönt erről, és a korlátozott útvonalak listáját a sajátjaira kell cserélnie.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Az OpenAI és a Perplexity dokumentációja szerint rendszereiknek körülbelül egy napra lehet szükségük ahhoz, hogy figyelembe vegyék a robots.txt változásait. Ne várjon azonnali hatást a fájl mentése után.

Hogy néz ki mindez egy működő webhelyen?#

A bemutatott robots.txt-beállításban az asszisztensrobotok nevei — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended és mások — egy csoportba kerülnek. Alattuk szerepel az Allow: /, valamint a korlátozott területekre vonatkozó, az általános User-agent: * csoportéval megegyező Disallow: sorok: /dashboard/, /admin/, /login, /account/, /order/ és mások. A sitemap URL-jei a fájl végén, a Sitemap: direktívával vannak felsorolva.

A korlátozásokat megismétlik az asszisztensrobotok csoportjában is, hogy a korlátozott területek előttük is zárva maradjanak. Bármelyik webhely /robots.txt fájlját megnyithatja, és megnézheti a beállításait — a fájl mindig nyilvános.

Mi segít még a robotoknak a webhely megértésében?#

Még ha a feltérképezés engedélyezett is, előfordulhat, hogy a robot nem jut hozzá az oldal tartalmához. A hozzáférési szabályokon túl ellenőrizze azt is, hogyan jeleníti meg a webhely a szöveget, és hogyan segíti az embereket a tartalom megtalálásában.

• A szöveg azonnal elérhető. Ha szkriptek jelenítik meg az oldal tartalmát a böngészőben, egyes robotok üres vázat látnak. Az ellenőrzéshez nyissa meg az oldalt, válassza az „oldal forrásának megtekintése” lehetőséget, majd keressen rá a szövegére. Ha ott nem található, és csak a normál oldalnézetben jelenik meg, vizsgálja meg, hogyan szolgáltatja a webhely az oldalt.
• Van webhelytérkép. A sitemap.xml fájl az összes oldal listáját tartalmazza. Segít a robotoknak, hogy ne hagyjanak ki tartalmat. Adjon hozzá egy rá mutató hivatkozást a robots.txt fájlhoz egy Sitemap: sorral.
• A válasz világos az emberek számára. Az asszisztensek robotjai olyan oldalakat keresnek, amelyek megválaszolnak egy kérdést. A világos cím, az elején szereplő rövid válasz és az őszinte megfogalmazás hatásosabb, mint egy kulcsszólista.

Miért lehet láthatatlan egy webhely az AI számára?#

Ha webhelye nem jelenik meg a válaszokban, ellenőrizze a lehetséges hozzáférési akadályokat.

• A robotot letiltja a robots.txt. A fájl néha olyan általános korlátozást tartalmaz, amely letiltja a szükséges robotokat. Ellenőrizze, szerepel-e Disallow: / olyan csoportban, amely az asszisztensrobotokra vonatkozik.
• A szöveg böngésző nélkül nem látható. Ha a tartalmat szkriptek állítják elő, előfordulhat, hogy a robot nem kapja meg. A forráskód ellenőrzését fentebb ismertettük.
• A webhely biztonsági rendszere blokkolja a robotokat. Sok webhely használ védelmet a nem kívánt forgalom ellen — például Cloudflare-t. Ez a robots.txt beállításaitól függetlenül is blokkolhatja a hozzáférést. A robots.txt fájlban szabályozhatja, hogy a robot merre járhat, a webhely biztonsági rendszere pedig azt dönti el, átengedi-e a kérését. A Perplexity azt javasolja, hogy a biztonsági beállításokban manuálisan engedélyezze a robotokat a user-agent nevük és közzétett IP-címük alapján. A feltérképezési szabályokat a robots.txt fájlban állítsa be: az Anthropic külön figyelmeztet arra, hogy a robotok kizárólag IP-cím szerinti blokkolása nem megbízható. Ha hasonló szolgáltatást használ, ellenőrizze annak beállításait.

Egyenként ellenőrizze az okokat: kezdje a robots.txt fájllal, majd nézze meg az oldal forráskódját, végül ellenőrizze a biztonsági beállításokat. Önmagában az, hogy ezek az akadályok nincsenek jelen, nem garantálja, hogy webhelye megjelenik a válaszokban.

Hogyan ellenőrizheti, hogy egy robot elérte-e az oldalt?#

Ez az ellenőrzés segít felmérni a webhely hozzáférhetőségét, és megkeresni a robotok látogatásainak nyomait.

• Nyissa meg böngészőben a https://example.com/robots.txt címet — a fájlnak meg kell nyílnia, és tartalmaznia kell a szükséges csoportokat.
• Nyissa meg a webhelytérképet a https://example.com/sitemap.xml címen — meg kell nyílnia, és fel kell sorolnia az oldalakat.
• Tekintse meg egy fontos oldal forráskódját, és keresse meg benne a szövegét.
• Ha hozzáfér a szervernaplókhoz, keressen rájuk a robotok nevei alapján — például OAI-SearchBot, PerplexityBot és mások. Látogatásaik a user-agent alapján láthatók.

Az ellenőrzésből nem derül ki, hogy az asszisztens éppen az Ön oldalát választja-e. Ez a felhasználó kérdésétől és attól függ, mennyire jól válaszol rá az oldal.

Mit nem garantálnak a beállítások#

A webhelyhez való hozzáférés és az, hogy megjelenik-e egy asszisztens válaszában, két különböző eredmény. Ezeknek a beállításoknak vannak korlátai.

• Az idézést semmi sem garantálja. A nyílt hozzáférés csupán lehetőséget ad a robotnak, hogy elolvassa webhelyét. Az asszisztens dönti el — a kérdés alapján —, hogy idézi-e Önt.
• Senki sem ígér rangsorolást vagy forgalmat. A robots.txt beállítása megnyitja a hozzáférést, de nem biztosít helyet a keresési találatok között.
• Egyes robotok figyelmen kívül hagyhatják a fájl szabályait. Ez azokra a robotokra vonatkozik, amelyek közvetlen felhasználói kérésre látogatnak el egy oldalra — például az OpenAI ChatGPT-User és a Perplexity Perplexity-User robotjára.
• A szabályok változnak. A fejlesztők módosítják a robotok neveit és feltételeit. Érdemes néhány havonta ellenőrizni a dokumentációt; a hivatkozások a cikk végén találhatók.

Ön szabályozza a hozzáférést és a webhely minőségét, de az asszisztens dönti el, hogy feltüntet-e egy hivatkozást. Ezeknek a beállításoknak az a célja, hogy hasznos oldala elérhető legyen keresésre és olvasásra, anélkül, hogy megpróbálná „becsapni” az asszisztenst.

Mi a következő lépés?#

Nyissa meg a robots.txt fájlt, adja hozzá az asszisztensek keresőrobotjait, majd ellenőrizze a webhelytérképet és a szöveg elérhetőségét. Ha a biztonsági rendszer blokkolja a hozzáférést, annak beállításait is ellenőrizze. Ezekkel a lépésekkel azonosíthatja és megszüntetheti a technikai akadályokat. Ezután nézze meg magukat az oldalakat: világosan válaszolnak a közönsége konkrét kérdéseire?