Kaip leisti ChatGPT, Claude ir Perplexity paieškos tikrintuvams pasiekti jūsų svetainę

Sukūrėte svetainę ar produktą, tačiau kai kas nors paklausia „rekomenduokite šiai užduočiai skirtą paslaugą“, ChatGPT, Claude ir Perplexity jo nepamini. Verta patikrinti, ar asistentas gali perskaityti jūsų svetainę ir ar prieiga nėra užblokuota.

Nėra mygtuko, kuriuo būtų galima „patekti į dirbtinio intelekto atsakymą“, ir niekas negali garantuoti, kad būsite pacituoti. ChatGPT, Claude ir Perplexity paieškai naudoja atskirus tikrintuvus: galite leisti jiems pasiekti savo svetainę per robots.txt. Tada patikrinkite, ar jie gali pasiekti puslapio tekstą ir ar svetainės saugumo priemonės netrukdo.

Ką reiškia „būti matomam dirbtiniam intelektui“?#

Kai kas nors klausia ChatGPT arba Perplexity „kur galėčiau paskaityti apie X?“ arba „kurią paslaugą turėčiau pasirinkti?“, asistentas kartais ieško žiniatinklyje ir pateikia nuorodų į puslapius. Kad jūsų puslapis patektų į galimų rezultatų sąrašą, asistento tikrintuvas turi jį perskaityti ir jam neturi būti uždrausta prieiga.

Savo svetainėje patikrinkite tris dalykus:

• tikrintuvas gali pasiekti svetainę: jo neblokuoja robots.txt, o saugumo priemonės netrukdo prieigai;
• tikrintuvas mato puslapio tekstą, o ne tuščią karkasą, kurį užpildo naršyklė;
• puslapis sąžiningai ir aiškiai atsako į konkretų klausimą, o ne pakeičia atsakymą raktinių žodžių sąrašu.

Pradėkite nuo prieigos: jei tikrintuvas negali perskaityti puslapio, jis negaus ir jame esančio naudingo teksto.

Kuo paieškos tikrintuvas skiriasi nuo mokymo tikrintuvo?#

Prieigą reikia leisti arba blokuoti atskirai kiekvienam tikrintuvui. Bendras sprendimas „įleisti dirbtinį intelektą į svetainę“ neatsižvelgia į skirtingas jų užduotis.

• Paieškos tikrintuvas leidžia jūsų puslapiams būti rodomiems asistento atsakymuose, kai naudotojas ko nors klausia. Leiskite jam prieigą, jei norite, kad jūsų svetainė būtų pasiekiama paieškoje.
• Mokymo tikrintuvas renka tekstus, kurie gali būti naudojami mokant būsimas modelio versijas. Ar leisti jam prieigą, sprendžiate jūs; tai tiesiogiai neturi įtakos tam, ar būsite rodomi dabartiniuose paieškos atsakymuose.

OpenAI dokumentacijoje pateiktas pavyzdys: galite leisti paieškos tikrintuvui tikrinti jūsų svetainę, o mokymo tikrintuvą užblokuoti, kad svetainės tekstas nebūtų naudojamas mokymui. Šie du nustatymai tame pačiame faile konfigūruojami atskirai.

Kaip vadinasi ChatGPT, Claude ir Perplexity tikrintuvai?#

Norint konfigūruoti prieigą, reikia tikslių tikrintuvų pavadinimų (user-agent), kuriuos nurodysite faile robots.txt. Lentelėje pateikti pavadinimai ir paskirtys pagal oficialią kiekvieno kūrėjo dokumentaciją 2026 m. rugsėjo mėn.

ChatGPT-User, Claude-User ir Perplexity-User tikrintuvai apsilanko puslapyje žmogaus prašymu pokalbio metu, tačiau kiekvienas kūrėjas taiko skirtingas prieigos taisykles. OpenAI nurodo, kad robots.txt taisyklės gali būti netaikomos ChatGPT-User. Perplexity teigia, kad Perplexity-User paprastai jų nepaiso, nes apsilankymą inicijavo naudotojas. Anthropic valdo Claude-User prieigą per robots.txt: jei jį ten užblokuosite, Claude negaus puslapių atsakydamas į naudotojų prašymus. Paieškos tikrintuvų prieiga konfigūruojama atskirai.

Google-Extended neturi atskiros user-agent eilutės, kai tikrina svetaines—tai tik valdymo žyma faile robots.txt. Ji nurodo, ar jūsų turinys gali būti naudojamas Google generatyviniam dirbtiniam intelektui, ir neturi įtakos įprastai Google paieškai.

Jei norite sukurti aiškios struktūros svetainę su lengvai pasiekiamu tekstu, apgalvokite, kaip išdėstyti informaciją.

Kaip leisti tikrintuvus faile robots.txt: žingsnis po žingsnio#

robots.txt yra paprastas tekstinis failas jūsų svetainės šakniniame kataloge, pasiekiamas tokiu adresu kaip https://example.com/robots.txt. Tikrintuvai jį perskaito prieš tikrindami svetainę ir vadovaujasi jo instrukcijomis, išskyrus pirmiau aprašytus apsilankymus naudotojo prašymu.

1. Atidarykite dabartinį failą. Naršyklėje įveskite savo svetainės adresą ir pridėkite /robots.txt. Patikrinkite, kas faile jau yra ir ar reikalingi tikrintuvai netyčia nebuvo užblokuoti eilute Disallow: /. Taip pat paieškokite Disallow: eilučių, skirtų apribotoms sritims—paskyrų puslapiams, mokėjimo puslapiams, administravimo sričiai: jų prireiks kitame žingsnyje.
2. Pridėkite grupę asistentų paieškos tikrintuvams. Kiekvienoje grupėje nurodomas tikrintuvo pavadinimas ir prieigos taisyklės. Norėdami leisti tikrinti svetainę, naudokite Allow: /. Tikrintuvas vadovaujasi tos grupės taisyklėmis, kurioje jo pavadinimas nurodytas atskirai; jis neperima taisyklių iš bendrosios grupės User-agent: *. Tik šioje bendrojoje grupėje User-agent: * pateikti apribojimai tam tikrintuvui negalioja. Jei turite apribotų sričių, pakartokite tas pačias Disallow: eilutes kiekvienoje naujoje grupėje, kitaip jos bus prieinamos tam tikrintuvui.
3. Atskirai nuspręskite dėl mokymo tikrintuvų. Jei nenorite, kad tekstas būtų naudojamas mokymui, nustatykite Disallow: / tikrintuvams GPTBot ir ClaudeBot. Tai neturės įtakos matomumui paieškoje.
4. Išsaugokite failą svetainės šakniniame kataloge ir patikrinkite, ar jis atidaromas adresu /robots.txt. Jei turite padomenių (pavyzdžiui, blog.example.com), kiekvienam reikia atskiro failo—tikrintuvai skaito kiekvienam padomeniui priklausantį failą.

Prieš kopijuodami pavyzdį, patikrinkite apribojimus apribotose srityse. Jei Disallow: /dashboard/ paliksite tik grupėje User-agent: *, jis nebus taikomas OAI-SearchBot, kuris turi savo grupę. Nurodykite apribotus kelius kiekvienoje grupėje, kurioje leidžiate tikrintuvui tikrinti svetainę.

Toliau pateiktame pavyzdyje asistentų paieškos tikrintuvams leidžiama tikrinti svetainę, tačiau apribota sritis /dashboard/ tiesiogiai užblokuojama jų grupėse; mokymo tikrintuvai užblokuojami visiškai. Mokymo tikrintuvus blokuoti neprivaloma—tai jūsų sprendimas, o apribotų kelių sąrašą turėtumėte pakeisti savu.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Remiantis OpenAI ir Perplexity dokumentacija, jų sistemoms gali prireikti maždaug dienos, kad jos atsižvelgtų į robots.txt pakeitimus. Išsaugoję failą nesitikėkite greito rezultato.

Kaip tai atrodo veikiančioje svetainėje?#

Aprašytame robots.txt nustatymų pavyzdyje asistentų tikrintuvų pavadinimai—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended ir kiti—sugrupuoti į vieną grupę. Po jais pateikiami Allow: / ir tokios pačios apribotų sričių Disallow: eilutės kaip bendrojoje grupėje User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ ir kitos. Svetainių schemų URL adresai failo pabaigoje nurodomi naudojant direktyvą Sitemap:.

Apribojimai pakartojami asistentų tikrintuvų grupėje, kad jiems taip pat būtų užblokuotos apribotos sritys. Galite atidaryti bet kurios svetainės /robots.txt ir pamatyti jos konfigūraciją—šis failas visada viešas.

Kas dar padeda tikrintuvams suprasti svetainę?#

Net jei tikrinti leidžiama, tikrintuvas gali negauti puslapio turinio. Be prieigos taisyklių, patikrinkite, kaip svetainė pateikia tekstą ir padeda žmonėms rasti turinį.

• Tekstas pasiekiamas iš karto. Jei scenarijai naršyklėje sugeneruoja puslapio turinį, kai kurie tikrintuvai matys tuščią karkasą. Norėdami tai patikrinti, atidarykite puslapį, pasirinkite „peržiūrėti puslapio šaltinį“ ir suraskite savo tekstą. Jei jo šaltinyje nėra ir jis pasirodo tik įprastame puslapio vaizde, reikėtų išsiaiškinti, kaip puslapis pateikiamas.
• Yra svetainės schema. Failas sitemap.xml – tai visų jūsų puslapių sąrašas. Jis padeda tikrintuvams nepraleisti turinio. Pridėkite nuorodą į jį faile robots.txt, įrašydami eilutę Sitemap:.
• Atsakymas aiškus žmogui. Asistentų tikrintuvai ieško puslapių, atsakančių į klausimą. Aiški antraštė, trumpas atsakymas pradžioje ir sąžiningos formuluotės veikia geriau nei raktinių žodžių sąrašas.

Kodėl svetainė gali būti nematoma dirbtiniam intelektui?#

Jei jūsų svetainė nerodoma atsakymuose, patikrinkite šias galimas prieigos kliūtis.

• Tikrintuvas užblokuotas faile robots.txt. Kartais faile yra bendras apribojimas, blokuojantis reikalingus tikrintuvus. Patikrinkite, ar asistentų tikrintuvams taikomoje grupėje nėra Disallow: /.
• Tekstas nematomas be naršyklės. Jei turinį generuoja scenarijai, tikrintuvas gali jo negauti. Šaltinio kodo tikrinimas aprašytas pirmiau.
• Svetainės saugumo priemonės blokuoja tikrintuvus. Daugelis svetainių naudoja apsaugą nuo nepageidaujamo srauto, pavyzdžiui, Cloudflare. Ji gali blokuoti prieigą nepriklausomai nuo robots.txt. robots.txt nustato, kur tikrintuvas gali lankytis, o svetainės saugumas sprendžia, ar praleisti jo užklausą. Perplexity rekomenduoja saugumo nustatymuose rankiniu būdu leisti tikrintuvus pagal jų user-agent pavadinimus ir paskelbtus IP adresus. Tikrinimo taisykles nustatykite per robots.txt: Anthropic atskirai įspėja, kad blokuoti tikrintuvus vien pagal IP adresą nepatikima. Jei naudojate panašią paslaugą, peržiūrėkite jos nustatymus.

Galimas priežastis tikrinkite po vieną: pradėkite nuo robots.txt, tada peržiūrėkite puslapio šaltinio kodą ir galiausiai saugumo nustatymus. Vien tai, kad šių kliūčių nėra, negarantuoja, kad jūsų svetainė bus rodoma atsakymuose.

Kaip patikrinti, ar tikrintuvas pasiekė puslapį?#

Šis patikrinimas padeda įvertinti svetainės pasiekiamumą ir rasti tikrintuvų apsilankymų įrašus.

• Atidarykite naršyklėje https://example.com/robots.txt—failas turėtų atsidaryti ir jame turėtų būti reikiamos grupės.
• Atidarykite svetainės schemą adresu https://example.com/sitemap.xml—ji turėtų atsidaryti ir pateikti puslapių sąrašą.
• Peržiūrėkite svarbaus puslapio šaltinio kodą ir jame raskite savo tekstą.
• Jei turite prieigą prie serverio žurnalų, ieškokite tikrintuvų pavadinimų—OAI-SearchBot, PerplexityBot ir kitų. Jų apsilankymai matomi pagal user-agent.

Patikrinimas neparodys, ar asistentas pasirinks būtent jūsų puslapį. Tai priklauso nuo naudotojo klausimo ir nuo to, kaip gerai puslapis į jį atsako.

Ko šie nustatymai negarantuoja#

Prieiga prie jūsų svetainės ir jos pasirodymas asistento atsakyme yra skirtingi rezultatai. Šie nustatymai turi apribojimų.

• Citavimas negarantuojamas. Atvira prieiga tik suteikia tikrintuvui galimybę perskaityti jūsų svetainę. Ar asistentas jus cituos, sprendžia jis pats, atsižvelgdamas į klausimą.
• Niekas nežada aukštų pozicijų ar srauto. robots.txt nustatymas atveria prieigą, bet neužtikrina vietos paieškos rezultatuose.
• Kai kurie tikrintuvai gali nepaisyti failo taisyklių. Tai taikoma kai kuriems tikrintuvams, kurie apsilanko tiesioginiu naudotojo prašymu—pavyzdžiui, OpenAI ChatGPT-User ir Perplexity Perplexity-User.
• Taisyklės keičiasi. Kūrėjai atnaujina tikrintuvų pavadinimus ir sąlygas. Verta kas kelis mėnesius peržiūrėti dokumentaciją; nuorodos pateiktos pabaigoje.

Jūs valdote prieigą ir svetainės kokybę, tačiau asistentas nusprendžia, ar įtraukti nuorodą. Šiais nustatymais siekiama padaryti naudingą puslapį prieinamą paieškai ir skaitymui, nesistengiant asistento „apgauti“.

Kas toliau#

Atidarykite robots.txt, pridėkite asistentų paieškos tikrintuvus ir patikrinkite svetainės schemą bei teksto prieinamumą. Jei prieigą blokuoja saugumo priemonės, peržiūrėkite ir jų nustatymus. Šie veiksmai padeda nustatyti ir pašalinti technines kliūtis. Tada patikrinkite pačius puslapius: ar juose aiškiai atsakoma į konkrečius jūsų auditorijos klausimus?