# Kaip leisti ChatGPT, Claude ir Perplexity paieškos tikrintuvams pasiekti jūsų svetainę

> Paieškos ir mokymo tikrintuvų pavadinimai, visas robots.txt pavyzdys, svetainės schema, teksto prieinamumas ir citavimo apribojimai.

Source: https://ailoot.ai/blog/lt/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/lt/ai-search-crawlers-robots-txt/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-048200a4ad4e53c7ad9e07be0ccba8b50f416dbb4cfdddb393c0bf4e796eb20f


Sukūrėte svetainę ar produktą, tačiau kai kas nors paklausia „rekomenduokite šiai užduočiai skirtą paslaugą“, ChatGPT, Claude ir Perplexity jo nepamini. Verta patikrinti, ar asistentas gali perskaityti jūsų svetainę ir ar prieiga nėra užblokuota.

Nėra mygtuko, kuriuo būtų galima „patekti į dirbtinio intelekto atsakymą“, ir niekas negali garantuoti, kad būsite pacituoti. ChatGPT, Claude ir Perplexity paieškai naudoja atskirus tikrintuvus: galite leisti jiems pasiekti savo svetainę per `robots.txt`. Tada patikrinkite, ar jie gali pasiekti puslapio tekstą ir ar svetainės saugumo priemonės netrukdo.



<div class="aside" data-semantic="ailoot-docs-link" aria-label="Ailoot dokumentacija">

Praktinių instrukcijų, kaip naudotis Ailoot, rasite [dokumentacijoje](https://ailoot.ai/docs/).

</div>

## Ką reiškia „būti matomam dirbtiniam intelektui“?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Dirbtinio intelekto asistentai skirtingoms užduotims naudoja tikrintuvus: vieni renka svetaines, kad asistentas galėtų jose ieškoti, o kiti renka tekstus modeliams mokyti. Paieškos atsakymams svarbus pirmasis tipas. Galite leisti tikrintuvui pasiekti svetainę, tačiau tai nereiškia, kad asistentas privalės jus cituoti—citavimo garantuoti negali niekas.

</div>

Kai kas nors klausia ChatGPT arba Perplexity „kur galėčiau paskaityti apie X?“ arba „kurią paslaugą turėčiau pasirinkti?“, asistentas kartais ieško žiniatinklyje ir pateikia nuorodų į puslapius. Kad jūsų puslapis patektų į galimų rezultatų sąrašą, asistento tikrintuvas turi jį perskaityti ir jam neturi būti uždrausta prieiga.

Savo svetainėje patikrinkite tris dalykus:

- tikrintuvas gali pasiekti svetainę: jo neblokuoja `robots.txt`, o saugumo priemonės netrukdo prieigai;
- tikrintuvas mato puslapio tekstą, o ne tuščią karkasą, kurį užpildo naršyklė;
- puslapis sąžiningai ir aiškiai atsako į konkretų klausimą, o ne pakeičia atsakymą raktinių žodžių sąrašu.

Pradėkite nuo prieigos: jei tikrintuvas negali perskaityti puslapio, jis negaus ir jame esančio naudingo teksto.

## Kuo paieškos tikrintuvas skiriasi nuo mokymo tikrintuvo?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Kiekvienas didelis asistentas turi skirtingas užduotis atliekančių tikrintuvų. Paieškos tikrintuvas renka svetaines, kad jos galėtų būti rodomos asistento atsakymuose ir paieškos rezultatuose. Mokymo tikrintuvas renka tekstus modeliui mokyti. Šie nustatymai nepriklauso vienas nuo kito: galite leisti paieškos tikrintuvui prieigą, o mokymo tikrintuvą užblokuoti.

</div>

Prieigą reikia leisti arba blokuoti atskirai kiekvienam tikrintuvui. Bendras sprendimas „įleisti dirbtinį intelektą į svetainę“ neatsižvelgia į skirtingas jų užduotis.

- **Paieškos tikrintuvas** leidžia jūsų puslapiams būti rodomiems asistento atsakymuose, kai naudotojas ko nors klausia. Leiskite jam prieigą, jei norite, kad jūsų svetainė būtų pasiekiama paieškoje.
- **Mokymo tikrintuvas** renka tekstus, kurie gali būti naudojami mokant būsimas modelio versijas. Ar leisti jam prieigą, sprendžiate jūs; tai tiesiogiai neturi įtakos tam, ar būsite rodomi dabartiniuose paieškos atsakymuose.

OpenAI dokumentacijoje pateiktas pavyzdys: galite leisti paieškos tikrintuvui tikrinti jūsų svetainę, o mokymo tikrintuvą užblokuoti, kad svetainės tekstas nebūtų naudojamas mokymui. Šie du nustatymai tame pačiame faile konfigūruojami atskirai.

## Kaip vadinasi ChatGPT, Claude ir Perplexity tikrintuvai?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

OpenAI paieškos tikrintuvas yra OAI-SearchBot, mokymo tikrintuvas – GPTBot, o ChatGPT-User apsilanko naudotojo prašymu. Anthropic naudoja Claude-SearchBot (paieška), ClaudeBot (mokymas) ir Claude-User (naudotojo prašymu). Perplexity naudoja PerplexityBot (paieška) ir Perplexity-User (naudotojo prašymu). Google turi atskirą Google-Extended žymą, kuri valdo svetainės turinio naudojimą generatyviniam dirbtiniam intelektui.

</div>

Norint konfigūruoti prieigą, reikia tikslių tikrintuvų pavadinimų (user-agent), kuriuos nurodysite faile `robots.txt`. Lentelėje pateikti pavadinimai ir paskirtys pagal oficialią kiekvieno kūrėjo dokumentaciją 2026 m. rugsėjo mėn.

| Tikrintuvas (user-agent) arba žyma | Priklauso | Ką daro | Leisti, kad būtumėte matomi? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Rodo svetaines ChatGPT paieškoje | Taip |
| `GPTBot` | OpenAI | Renka tekstus modeliams mokyti | Spręskite patys |
| `ChatGPT-User` | OpenAI | Apsilanko puslapyje naudotojo prašymu | Paprastai taip |
| `Claude-SearchBot` | Anthropic | Indeksuoja svetaines, kad pagerintų paieškos kokybę | Taip |
| `ClaudeBot` | Anthropic | Renka tekstus modeliams mokyti | Spręskite patys |
| `Claude-User` | Anthropic | Apsilanko puslapyje Claude naudotojo prašymu | Paprastai taip |
| `PerplexityBot` | Perplexity | Rodo svetaines ir pateikia į jas nuorodas paieškoje | Taip |
| `Perplexity-User` | Perplexity | Apsilanko naudotojo prašymu | Paprastai taip |
| `Google-Extended` | Google | Žyma, valdanti svetainės turinio naudojimą Google generatyviniam dirbtiniam intelektui | Spręskite patys |

`ChatGPT-User`, `Claude-User` ir `Perplexity-User` tikrintuvai apsilanko puslapyje žmogaus prašymu pokalbio metu, tačiau kiekvienas kūrėjas taiko skirtingas prieigos taisykles. OpenAI nurodo, kad `robots.txt` taisyklės gali būti netaikomos `ChatGPT-User`. Perplexity teigia, kad `Perplexity-User` paprastai jų nepaiso, nes apsilankymą inicijavo naudotojas. Anthropic valdo `Claude-User` prieigą per `robots.txt`: jei jį ten užblokuosite, Claude negaus puslapių atsakydamas į naudotojų prašymus. Paieškos tikrintuvų prieiga konfigūruojama atskirai.

`Google-Extended` neturi atskiros user-agent eilutės, kai tikrina svetaines—tai tik valdymo žyma faile `robots.txt`. Ji nurodo, ar jūsų turinys gali būti naudojamas Google generatyviniam dirbtiniam intelektui, ir neturi įtakos įprastai Google paieškai.

Jei norite sukurti aiškios struktūros svetainę su lengvai pasiekiamu tekstu, apgalvokite, kaip išdėstyti informaciją.



## Kaip leisti tikrintuvus faile robots.txt: žingsnis po žingsnio

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Failas robots.txt yra svetainės šakniniame kataloge ir nustato tikrintuvų prieigos taisykles. Norėdami leisti asistentų paieškos tikrintuvams prieigą, pridėkite jų user-agent pavadinimus su leidimu tikrinti svetainę. Kiekvienam padomeniui reikia atskiro failo.

</div>

`robots.txt` yra paprastas tekstinis failas jūsų svetainės šakniniame kataloge, pasiekiamas tokiu adresu kaip `https://example.com/robots.txt`. Tikrintuvai jį perskaito prieš tikrindami svetainę ir vadovaujasi jo instrukcijomis, išskyrus pirmiau aprašytus apsilankymus naudotojo prašymu.

1.  **Atidarykite dabartinį failą.** Naršyklėje įveskite savo svetainės adresą ir pridėkite `/robots.txt`. Patikrinkite, kas faile jau yra ir ar reikalingi tikrintuvai netyčia nebuvo užblokuoti eilute `Disallow: /`. Taip pat paieškokite `Disallow:` eilučių, skirtų apribotoms sritims—paskyrų puslapiams, mokėjimo puslapiams, administravimo sričiai: jų prireiks kitame žingsnyje.
2.  **Pridėkite grupę asistentų paieškos tikrintuvams.** Kiekvienoje grupėje nurodomas tikrintuvo pavadinimas ir prieigos taisyklės. Norėdami leisti tikrinti svetainę, naudokite `Allow: /`. Tikrintuvas vadovaujasi tos grupės taisyklėmis, kurioje jo pavadinimas nurodytas atskirai; jis neperima taisyklių iš bendrosios grupės `User-agent: *`. Tik šioje bendrojoje grupėje `User-agent: *` pateikti apribojimai tam tikrintuvui negalioja. Jei turite apribotų sričių, pakartokite tas pačias `Disallow:` eilutes kiekvienoje naujoje grupėje, kitaip jos bus prieinamos tam tikrintuvui.
3.  **Atskirai nuspręskite dėl mokymo tikrintuvų.** Jei nenorite, kad tekstas būtų naudojamas mokymui, nustatykite `Disallow: /` tikrintuvams `GPTBot` ir `ClaudeBot`. Tai neturės įtakos matomumui paieškoje.
4.  **Išsaugokite failą svetainės šakniniame kataloge** ir patikrinkite, ar jis atidaromas adresu `/robots.txt`. Jei turite padomenių (pavyzdžiui, `blog.example.com`), kiekvienam reikia atskiro failo—tikrintuvai skaito kiekvienam padomeniui priklausantį failą.

Prieš kopijuodami pavyzdį, patikrinkite apribojimus apribotose srityse. Jei `Disallow: /dashboard/` paliksite tik grupėje `User-agent: *`, jis nebus taikomas `OAI-SearchBot`, kuris turi savo grupę. Nurodykite apribotus kelius kiekvienoje grupėje, kurioje leidžiate tikrintuvui tikrinti svetainę.

Toliau pateiktame pavyzdyje asistentų paieškos tikrintuvams leidžiama tikrinti svetainę, tačiau apribota sritis `/dashboard/` tiesiogiai užblokuojama jų grupėse; mokymo tikrintuvai užblokuojami visiškai. Mokymo tikrintuvus blokuoti neprivaloma—tai jūsų sprendimas, o apribotų kelių sąrašą turėtumėte pakeisti savu.

```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```

Remiantis OpenAI ir Perplexity dokumentacija, jų sistemoms gali prireikti maždaug dienos, kad jos atsižvelgtų į `robots.txt` pakeitimus. Išsaugoję failą nesitikėkite greito rezultato.

## Kaip tai atrodo veikiančioje svetainėje?

Aprašytame `robots.txt` nustatymų pavyzdyje asistentų tikrintuvų pavadinimai—`GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` ir kiti—sugrupuoti į vieną grupę. Po jais pateikiami `Allow: /` ir tokios pačios apribotų sričių `Disallow:` eilutės kaip bendrojoje grupėje `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` ir kitos. Svetainių schemų URL adresai failo pabaigoje nurodomi naudojant direktyvą `Sitemap:`.

Apribojimai pakartojami asistentų tikrintuvų grupėje, kad jiems taip pat būtų užblokuotos apribotos sritys. Galite atidaryti bet kurios svetainės `/robots.txt` ir pamatyti jos konfigūraciją—šis failas visada viešas.

## Kas dar padeda tikrintuvams suprasti svetainę?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Sukonfigūravę prieigą patikrinkite, ar puslapio tekstas matomas nepaleidus naršyklės scenarijų, ar yra failas sitemap.xml ir ar pats atsakymas aiškus.

</div>

Net jei tikrinti leidžiama, tikrintuvas gali negauti puslapio turinio. Be prieigos taisyklių, patikrinkite, kaip svetainė pateikia tekstą ir padeda žmonėms rasti turinį.

- **Tekstas pasiekiamas iš karto.** Jei scenarijai naršyklėje sugeneruoja puslapio turinį, kai kurie tikrintuvai matys tuščią karkasą. Norėdami tai patikrinti, atidarykite puslapį, pasirinkite „peržiūrėti puslapio šaltinį“ ir suraskite savo tekstą. Jei jo šaltinyje nėra ir jis pasirodo tik įprastame puslapio vaizde, reikėtų išsiaiškinti, kaip puslapis pateikiamas.
- **Yra svetainės schema.** Failas `sitemap.xml` – tai visų jūsų puslapių sąrašas. Jis padeda tikrintuvams nepraleisti turinio. Pridėkite nuorodą į jį faile `robots.txt`, įrašydami eilutę `Sitemap:`.
- **Atsakymas aiškus žmogui.** Asistentų tikrintuvai ieško puslapių, atsakančių į klausimą. Aiški antraštė, trumpas atsakymas pradžioje ir sąžiningos formuluotės veikia geriau nei raktinių žodžių sąrašas.

## Kodėl svetainė gali būti nematoma dirbtiniam intelektui?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Verta patikrinti tris galimas priežastis: tikrintuvas užblokuotas robots.txt faile, tekstas generuojamas scenarijais ir nematomas be naršyklės arba svetainės saugumo priemonės blokuoja tikrintuvus. Pirmuoju atveju patikrinkite failą; antruoju – kaip pateikiami puslapiai; trečiuoju – saugumo nustatymus.

</div>

Jei jūsų svetainė nerodoma atsakymuose, patikrinkite šias galimas prieigos kliūtis.

- **Tikrintuvas užblokuotas faile `robots.txt`.** Kartais faile yra bendras apribojimas, blokuojantis reikalingus tikrintuvus. Patikrinkite, ar asistentų tikrintuvams taikomoje grupėje nėra `Disallow: /`.
- **Tekstas nematomas be naršyklės.** Jei turinį generuoja scenarijai, tikrintuvas gali jo negauti. Šaltinio kodo tikrinimas aprašytas pirmiau.
- **Svetainės saugumo priemonės blokuoja tikrintuvus.** Daugelis svetainių naudoja apsaugą nuo nepageidaujamo srauto, pavyzdžiui, Cloudflare. Ji gali blokuoti prieigą nepriklausomai nuo `robots.txt`. `robots.txt` nustato, kur tikrintuvas gali lankytis, o svetainės saugumas sprendžia, ar praleisti jo užklausą. Perplexity rekomenduoja saugumo nustatymuose rankiniu būdu leisti tikrintuvus pagal jų user-agent pavadinimus ir paskelbtus IP adresus. Tikrinimo taisykles nustatykite per `robots.txt`: Anthropic atskirai įspėja, kad blokuoti tikrintuvus vien pagal IP adresą nepatikima. Jei naudojate panašią paslaugą, peržiūrėkite jos nustatymus.

Galimas priežastis tikrinkite po vieną: pradėkite nuo `robots.txt`, tada peržiūrėkite puslapio šaltinio kodą ir galiausiai saugumo nustatymus. Vien tai, kad šių kliūčių nėra, negarantuoja, kad jūsų svetainė bus rodoma atsakymuose.

## Kaip patikrinti, ar tikrintuvas pasiekė puslapį?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Pagrindinė skyriaus mintis">

Pagrindinė mintis

Nėra tiesioginio skaitiklio, rodančio „buvau pacituotas“. Tačiau galite patikrinti pagrindinius dalykus: ar atidaromas robots.txt, ar tekstas matomas šaltinio kode ir ar pasiekiama svetainės schema. Tikrintuvų apsilankymus pagal jų user-agent galima matyti serverio žurnaluose.

</div>

Šis patikrinimas padeda įvertinti svetainės pasiekiamumą ir rasti tikrintuvų apsilankymų įrašus.

- Atidarykite naršyklėje `https://example.com/robots.txt`—failas turėtų atsidaryti ir jame turėtų būti reikiamos grupės.
- Atidarykite svetainės schemą adresu `https://example.com/sitemap.xml`—ji turėtų atsidaryti ir pateikti puslapių sąrašą.
- Peržiūrėkite svarbaus puslapio šaltinio kodą ir jame raskite savo tekstą.
- Jei turite prieigą prie serverio žurnalų, ieškokite tikrintuvų pavadinimų—`OAI-SearchBot`, `PerplexityBot` ir kitų. Jų apsilankymai matomi pagal user-agent.

Patikrinimas neparodys, ar asistentas pasirinks būtent jūsų puslapį. Tai priklauso nuo naudotojo klausimo ir nuo to, kaip gerai puslapis į jį atsako.

## Ko šie nustatymai negarantuoja

Prieiga prie jūsų svetainės ir jos pasirodymas asistento atsakyme yra skirtingi rezultatai. Šie nustatymai turi apribojimų.

- **Citavimas negarantuojamas.** Atvira prieiga tik suteikia tikrintuvui galimybę perskaityti jūsų svetainę. Ar asistentas jus cituos, sprendžia jis pats, atsižvelgdamas į klausimą.
- **Niekas nežada aukštų pozicijų ar srauto.** `robots.txt` nustatymas atveria prieigą, bet neužtikrina vietos paieškos rezultatuose.
- **Kai kurie tikrintuvai gali nepaisyti failo taisyklių.** Tai taikoma kai kuriems tikrintuvams, kurie apsilanko tiesioginiu naudotojo prašymu—pavyzdžiui, OpenAI `ChatGPT-User` ir Perplexity `Perplexity-User`.
- **Taisyklės keičiasi.** Kūrėjai atnaujina tikrintuvų pavadinimus ir sąlygas. Verta kas kelis mėnesius peržiūrėti dokumentaciją; nuorodos pateiktos pabaigoje.

Jūs valdote prieigą ir svetainės kokybę, tačiau asistentas nusprendžia, ar įtraukti nuorodą. Šiais nustatymais siekiama padaryti naudingą puslapį prieinamą paieškai ir skaitymui, nesistengiant asistento „apgauti“.

## Kas toliau

Atidarykite `robots.txt`, pridėkite asistentų paieškos tikrintuvus ir patikrinkite svetainės schemą bei teksto prieinamumą. Jei prieigą blokuoja saugumo priemonės, peržiūrėkite ir jų nustatymus. Šie veiksmai padeda nustatyti ir pašalinti technines kliūtis. Tada patikrinkite pačius puslapius: ar juose aiškiai atsakoma į konkrečius jūsų auditorijos klausimus?

<div class="section" role="doc-bibliography" aria-label="Šaltiniai">

### Šaltiniai

- [OpenAI: tikrintuvų apžvalga (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: Claude tikrintuvai ir prieigos valdymas](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: tikrintuvai ir svetainės saugumo nustatymai](https://docs.perplexity.ai/guides/bots)
- [Google: tikrintuvų apžvalga ir Google-Extended žyma](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

</div>







<div class="aside" data-semantic="ailoot-link" aria-label="Ailoot">

Toliau susipažinkite su Ailoot svetainėje [ailoot.ai](https://ailoot.ai/).

</div>

## Klausimai ir atsakymai

### Kodėl pridėjus vardinę paieškos roboto grupę gali atsiverti keliai, uždrausti User-agent: *?

Robotas, kuriam yra atitinkanti vardinė grupė, naudoja jos taisykles ir nepaveldi bendrosios grupės taisyklių. Kiekvienoje leidžiamoje vardinėje grupėje pakartokite reikalingas ribojamų kelių Disallow taisykles.

### Ar leidus paieškos robotą asistentas garantuotai cituos mano puslapį?

Ne. Patikrinkite robots.txt, puslapio šaltinio tekstą, svetainės žemėlapio prieinamumą ir prieigos įrodymus serverio žurnaluose. Šios patikros patvirtina prieinamumą ar apsilankymus, o ne tai, kad asistentas pasirinks puslapį atsakymui.


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.