# Сайтыңызды ChatGPT, Claude және Perplexity іздеу краулерлеріне қалай ашуға болады

> Іздеу және оқытуға арналған краулерлердің атаулары, robots.txt файлының толық мысалы, сайт картасы, мәтіннің қолжетімділігі және дәйексөз келтіру шектеулері.

Source: https://ailoot.ai/blog/kk/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/kk/ai-search-crawlers-robots-txt/
Language: kk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-2989a92011eaa962a99dc5687c7bd68056141419792034f1db5b1e9c1e431b6a


Сіз веб-сайт немесе өнім жасадыңыз, бірақ біреу «осы тапсырмаға арналған қызметті ұсыныңызшы» деп сұрағанда, ChatGPT, Claude және Perplexity оны атамайды. Ассистент сайтыңызды оқи ала ма және оған кіруге тыйым салынған ба — соны тексерген жөн.

«ЖИ жауабына ену» батырмасы жоқ және ешкім дәйексөзге қосылатыныңызға кепілдік бере алмайды. ChatGPT, Claude және Perplexity іздеуге арналған бөлек краулерлерді пайдаланады: оларға `robots.txt` арқылы сайтыңызға кіруге рұқсат бере аласыз. Содан кейін олардың бет мәтініне қол жеткізе алатынын және сайтыңыздың қауіпсіздік жүйесі кедергі келтірмейтінін тексеріңіз.



<div class="aside" data-semantic="ailoot-docs-link" aria-label="Ailoot құжаттамасы">

Ailoot-пен жұмыс істеуге арналған практикалық нұсқаулар [құжаттамада](https://ailoot.ai/docs/) берілген.

</div>

## «ЖИ-ге көріну» дегеніміз не?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

ЖИ ассистенттерінің әртүрлі міндеттерге арналған краулерлері бар: кейбірі ассистент ішіндегі іздеу үшін веб-сайттарды жинайды, ал басқалары модельдерді үйрету үшін мәтін жинайды. Іздеу жауаптары үшін бірінші түрі маңызды. Краулерге кіруге рұқсат бере аласыз, бірақ бұл ассистент сізге міндетті түрде сілтеме береді дегенді білдірмейді — ешкім бұған кепілдік бере алмайды.

</div>

Біреу ChatGPT-тен немесе Perplexity-ден «X туралы қайдан оқуға болады?» немесе «қай қызметті таңдаған дұрыс?» деп сұрағанда, ассистент кейде интернеттен іздеп, беттерге сілтемелер қосады. Бетіңіз осы ықтимал нұсқалар тізіміне енуі үшін ассистенттің краулері оны оқып, оған кіруден бас тартпаған болуы керек.

Сайтыңызда мына үш нәрсені тексеріңіз:

- краулер сайтқа кіре алады: оған `robots.txt` файлында тыйым салынбаған және қауіпсіздік шаралары кіруге кедергі келтірмейді;
- краулер браузер толтыратын бос қаңқаны емес, бет мәтінін көре алады;
- бет нақты сұраққа ашық әрі түсінікті жауап береді, жауаптың орнына кілтсөздер тізімін ұсынбайды.

Алдымен қолжетімділіктен бастаңыз: егер краулер бетті оқи алмаса, ондағы пайдалы мәтінді де ала алмайды.

## Іздеу краулері оқыту краулерінен несімен ерекшеленеді?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

Әр ірі ассистенттің бөлек міндеттері бар краулерлері болады. Іздеу краулері веб-сайттарды жинап, олар ассистент жауаптары мен іздеу нәтижелерінде көрінуі үшін жұмыс істейді. Оқыту краулері модельді үйретуге арналған мәтін жинайды. Бұл параметрлер бір-бірінен тәуелсіз: іздеу краулеріне рұқсат беріп, оқыту краулеріне тыйым сала аласыз.

</div>

Әр краулерге кіруді бөлек рұқсат ету немесе бұғаттау керек. «ЖИ-ді сайтқа кіргізу» туралы жалпы шешім олардың міндеттеріндегі айырмашылықтарды ескермейді.

- **Іздеу краулері** пайдаланушы бірдеңе сұрағанда беттеріңіздің ассистент жауаптарында көрінуіне мүмкіндік береді. Сайтыңыз іздеуге қолжетімді болсын десеңіз, оған рұқсат беріңіз.
- **Оқыту краулері** модельдің келешек нұсқаларын үйретуге қолданылуы мүмкін мәтінді жинайды. Оған рұқсат беру-бермеу өз еркіңізде; бұл ағымдағы іздеу жауаптарында көрінуіңізге тікелей әсер етпейді.

OpenAI құжаттамасында мынадай мысал бар: сайтыңызды іздеу краулеріне ашып, ал оқыту краулеріне бұғаттай аласыз, сонда сайт мәтіні оқытуға пайдаланылмайды. Бұл екі параметр бір файлда бір-бірінен тәуелсіз бапталады.

## ChatGPT, Claude және Perplexity краулерлерінің атаулары қандай?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

OpenAI үшін іздеу краулері — OAI-SearchBot, оқыту краулері — GPTBot, ал ChatGPT-User пайдаланушының сұрауы бойынша кіреді. Anthropic үшін: Claude-SearchBot (іздеу), ClaudeBot (оқыту) және Claude-User (пайдаланушының сұрауы бойынша). Perplexity үшін: PerplexityBot (іздеу) және Perplexity-User (пайдаланушының сұрауы бойынша). Google-да сайт мазмұнын генеративті ЖИ үшін пайдалануды басқаратын бөлек Google-Extended токені бар.

</div>

Кіруді баптау үшін `robots.txt` ішінде көрсетілетін краулердің нақты атаулары (user-agent) қажет. Кестеде әр әзірлеушінің ресми құжаттамасына сай атаулар мен міндеттер 2026 жылғы қыркүйектегі жағдай бойынша берілген.

| Краулер (user-agent) немесе токен | Кімге тиесілі | Не істейді | Көріну үшін рұқсат беру керек пе? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Веб-сайттарды ChatGPT іздеуінде көрсетеді | Иә |
| `GPTBot` | OpenAI | Модельдерді үйрету үшін мәтін жинайды | Өзіңіз шешесіз |
| `ChatGPT-User` | OpenAI | Пайдаланушының сұрауы бойынша бетке кіреді | Әдетте иә |
| `Claude-SearchBot` | Anthropic | Іздеу сапасын жақсарту үшін веб-сайттарды индекстейді | Иә |
| `ClaudeBot` | Anthropic | Модельдерді үйрету үшін мәтін жинайды | Өзіңіз шешесіз |
| `Claude-User` | Anthropic | Claude пайдаланушысының сұрауы бойынша бетке кіреді | Әдетте иә |
| `PerplexityBot` | Perplexity | Іздеуде веб-сайттарды көрсетіп, оларға сілтеме береді | Иә |
| `Perplexity-User` | Perplexity | Пайдаланушының сұрауы бойынша бетке кіреді | Әдетте иә |
| `Google-Extended` | Google | Google генеративті ЖИ үшін сайт мазмұнын пайдалануды басқаратын токен | Өзіңіз шешесіз |

`ChatGPT-User`, `Claude-User` және `Perplexity-User` краулерлері әңгімелесу кезінде адамның сұрауы бойынша бетке кіреді, бірақ әр әзірлеушінің кіру ережелері әртүрлі. OpenAI `robots.txt` ережелері `ChatGPT-User` краулеріне қолданылмауы мүмкін дейді. Perplexity пайдаланушы өзі бастағандықтан, `Perplexity-User` бұл ережелерді әдетте елемейді дейді. Anthropic `Claude-User` краулерінің кіруін `robots.txt` арқылы басқарады: егер онда бұғаттасаңыз, Claude пайдаланушы сұрауына жауап ретінде беттерді ала алмайды. Іздеу краулерлеріне кіру бөлек бапталады.

`Google-Extended` краулерге арналған жеке user-agent жолы емес — ол `robots.txt` ішіндегі басқару токені ғана. Ол мазмұныңызды Google генеративті ЖИ үшін пайдалануға болатынын анықтайды және кәдімгі Google Search жұмысына әсер етпейді.

Құрылымы анық, мәтіні қолжетімді сайт жасағыңыз келсе, ақпаратты қалай ұйымдастыру керегін ойластырыңыз.



## robots.txt файлында краулерлерге қалай рұқсат беруге болады: қадам-қадаммен

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

robots.txt файлы сайттың түбірінде орналасып, краулерлерге арналған кіру ережелерін белгілейді. Ассистенттердің іздеу краулерлеріне рұқсат беру үшін, олардың user-agent атауларын қарап шығуға рұқсат беретін ережелермен қосыңыз. Әр қосалқы доменге жеке файл қажет.

</div>

`robots.txt` — сайт түбірінде орналасқан, `https://example.com/robots.txt` сияқты мекенжайдан ашылатын кәдімгі мәтіндік файл. Краулерлер қарап шығуды бастамас бұрын оны оқып, нұсқауларын орындайды; жоғарыда сипатталған пайдаланушы сұрауы бойынша кіру жағдайлары — бұдан тыс.

1. **Қазіргі файлыңызды ашыңыз.** Браузерге сайтыңыздың мекенжайын енгізіп, соңына `/robots.txt` қосыңыз. Файлда қазір не барын және қажет краулерлерге `Disallow: /` жолымен қателесіп тыйым салынбағанын тексеріңіз. Сондай-ақ шектеулі аймақтарға арналған `Disallow:` жолдарын — аккаунт беттерін, төлем беттерін, әкімшілік бөлімді — қарап шығыңыз: олар келесі қадамда қажет болады.
2. **Ассистенттердің іздеу краулеріне арналған топ қосыңыз.** Әр топта краулердің атауы мен кіру ережелері көрсетіледі. Қарап шығуға рұқсат беру үшін `Allow: /` қолданыңыз. Краулер өз атауы бөлек көрсетілген топтағы ережелерді орындайды; жалпы `User-agent: *` тобындағы ережелерді алмайды. Тек `User-agent: *` тобында көрсетілген шектеулер сол краулерге қолданылмайды. Шектеулі аймақтарыңыз болса, әр жаңа топта сол `Disallow:` жолдарын қайталаңыз, әйтпесе олар сол краулерге ашық болады.
3. **Оқыту краулерлері туралы шешімді бөлек қабылдаңыз.** Мәтінді оқытуға пайдалануға жол бергіңіз келмесе, `GPTBot` пен `ClaudeBot` үшін `Disallow: /` орнатыңыз. Бұл іздеуде көрінуге әсер етпейді.
4. **Файлды сайт түбіріне сақтап**, `/robots.txt` мекенжайында ашылатынын тексеріңіз. Қосалқы домендеріңіз болса (мысалы, `blog.example.com`), әрқайсысына жеке файл қажет — краулерлер әр қосалқы доменге тиесілі файлды оқиды.

Мысалды көшірмес бұрын, шектеулі аймақтарға қойылған тыйымдарды тексеріңіз. Егер `Disallow: /dashboard/` жолын тек `User-agent: *` тобында қалдырсаңыз, ол өз тобы бар `OAI-SearchBot` үшін қолданылмайды. Краулерге қарап шығуға рұқсат беретін әр топқа шектеулі жолдарды енгізіңіз.

Төмендегі мысалда ассистенттердің іздеу краулеріне рұқсат берілген, бірақ `/dashboard/` шектеулі аймағына олардың топтарында тікелей тыйым салынған; оқыту краулерлері толығымен бұғатталған. Оқыту краулерлерін бұғаттау міндетті емес — бұл сіздің шешіміңіз, ал шектеулі жолдар тізімін өз жолдарыңызбен ауыстыруыңыз керек.

```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```

OpenAI мен Perplexity құжаттамасына сәйкес, олардың жүйелеріне `robots.txt` өзгерістерін ескеруге шамамен бір күн қажет болуы мүмкін. Файлды сақтаған соң әсері бірден байқалады деп күтпеңіз.

## Бұл жұмыс істеп тұрған сайтта қалай көрінеді?

`robots.txt` баптауларының сипатталған мысалында ассистент краулерлерінің атаулары — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` және басқалары — бір топқа жинақталған. Олардың астында `Allow: /` және жалпы `User-agent: *` тобындағы шектеулі аймақтарға арналған сол `Disallow:` жолдары: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` және басқалары берілген. Файл соңында сайт картасының URL-мекенжайлары `Sitemap:` директивасымен көрсетілген.

Шектеулер ассистент краулерлері тобының ішінде қайталанады, сондықтан шектеулі аймақтар олар үшін де бұғатталады. Кез келген сайттың `/robots.txt` файлын ашып, оның қалай бапталғанын көруге болады — файл әрдайым ашық.

## Краулерлердің сайтты түсінуіне тағы не көмектеседі?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

Кіруді баптаған соң, бет мәтіні браузер скрипттерін орындамай-ақ көрінетінін, sitemap.xml файлы барын және жауаптың өзі түсінікті екенін тексеріңіз.

</div>

Қарап шығуға рұқсат берілсе де, краулер бет мазмұнын ала алмауы мүмкін. Кіру ережелеріне қоса, сайт мәтінді қалай жеткізетінін және адамдарға оның мазмұнын табуға қалай көмектесетінін тексеріңіз.

- **Мәтін бірден қолжетімді.** Егер скрипттер бет мазмұнын браузерде көрсетсе, кейбір краулерлер бос қаңқаны көреді. Тексеру үшін бетті ашып, «бет кодын көру» пәрменін таңдап, мәтініңізді іздеңіз. Ол кодта жоқ болып, тек кәдімгі бет көрінісінде пайда болса, беттің жеткізілу тәсілін тексеру керек.
- **Сайт картасы бар.** `sitemap.xml` файлы — барлық беттеріңіздің тізімі. Ол краулерлерге мазмұнды өткізіп алмауға көмектеседі. Оған `robots.txt` ішінде `Sitemap:` жолымен сілтеме қосыңыз.
- **Жауап адамға түсінікті.** Ассистенттердің краулерлері сұраққа жауап беретін беттерді іздейді. Түсінікті тақырып, басында берілген қысқа жауап пен дәл түсіндірме кілт сөздер тізімінен әлдеқайда тиімді.

## ЖИ сайтты неге көрмеуі мүмкін?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

Тексеруге тұрарлық үш себеп бар: краулерге robots.txt файлында тыйым салынған, мәтін скрипттер арқылы жасалып, браузерсіз көрінбейді немесе сайттың қауіпсіздік жүйесі краулерлерді бұғаттайды. Біріншісінде файлды, екіншісінде беттердің қалай жеткізілетінін, үшіншісінде қауіпсіздік параметрлерін тексеріңіз.

</div>

Сайтыңыз жауаптарда көрінбесе, кіруге кедергі болуы мүмкін мына себептерді тексеріңіз.

- **Краулерге `robots.txt` файлында тыйым салынған.** Кейде файлда қажет краулерлерді бұғаттайтын жалпы шектеу болады. Ассистент краулерлеріне қолданылатын топта `Disallow: /` бар-жоғын тексеріңіз.
- **Мәтін браузерсіз көрінбейді.** Мазмұнды скрипттер жасаса, краулер оны алмауы мүмкін. Бастапқы кодты тексеру жоғарыда сипатталған.
- **Сайттың қауіпсіздік жүйесі краулерлерді бұғаттайды.** Көптеген сайттар қажетсіз трафиктен қорғанады — мысалы, Cloudflare. Ол `robots.txt` ережелеріне қарамастан кіруге тыйым салуы мүмкін. Краулердің қайда бара алатынын `robots.txt` арқылы басқарасыз, ал сайттың қауіпсіздік жүйесі оның сұрауын өткізу-өткізбеуді шешеді. Perplexity қауіпсіздік параметрлерінде краулерлерді user-agent атаулары мен жарияланған IP мекенжайлары бойынша қолмен рұқсат етуді ұсынады. Қарап шығу ережелерін `robots.txt` арқылы орнатыңыз: Anthropic краулерлерді тек IP мекенжайы бойынша бұғаттау сенімсіз екенін бөлек ескертеді. Ұқсас қызметті қолдансаңыз, оның параметрлерін тексеріңіз.

Себептерді бір-бірлеп тексеріңіз: алдымен `robots.txt` файлын, содан кейін бет бастапқы кодын, соңынан қауіпсіздік параметрлерін қараңыз. Бұл кедергілердің болмауының өзі сайтыңыз жауаптарда көрінеді деген кепілдік бермейді.

## Краулердің бетке кіргенін қалай тексеруге болады?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Осы бөлімнің негізгі түйіні">

Негізгі түйін

«Маған сілтеме берілді» деген тікелей есептегіш жоқ. Бірақ негізгі нәрселерді тексере аласыз: robots.txt ашыла ма, бастапқы кодта мәтін көріне ме, сайт картасы қолжетімді ме. Краулерлердің кіргені сервер журналдарында user-agent арқылы көрінеді.

</div>

Бұл тексеру сайтыңыздың қолжетімділігін бағалап, краулерлердің кіргені туралы жазбаларды табуға көмектеседі.

- Браузерде `https://example.com/robots.txt` мекенжайын ашыңыз — файл ашылып, қажетті топтар болуы керек.
- Сайт картасын `https://example.com/sitemap.xml` мекенжайында ашыңыз — ол ашылып, беттер тізімін көрсетуі керек.
- Маңызды беттің бастапқы кодын қарап, мәтініңізді іздеңіз.
- Сервер журналдарына қол жеткізе алсаңыз, олардан краулер атауларын — `OAI-SearchBot`, `PerplexityBot` және басқаларын — іздеңіз. Олардың кіргені user-agent арқылы көрінеді.

Бұл тексеру ассистенттің дәл сіздің бетіңізді таңдайтынын көрсетпейді. Ол пайдаланушының сұрағына және беттің оған қаншалықты жақсы жауап беретініне байланысты.

## Баптаулар нені кепілдемейді?

Сайтқа кіру мен оның ассистент жауабында көрінуі — екі бөлек нәтиже. Бұл баптаулардың шектеулері бар.

- **Дәйексөзге қосылуға кепілдік жоқ.** Ашық кіру краулерге сайтыңызды оқу мүмкіндігін ғана береді. Ассистенттің сізге сілтеме беруі сұраққа байланысты, оны ассистент шешеді.
- **Рейтингке не трафикке ешкім уәде бермейді.** `robots.txt` баптауы кіруге жол ашады, бірақ іздеу нәтижелерінен орын алуға кепілдік бермейді.
- **Кейбір краулерлер файл ережелерін елемеуі мүмкін.** Бұл тікелей пайдаланушы сұрауына жауап ретінде кіретін кей краулерлерге қатысты — мысалы, OpenAI-дың `ChatGPT-User` және Perplexity-дің `Perplexity-User` краулерлеріне.
- **Ережелер өзгереді.** Әзірлеушілер краулер атаулары мен шарттарын жаңартады. Құжаттаманы бірнеше ай сайын тексерген жөн; сілтемелер соңында берілген.

Кіруді және сайтыңыздың сапасын сіз басқарасыз, ал сілтемені қосу-қоспауды ассистент шешеді. Бұл баптаулардың мақсаты — ассистентті «алдауға» тырыспай, пайдалы бетті іздеу мен оқуға қолжетімді ету.

## Әрі қарай не істеу керек

`robots.txt` файлын ашып, ассистенттердің іздеу краулерлерін қосыңыз, содан кейін сайт картасы мен мәтіннің қолжетімділігін тексеріңіз. Қауіпсіздік жүйесі кіруге кедергі болса, оның параметрлерін де қарап шығыңыз. Бұл әрекеттер техникалық кедергілерді анықтап, жоюға көмектеседі. Содан кейін беттердің өзін тексеріңіз: олар аудиторияңыздың нақты сұрақтарына анық жауап бере ме?

<div class="section" role="doc-bibliography" aria-label="Дереккөздер">

### Дереккөздер

- [OpenAI: краулерлерге шолу (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: Claude краулерлері және кіруді басқару жолдары](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: краулерлер және сайт қауіпсіздігінің параметрлері](https://docs.perplexity.ai/guides/bots)
- [Google: краулерлерге шолу және Google-Extended токені](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

</div>







<div class="aside" data-semantic="ailoot-link" aria-label="Ailoot">

Ailoot туралы [ailoot.ai](https://ailoot.ai/) сайтында көбірек біліңіз.

</div>

## Жиі қойылатын сұрақтар

### Атаулы краулер тобын қосу User-agent: * арқылы жабылған жолдарды неге аша алады?

Атауы сәйкес келетін топты тапқан краулер жалпылама топ ережелерін мұраламай, сол топтың ережелерін қолданады. Рұқсат берген әр атаулы топта қажетті жабық жолдардың Disallow ережелерін қайталаңыз.

### Іздеу краулеріне рұқсат беру көмекшінің бетіме сілтеме жасайтынына кепілдік пе?

Жоқ. Қолжетімділікті дәлелдеу үшін robots.txt, бет көзіндегі мәтін, sitemap қолжетімділігі және сервер журналдарын тексеріңіз. Бұлар беттің ашықтығын не оған кіру болғанын көрсетеді, бірақ көмекшінің оны жауапқа таңдауын дәлелдемейді.


## Ailoot · Компания және оның жобалар портфелі

Ailoot жинақталған жұмыс тәжірибесіне, кең клиенттік базаға, тұрақты қызметке және KPI көрсеткіштерін үздіксіз бақылауға сүйенеді.

Компания және оның жобалар портфелі: миллиондаған клиент; ай сайынғы сату көлемі миллиардтармен есептеледі.

Ailoot осы тәжірибені клиенттердің өнімдерінде, агенттерінде, қолданбаларында және автоматтандыруларында жасанды интеллект мүмкіндіктеріне API арқылы қол жеткізуді қамтамасыз етуге пайдаланады.