# Saytingizni ChatGPT, Claude va Perplexity qidiruv skanerlariga qanday ochish mumkin
> Qidiruv va o‘qitish skanerlarining nomlari, robots.txt faylining to‘liq namunasi, sayt xaritasi, matnning mavjudligi va iqtibos cheklovlari.
Source: https://ailoot.ai/blog/uz/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/uz/ai-search-crawlers-robots-txt/
Language: uz
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-70a24161a26f93613d7336a5d954eda1aaa7a5df6ee28b7e4da632cf028ced8a
Siz veb-sayt yoki mahsulot yaratdingiz, ammo kimdir «Bu vazifa uchun qaysi xizmatni tavsiya qilasiz?» deb so‘raganda, ChatGPT, Claude va Perplexity uni tilga olmaydi. Yordamchi saytingizni o‘qiy oladimi va unga kirish bloklanganmi, tekshirib ko‘rishga arziydi.
«AI javobiga kirish» uchun tugma yo‘q va hech kim sizga havola berilishini kafolatlay olmaydi. ChatGPT, Claude va Perplexity qidiruv uchun alohida skanerlardan foydalanadi: `robots.txt` orqali ularga saytingizga kirishga ruxsat berishingiz mumkin. So‘ng ular sahifa matniga kira olishini va saytingiz xavfsizligi bunga to‘sqinlik qilmayotganini tekshiring.
Ailoot bilan ishlash bo‘yicha amaliy ko‘rsatmalar [hujjatlarda](https://ailoot.ai/docs/) berilgan.
## «AI uchun ko‘rinadigan bo‘lish» nimani anglatadi?
Asosiy xulosa
AI yordamchilarida turli vazifalarni bajaradigan skanerlar bor: ayrimlari yordamchi ichidagi qidiruv uchun saytlarni yig‘adi, boshqalari esa modellarni o‘qitish uchun matnlarni yig‘adi. Qidiruv javoblari uchun birinchi tur muhim. Skanerga kirishga ruxsat berishingiz mumkin, ammo bu yordamchi sizga havola berishini anglatmaydi — hech kim havola berilishini kafolatlay olmaydi.
Kimdir ChatGPT yoki Perplexity’dan «X haqida qayerdan o‘qisam bo‘ladi?» yoki «Qaysi xizmatni tanlaganim ma’qul?» deb so‘raganda, yordamchi ba’zan internetdan qidirib, sahifalarga havolalar qo‘shadi. Sahifangiz nomzodlar ro‘yxatiga kirishi uchun yordamchining skaneri uni o‘qigan va unga kirishda rad javobini olmagan bo‘lishi kerak.
Saytingizda uchta narsani tekshiring:
- skaner saytga kira oladi: u `robots.txt` faylida bloklanmagan va xavfsizlik choralari kirishga to‘sqinlik qilmaydi;
- skaner brauzer to‘ldiradigan bo‘sh qobiqni emas, sahifa matnini ko‘ra oladi;
- sahifa kalit so‘zlar ro‘yxatini javob o‘rnida berishdan ko‘ra, muayyan savolga halol va aniq javob beradi.
Avval kirish imkoniyatini tekshiring: agar skaner sahifani o‘qiy olmasa, undagi foydali matnni ham ololmaydi.
## Qidiruv skaneri o‘qitish skaneridan nimasi bilan farq qiladi?
Asosiy xulosa
Har bir yirik yordamchida alohida vazifalarni bajaradigan skanerlar mavjud. Qidiruv skaneri saytlarni yig‘ib, ularni yordamchi javoblari va qidiruv natijalarida ko‘rsatishga imkon beradi. O‘qitish skaneri modelni o‘qitish uchun matnlarni yig‘adi. Bu sozlamalar mustaqil: qidiruv skaneriga ruxsat berib, o‘qitish skanerini bloklashingiz mumkin.
Har bir skanerga alohida ruxsat berish yoki uni bloklash kerak. «AI’ni saytga kiritish» haqidagi umumiy qaror ularning vazifalari o‘rtasidagi farqni hisobga olmaydi.
- **Qidiruv skaneri** foydalanuvchi savol berganda sahifalaringiz yordamchi javoblarida ko‘rinishiga imkon beradi. Saytingiz qidiruvda mavjud bo‘lishini istasangiz, unga ruxsat bering.
- **O‘qitish skaneri** modelning kelajakdagi versiyalarini o‘qitishda ishlatilishi mumkin bo‘lgan matnlarni yig‘adi. Unga ruxsat berish-bermaslik o‘zingizga bog‘liq; bu joriy qidiruv javoblarida ko‘rinishingizga bevosita ta’sir qilmaydi.
OpenAI hujjatlarida bir misol keltirilgan: saytingiz matni o‘qitishda ishlatilmasligi uchun o‘qitish skanerini bloklagan holda qidiruv skaneriga saytingizni skanerlashga ruxsat berishingiz mumkin. Bu ikki sozlama bitta faylda mustaqil ravishda o‘rnatiladi.
## ChatGPT, Claude va Perplexity skanerlarining nomlari qanday?
Asosiy xulosa
OpenAI uchun qidiruv skaneri — OAI-SearchBot, o‘qitish skaneri — GPTBot, ChatGPT-User esa foydalanuvchi so‘rovi bilan tashrif buyuradi. Anthropic uchun: Claude-SearchBot (qidiruv), ClaudeBot (o‘qitish) va Claude-User (foydalanuvchi so‘rovi bilan). Perplexity uchun: PerplexityBot (qidiruv) va Perplexity-User (foydalanuvchi so‘rovi bilan). Google’da sayt mazmunidan generativ AI uchun foydalanishni boshqaradigan alohida Google-Extended tokeni bor.
Kirishni sozlash uchun `robots.txt` faylida ko‘rsatiladigan skanerlarning aniq nomlari (user-agent) kerak. Jadvalda 2026-yil sentabr holatiga ko‘ra har bir ishlab chiquvchining rasmiy hujjatlarida ko‘rsatilgan nomlar va vazifalar keltirilgan.
| Skaner (user-agent) yoki token | Kimga tegishli | Vazifasi | Ko‘rinish uchun ruxsat berilsinmi? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | ChatGPT qidiruvida saytlarni ko‘rsatadi | Ha |
| `GPTBot` | OpenAI | Modellarni o‘qitish uchun matnlarni yig‘adi | O‘zingiz hal qilasiz |
| `ChatGPT-User` | OpenAI | Foydalanuvchi so‘rovi bilan sahifaga tashrif buyuradi | Odatda ha |
| `Claude-SearchBot` | Anthropic | Qidiruv sifatini yaxshilash uchun saytlarni indekslaydi | Ha |
| `ClaudeBot` | Anthropic | Modellarni o‘qitish uchun matnlarni yig‘adi | O‘zingiz hal qilasiz |
| `Claude-User` | Anthropic | Claude foydalanuvchisining so‘rovi bilan sahifaga tashrif buyuradi | Odatda ha |
| `PerplexityBot` | Perplexity | Qidiruvda saytlarni ko‘rsatadi va ularga havola beradi | Ha |
| `Perplexity-User` | Perplexity | Foydalanuvchi so‘rovi bilan sahifaga tashrif buyuradi | Odatda ha |
| `Google-Extended` | Google | Sayt mazmunidan Google generativ AI uchun foydalanishni boshqaradigan token | O‘zingiz hal qilasiz |
`ChatGPT-User`, `Claude-User` va `Perplexity-User` skanerlari suhbatda foydalanuvchi so‘rovi bilan sahifaga tashrif buyuradi, ammo har bir ishlab chiquvchining kirish qoidalari boshqacha. OpenAI `robots.txt` qoidalari `ChatGPT-User`ga taalluqli bo‘lmasligi mumkinligini aytadi. Perplexity `Perplexity-User` odatda bu qoidalarni e’tiborsiz qoldirishini aytadi, chunki tashrifni foydalanuvchi boshlagan. Anthropic `Claude-User`ga kirishni `robots.txt` orqali boshqaradi: agar u yerda bloklasangiz, Claude foydalanuvchi so‘roviga javoban sahifalarni olib kelmaydi. Qidiruv skanerlariga kirish alohida sozlanadi.
`Google-Extended` skanerlash vaqtida o‘ziga tegishli user-agent qatoriga ega emas — u `robots.txt`dagi boshqaruv tokeni, xolos. U kontentingizdan Google generativ AI uchun foydalanish mumkinligini belgilaydi va odatiy Google Search’ga ta’sir qilmaydi.
Tuzilishi aniq va matni ochiq sayt yaratmoqchi bo‘lsangiz, ma’lumotlarni qanday tashkil etishni o‘ylab ko‘ring.
## robots.txt faylida skanerlarga qanday ruxsat beriladi: bosqichma-bosqich
Asosiy xulosa
robots.txt fayli saytning ildizida joylashadi va skanerlar uchun kirish qoidalarini belgilaydi. Yordamchilarning qidiruv skanerlariga ruxsat berish uchun ularning user-agent nomlarini skanerlashga ruxsat beruvchi qoidalar bilan qo‘shing. Har bir subdomen uchun alohida fayl kerak.
`robots.txt` — sayt ildizida joylashgan, `https://example.com/robots.txt` kabi manzilda ochiladigan oddiy matnli fayl. Skanerlar skanerlashdan oldin uni o‘qib, ko‘rsatmalariga amal qiladi, yuqorida ta’riflangan foydalanuvchi so‘rovi bilan tashriflar bundan mustasno.
1. **Joriy faylingizni oching.** Brauzerga saytingiz manzilini kiriting va oxiriga `/robots.txt` qo‘shing. Faylda nimalar borligini va kerakli skanerlar tasodifan `Disallow: /` qatori bilan bloklanmaganini ko‘ring. Shuningdek, cheklangan joylar — hisob sahifalari, to‘lov sahifalari, administrator bo‘limi — uchun `Disallow:` qatorlarini qidiring: ular keyingi bosqichda kerak bo‘ladi.
2. **Yordamchilarning qidiruv skanerlari uchun guruh qo‘shing.** Har bir guruhda skaner nomi va kirish qoidalari ko‘rsatiladi. Skanerlashga ruxsat berish uchun `Allow: /` yozing. Skaner o‘z nomi alohida ko‘rsatilgan guruhdagi qoidalarga amal qiladi; umumiy `User-agent: *` guruhidagi qoidalarni olmaydi. Faqat `User-agent: *` guruhida ko‘rsatilgan cheklovlar bu skanerga taalluqli emas. Cheklangan joylaringiz bo‘lsa, har bir yangi guruhda ayni `Disallow:` qatorlarini takrorlang, aks holda ular o‘sha skaner uchun ochiq bo‘ladi.
3. **O‘qitish skanerlari bo‘yicha alohida qaror qiling.** Matnlaringiz o‘qitishda ishlatilishini istamasangiz, `GPTBot` va `ClaudeBot` uchun `Disallow: /` belgilang. Bu qidiruvda ko‘rinishga ta’sir qilmaydi.
4. **Faylni saytingiz ildizida saqlang** va `/robots.txt` manzilida ochilishini tekshiring. Subdomenlaringiz bo‘lsa (masalan, `blog.example.com`), ularning har biri uchun alohida fayl kerak — skanerlar har bir subdomen uchun tegishli faylni o‘qiydi.
Namunani ko‘chirishdan oldin cheklangan joylar uchun qoidalarni tekshiring. Agar `Disallow: /dashboard/` faqat `User-agent: *` guruhida qolsa, bu o‘z guruhi bor `OAI-SearchBot`ga taalluqli bo‘lmaydi. Skanerga ruxsat bergan har bir guruhda cheklangan yo‘llarni sanab chiqing.
Quyidagi misolda yordamchilarning qidiruv skanerlariga ruxsat berilgan, ammo `/dashboard/` cheklangan joyi bevosita ularning guruhlarida bloklangan; o‘qitish skanerlari esa butunlay bloklangan. O‘qitish skanerlarini bloklash ixtiyoriy — bu sizning qaroringiz, cheklangan yo‘llar ro‘yxatini esa o‘zingiznikiga almashtirishingiz kerak.
```
# Yordamchilarning qidiruv skanerlariga ruxsat bering, lekin cheklangan joylarni bloklang
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# O‘qitish skanerlarini bloklash (ixtiyoriy)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Sitemap skanerlarga barcha sahifalarni topishga yordam beradi
Sitemap: https://example.com/sitemap.xml
```
OpenAI va Perplexity hujjatlariga ko‘ra, ularning tizimlari `robots.txt`dagi o‘zgarishlarni hisobga olishi uchun taxminan bir kun kerak bo‘lishi mumkin. Faylni saqlaganingizdan keyin darhol natija kutmang.
## Bu ishlayotgan saytda qanday ko‘rinadi?
Ta’riflangan `robots.txt` sozlamalari misolida yordamchi skanerlarining nomlari — `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` va boshqalar — bitta guruhda jamlangan. Ularning ostida `Allow: /` va cheklangan joylar uchun umumiy `User-agent: *` guruhidagi ayni `Disallow:` qatorlari yozilgan: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` va boshqalar. Fayl oxirida sitemap manzillari `Sitemap:` direktivasi yordamida sanab o‘tilgan.
Cheklangan joylar yordamchi skanerlari uchun ham bloklanishi maqsadida qoidalar ularning guruhida takrorlanadi. Istalgan saytning `/robots.txt` faylini ochib, qanday sozlanganini ko‘rishingiz mumkin — bu fayl doimo ommaga ochiq.
## Skanerlarga saytni tushunishda yana nima yordam beradi?
Asosiy xulosa
Kirishni sozlaganingizdan so‘ng, sahifa matni brauzer skriptlarini ishga tushirmasdan ko‘rinishini, `sitemap.xml` fayli borligini va javobning o‘zi aniq ekanini tekshiring.
Skanerlashga ruxsat berilgan bo‘lsa ham, skaner sahifa mazmunini ololmasligi mumkin. Kirish qoidalaridan tashqari, sayt matnni qanday taqdim etishini va odamlarga uning mazmunini topishda qanday yordam berishini tekshiring.
- **Matn darhol mavjud.** Skriptlar sahifa mazmunini brauzerda hosil qilsa, ayrim skanerlar bo‘sh qobiqni ko‘radi. Tekshirish uchun sahifani ochib, «sahifa manbasini ko‘rish»ni tanlang va matningizni qidiring. U yerda bo‘lmasa, faqat odatiy sahifa ko‘rinishida chiqsa, sahifa qanday taqdim etilishini tekshirishingiz kerak.
- **Sitemap mavjud.** `sitemap.xml` fayli barcha sahifalaringiz ro‘yxatidir. U skanerlar kontentni o‘tkazib yubormasligiga yordam beradi. `Sitemap:` qatori bilan unga havolani `robots.txt`ga qo‘shing.
- **Javob odamga tushunarli.** Yordamchi skanerlari savolga javob beradigan sahifalarni izlaydi. Aniq sarlavha, boshida qisqa javob va halol ifodalar kalit so‘zlar ro‘yxatidan ko‘ra yaxshiroq ishlaydi.
## Nega sayt AI uchun ko‘rinmasligi mumkin?
Asosiy xulosa
Tekshirishga arziydigan uchta sabab bor: skaner `robots.txt`da bloklangan, matn skriptlar orqali yaratilgani uchun brauzersiz ko‘rinmaydi yoki sayt xavfsizligi skanerlarni bloklaydi. Birinchi holatda faylni tekshiring; ikkinchisida sahifalar qanday taqdim etilishini; uchinchisida esa xavfsizlik sozlamalarini ko‘ring.
Saytingiz javoblarda ko‘rinmasa, kirishga to‘sqinlik qilishi mumkin bo‘lgan quyidagi holatlarni tekshiring.
- **Skaner `robots.txt`da bloklangan.** Ba’zan faylda kerakli skanerlarni bloklaydigan umumiy cheklov bo‘ladi. Yordamchi skanerlariga tegishli guruhda `Disallow: /` bor-yo‘qligini tekshiring.
- **Matn brauzersiz ko‘rinmaydi.** Kontentni skriptlar yaratsa, skaner uni ololmasligi mumkin. Manba kodini tekshirish yuqorida tasvirlangan.
- **Sayt xavfsizligi skanerlarni bloklaydi.** Ko‘plab saytlar, masalan, Cloudflare orqali keraksiz trafikdan himoyalanadi. Bunday himoya `robots.txt`dan qat’i nazar kirishni bloklashi mumkin. `robots.txt` orqali skaner qayerga borishi mumkinligini boshqarasiz, sayt xavfsizligi esa uning so‘rovini o‘tkazish yoki o‘tkazmaslikni hal qiladi. Perplexity xavfsizlik sozlamalarida skanerlarni user-agent nomlari va e’lon qilingan IP manzillari bo‘yicha qo‘lda ruxsat berishni tavsiya qiladi. Skanerlash qoidalarini `robots.txt` orqali belgilang: Anthropic skanerlarni faqat IP manzili bo‘yicha bloklash ishonchsiz ekanidan alohida ogohlantiradi. Shunga o‘xshash xizmatdan foydalansangiz, uning sozlamalarini tekshiring.
Sabablarni birma-bir tekshiring: avval `robots.txt`ni, keyin sahifa manba kodini, undan so‘ng xavfsizlik sozlamalarini ko‘ring. Bu to‘siqlarning yo‘qligi o‘z-o‘zidan saytingiz javoblarda ko‘rinishini kafolatlamaydi.
## Skaner sahifaga kirganini qanday tekshirish mumkin?
Asosiy xulosa
«Menga havola berildi» degan bevosita hisoblagich yo‘q. Ammo asosiy narsalarni tekshirishingiz mumkin: robots.txt ochiladimi, manba kodida matn ko‘rinadimi va sitemap mavjudmi. Skaner tashriflari server jurnallarida user-agent nomi orqali ko‘rinadi.
Bu tekshiruv saytingizga kirish mumkinligini baholash va skaner tashriflari yozuvlarini topishga yordam beradi.
- Brauzerda `https://example.com/robots.txt`ni oching — fayl ochilishi va kerakli guruhlarni o‘z ichiga olishi kerak.
- Sitemap’ni `https://example.com/sitemap.xml` manzilida oching — u ochilishi va sahifalarni sanab o‘tishi kerak.
- Muhim sahifaning manba kodini ko‘rib, unda matningiz borligini qidiring.
- Server jurnallariga kira olsangiz, ulardan `OAI-SearchBot`, `PerplexityBot` va boshqalar kabi skaner nomlarini qidiring. Ularning tashriflari user-agent orqali ko‘rinadi.
Bu tekshiruv yordamchi aynan sizning sahifangizni tanlashini ko‘rsatmaydi. Bu foydalanuvchining savoli va sahifangiz unga qanchalik yaxshi javob berishiga bog‘liq.
## Sozlamalar nimalarni kafolatlamaydi
Saytga kirish imkoniyati va uning yordamchi javobida ko‘rinishi — ikki xil natija. Bu sozlamalarning cheklovlari bor.
- **Havola berilishi kafolatlanmaydi.** Ochiq kirish skanerga saytingizni o‘qish imkonini beradi, xolos. Yordamchi sizga havola berish-bermasligini savolga qarab o‘zi hal qiladi.
- **Reyting yoki trafik va’da qilinmaydi.** `robots.txt` sozlamasi kirishni ochadi, ammo qidiruv natijalaridan joy olishni kafolatlamaydi.
- **Ayrim skanerlar fayl qoidalariga amal qilmasligi mumkin.** Bu bevosita foydalanuvchi so‘roviga javoban tashrif buyuradigan ayrim skanerlarga taalluqli — masalan, OpenAI’ning `ChatGPT-User`i va Perplexity’ning `Perplexity-User`i.
- **Qoidalar o‘zgaradi.** Ishlab chiquvchilar skaner nomlari va shartlarini yangilaydi. Hujjatlarni bir necha oyda bir tekshirib turishga arziydi; havolalar oxirida berilgan.
Kirishni va saytingiz sifatini siz boshqarasiz, ammo havolani kiritish-kiritmaslikni yordamchi hal qiladi. Bu sozlamalarning maqsadi yordamchini «aldash»ga urinmasdan, foydali sahifani qidiruv va o‘qish uchun ochiq qilishdir.
## Keyingi qadam
`robots.txt`ni oching, yordamchilarning qidiruv skanerlarini qo‘shing va sitemap hamda matn mavjudligini tekshiring. Xavfsizlik sozlamalari kirishni bloklayotgan bo‘lsa, ularni ham tekshiring. Bu amallar texnik to‘siqlarni aniqlash va bartaraf etishga yordam beradi. So‘ng sahifalarning o‘zini tekshiring: ular auditoriyangizning muayyan savollariga aniq javob beradimi?
### Manbalar
- [OpenAI: skanerlar haqida umumiy ma’lumot (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: Claude skanerlari va ularga kirishni boshqarish](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: skanerlar va sayt xavfsizligi sozlamalari](https://docs.perplexity.ai/guides/bots)
- [Google: skanerlar haqida umumiy ma’lumot va Google-Extended tokeni](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Ailoot bilan tanishishni [ailoot.ai](https://ailoot.ai/) saytida davom ettiring.
## Ko‘p beriladigan savollar
### Nega nomlangan crawler guruhi User-agent: * da yopilgan yo‘llarni qayta ochishi mumkin?
Nomiga mos guruh topilgan crawler shu guruh qoidalaridan foydalanadi; wildcard guruhidan qoidalarni meros olmaydi. Ruxsat berilgan har bir nomlangan guruhda kerakli Disallow cheklovlarini takrorlang.
### Qidiruv crawler’iga ruxsat berish yordamchi sahifamni iqtibos qilishini kafolatlaydimi?
Yo‘q. robots.txt, sahifa manbasidagi matn, sitemap va server loglarini tekshiring. Bular kirish mumkinligini yoki tashrifni ko‘rsatadi, yordamchi sahifani javob uchun tanlashini emas.
## Ailoot · Kompaniya va uning loyihalar portfeli
Ailoot to‘plangan faoliyat tajribasi, keng mijozlar bazasi, barqaror xizmat va doimiy KPI nazoratiga tayanadi.
Kompaniya va uning loyihalar portfeli: millionlab mijozlar; oylik sotuvlar hajmi milliardlarda.
Ailoot bu faoliyat tajribasini mijozlar mahsulotlari, agentlar, ilovalar va avtomatlashtirishlarda AI imkoniyatlariga API orqali kirishni ta’minlashda qo‘llaydi.