# Cara Membuka Laman Anda kepada Crawler Carian ChatGPT, Claude dan Perplexity
> Nama crawler carian dan latihan, contoh robots.txt yang lengkap, sitemap, ketersediaan teks dan batasan petikan.
Source: https://ailoot.ai/blog/ms/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/ms/ai-search-crawlers-robots-txt/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-fac3e6d5abb275a485fda684bbd9f93ce2a6713340be6a7bc4549e1e1ba606d6
Anda telah membina laman web atau produk, tetapi apabila seseorang bertanya, “cadangkan perkhidmatan untuk tugasan ini,” ChatGPT, Claude dan Perplexity tidak menyebutnya. Anda patut menyemak sama ada pembantu AI boleh membaca laman anda dan sama ada akses disekat.
Tiada butang untuk “muncul dalam jawapan AI”, dan tiada siapa boleh menjamin laman anda akan dipetik. ChatGPT, Claude dan Perplexity mempunyai crawler berasingan untuk carian: anda boleh membenarkan mereka mengakses laman anda melalui `robots.txt`. Kemudian, semak sama ada mereka boleh mengakses teks halaman dan sama ada keselamatan laman anda menghalang akses.
Arahan praktikal untuk menggunakan Ailoot tersedia dalam [dokumentasi](https://ailoot.ai/docs/).
## Apakah maksud “kelihatan oleh AI”?
Inti pati
Pembantu AI mempunyai crawler untuk tugasan yang berbeza: sesetengahnya mengumpulkan laman web untuk carian dalam pembantu itu, manakala yang lain mengumpulkan teks untuk melatih model. Jenis pertama penting untuk jawapan carian. Anda boleh membenarkan crawler mengakses laman, tetapi itu tidak mewajibkan pembantu memetik laman anda—tiada siapa boleh menjamin petikan.
Apabila seseorang bertanya kepada ChatGPT atau Perplexity “di mana saya boleh membaca tentang X?” atau “perkhidmatan manakah patut saya pilih?”, pembantu itu kadangkala mencari di web dan menambahkan pautan ke halaman. Untuk halaman anda disenaraikan sebagai calon, crawler pembantu itu mesti telah membacanya dan tidak boleh dinafikan akses.
Ada tiga perkara yang perlu disemak pada laman anda:
- crawler boleh mengakses laman: ia tidak disekat dalam `robots.txt`, dan langkah keselamatan tidak menghalang akses;
- crawler boleh melihat teks halaman, bukannya rangka kosong yang diisi oleh pelayar;
- halaman menjawab soalan khusus dengan jujur dan jelas, bukannya menggantikan jawapan dengan senarai kata kunci.
Mulakan dengan akses: jika crawler tidak dapat membaca halaman, ia juga tidak akan mendapat teks berguna di dalamnya.
## Apakah perbezaan crawler carian dengan crawler latihan?
Inti pati
Setiap pembantu utama mempunyai crawler dengan tugasan yang berasingan. Crawler carian mengumpulkan laman web supaya laman tersebut boleh muncul dalam jawapan dan hasil carian pembantu. Crawler latihan mengumpulkan teks untuk melatih model. Tetapan ini tidak bergantung antara satu sama lain: anda boleh membenarkan crawler carian dan menyekat crawler latihan.
Akses perlu dibenarkan atau disekat secara berasingan bagi setiap crawler. Keputusan umum untuk “membenarkan AI masuk ke laman” tidak mengambil kira perbezaan tugasan mereka.
- **Crawler carian** membolehkan halaman anda muncul dalam jawapan pembantu apabila pengguna bertanya sesuatu. Benarkan crawler ini jika anda mahu laman anda tersedia untuk carian.
- **Crawler latihan** mengumpulkan teks yang mungkin digunakan untuk melatih versi model pada masa hadapan. Anda bebas menentukan sama ada mahu membenarkannya; tindakan ini tidak memberi kesan langsung pada kemunculan laman anda dalam jawapan carian semasa.
Dokumentasi OpenAI memberikan contoh: anda boleh membenarkan crawler carian merayapi laman anda sambil menyekat crawler latihan, supaya teks laman anda tidak digunakan untuk latihan. Kedua-dua tetapan ini dikonfigurasikan secara berasingan dalam fail yang sama.
## Apakah nama crawler ChatGPT, Claude dan Perplexity?
Inti pati
Bagi OpenAI, crawler carian ialah OAI-SearchBot, crawler latihan ialah GPTBot, dan ChatGPT-User melawat halaman atas permintaan pengguna. Bagi Anthropic: Claude-SearchBot (carian), ClaudeBot (latihan) dan Claude-User (atas permintaan pengguna). Bagi Perplexity: PerplexityBot (carian) dan Perplexity-User (atas permintaan pengguna). Google mempunyai token Google-Extended yang berasingan untuk mengawal penggunaan kandungan laman bagi AI generatif.
Untuk mengkonfigurasikan akses, anda memerlukan nama crawler yang tepat (user-agent), yang anda nyatakan dalam `robots.txt`. Jadual ini menyenaraikan nama dan tujuan berdasarkan dokumentasi rasmi setiap pembangun setakat September 2026.
| Crawler (user-agent) atau token | Milik | Fungsinya | Benarkan untuk keterlihatan? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Memaparkan laman web dalam carian ChatGPT | Ya |
| `GPTBot` | OpenAI | Mengumpulkan teks untuk melatih model | Terpulang kepada anda |
| `ChatGPT-User` | OpenAI | Melawat halaman atas permintaan pengguna | Biasanya ya |
| `Claude-SearchBot` | Anthropic | Mengindeks laman web untuk meningkatkan mutu carian | Ya |
| `ClaudeBot` | Anthropic | Mengumpulkan teks untuk melatih model | Terpulang kepada anda |
| `Claude-User` | Anthropic | Melawat halaman atas permintaan pengguna Claude | Biasanya ya |
| `PerplexityBot` | Perplexity | Memaparkan dan memautkan laman web dalam hasil carian | Ya |
| `Perplexity-User` | Perplexity | Melawat halaman atas permintaan pengguna | Biasanya ya |
| `Google-Extended` | Google | Token yang mengawal penggunaan kandungan laman bagi AI generatif Google | Terpulang kepada anda |
Crawler `ChatGPT-User`, `Claude-User` dan `Perplexity-User` melawat halaman atas permintaan seseorang dalam perbualan, tetapi setiap pembangun mempunyai peraturan akses yang berbeza. OpenAI menyatakan bahawa peraturan `robots.txt` mungkin tidak terpakai kepada `ChatGPT-User`. Perplexity menyatakan bahawa `Perplexity-User` biasanya mengabaikan peraturan tersebut kerana lawatan itu dimulakan oleh pengguna. Anthropic mengawal akses `Claude-User` melalui `robots.txt`: jika anda menyekatnya di situ, Claude tidak akan mendapatkan halaman sebagai respons kepada permintaan pengguna. Akses untuk crawler carian dikonfigurasikan secara berasingan.
`Google-Extended` tidak mempunyai baris user-agent tersendiri semasa merayap—ia hanya token kawalan dalam `robots.txt`. Token ini menentukan sama ada kandungan anda boleh digunakan untuk AI generatif Google dan tidak menjejaskan Google Search biasa.
Jika anda mahu membina laman dengan struktur yang jelas dan teks yang mudah diakses, fikirkan cara menyusun maklumat.
## Cara membenarkan crawler dalam robots.txt: langkah demi langkah
Inti pati
Fail robots.txt berada di direktori akar laman dan menetapkan peraturan akses untuk crawler. Untuk membenarkan crawler carian pembantu, tambahkan user-agent mereka dengan kebenaran untuk merayap. Setiap subdomain memerlukan failnya sendiri.
`robots.txt` ialah fail teks biasa di direktori akar laman anda, yang boleh dicapai di alamat seperti `https://example.com/robots.txt`. Crawler membacanya sebelum merayap dan mengikuti arahannya, kecuali bagi lawatan atas permintaan pengguna yang diterangkan di atas.
1. **Buka fail semasa anda.** Masukkan alamat laman anda dalam pelayar dan tambah `/robots.txt`. Lihat kandungan sedia ada dan semak sama ada crawler yang anda perlukan telah disekat secara tidak sengaja oleh baris `Disallow: /`. Cari juga baris `Disallow:` untuk kawasan terhad—halaman akaun, halaman pembayaran, bahagian pentadbir: anda memerlukannya dalam langkah seterusnya.
2. **Tambahkan kumpulan untuk crawler carian pembantu.** Setiap kumpulan menetapkan nama crawler dan peraturan akses. Untuk membenarkan perayapan, gunakan `Allow: /`. Crawler mengikuti peraturan dalam kumpulan yang menyatakan namanya secara berasingan; crawler itu tidak mengambil peraturan daripada kumpulan umum `User-agent: *`. Sekatan yang hanya terdapat dalam `User-agent: *` tidak terpakai kepada crawler tersebut. Jika anda mempunyai kawasan terhad, ulangi baris `Disallow:` yang sama dalam setiap kumpulan baharu; jika tidak, kawasan tersebut akan terbuka kepada crawler itu.
3. **Buat keputusan berasingan tentang crawler latihan.** Jika anda tidak mahu teks digunakan untuk latihan, tetapkan `Disallow: /` untuk `GPTBot` dan `ClaudeBot`. Ini tidak menjejaskan keterlihatan carian.
4. **Simpan fail di direktori akar laman anda** dan semak bahawa fail itu boleh dibuka di `/robots.txt`. Jika anda mempunyai subdomain (contohnya, `blog.example.com`), setiap satunya memerlukan fail sendiri—crawler membaca fail untuk subdomain berkenaan.
Sebelum menyalin contoh, semak sekatan bagi kawasan terhad. Jika anda mengekalkan `Disallow: /dashboard/` hanya dalam `User-agent: *`, peraturan itu tidak akan terpakai kepada `OAI-SearchBot`, yang mempunyai kumpulannya sendiri. Senaraikan laluan terhad dalam setiap kumpulan yang membenarkan crawler merayap.
Dalam contoh di bawah, crawler carian pembantu dibenarkan masuk, tetapi kawasan terhad `/dashboard/` disekat secara langsung dalam kumpulan masing-masing; crawler latihan disekat sepenuhnya. Menyekat crawler latihan adalah pilihan—keputusan terpulang kepada anda, dan anda patut menggantikan senarai laluan terhad dengan senarai anda sendiri.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Menurut dokumentasi OpenAI dan Perplexity, sistem mereka mungkin memerlukan kira-kira sehari untuk mengambil kira perubahan pada `robots.txt`. Jangan jangkakan kesan serta-merta selepas menyimpan fail.
## Bagaimanakah rupanya pada laman sebenar?
Dalam contoh tetapan `robots.txt` yang diterangkan, nama crawler pembantu—`GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` dan lain-lain—dikumpulkan dalam satu kumpulan. Di bawahnya terdapat `Allow: /` dan baris `Disallow:` yang sama untuk kawasan terhad seperti dalam kumpulan umum `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` dan lain-lain. URL sitemap disenaraikan di penghujung fail menggunakan arahan `Sitemap:`.
Sekatan diulang dalam kumpulan crawler pembantu supaya kawasan terhad turut disekat daripada mereka. Anda boleh membuka `/robots.txt` mana-mana laman dan melihat konfigurasinya—fail itu sentiasa terbuka kepada umum.
## Apakah lagi yang membantu crawler memahami laman?
Inti pati
Selepas mengkonfigurasikan akses, semak sama ada teks halaman kelihatan tanpa menjalankan skrip pelayar, sama ada fail sitemap.xml wujud, dan sama ada jawapannya sendiri jelas.
Walaupun perayapan dibenarkan, crawler mungkin tidak mendapat kandungan halaman. Selain peraturan akses, semak cara laman menyampaikan teks dan membantu orang mencari kandungannya.
- **Teks tersedia serta-merta.** Jika skrip memaparkan kandungan halaman dalam pelayar, sesetengah crawler akan melihat rangka kosong. Untuk menyemaknya, buka halaman, pilih “lihat sumber halaman” dan cari teks anda. Jika teks itu tiada di situ dan hanya muncul dalam paparan halaman biasa, anda perlu menyiasat cara halaman itu disampaikan.
- **Terdapat sitemap.** Fail `sitemap.xml` ialah senarai semua halaman anda. Fail ini membantu crawler supaya tidak terlepas kandungan. Tambahkan pautan kepadanya dalam `robots.txt` menggunakan baris `Sitemap:`.
- **Jawapannya jelas kepada manusia.** Crawler pembantu mencari halaman yang menjawab soalan. Tajuk yang jelas, jawapan ringkas pada permulaan dan bahasa yang jujur lebih berkesan daripada senarai kata kunci.
## Mengapakah laman mungkin tidak kelihatan kepada AI?
Inti pati
Ada tiga punca yang patut diperiksa: crawler disekat dalam robots.txt, teks dijana oleh skrip dan tidak kelihatan tanpa pelayar, atau keselamatan laman menyekat crawler. Untuk punca pertama, semak fail tersebut; untuk punca kedua, semak cara halaman disampaikan; untuk punca ketiga, semak tetapan keselamatan.
Jika laman anda tidak muncul dalam jawapan, semak kemungkinan halangan akses berikut.
- **Crawler disekat dalam `robots.txt`.** Kadangkala fail itu mengandungi sekatan umum yang menyekat crawler yang anda perlukan. Semak sama ada terdapat `Disallow: /` dalam kumpulan yang terpakai kepada crawler pembantu.
- **Teks tidak kelihatan tanpa pelayar.** Jika skrip menjana kandungan, crawler mungkin tidak menerimanya. Cara menyemak kod sumber diterangkan di atas.
- **Keselamatan laman menyekat crawler.** Banyak laman menggunakan perlindungan daripada trafik yang tidak diingini—contohnya, Cloudflare. Perlindungan ini mungkin menyekat akses tanpa mengira `robots.txt`. Anda menggunakan `robots.txt` untuk mengawal lokasi yang boleh dituju crawler, manakala keselamatan laman menentukan sama ada permintaannya dibenarkan. Perplexity mengesyorkan agar crawler dibenarkan secara manual dalam tetapan keselamatan menggunakan nama user-agent dan alamat IP yang diterbitkan. Tetapkan peraturan perayapan melalui `robots.txt`: Anthropic turut memberi amaran bahawa menyekat crawler berdasarkan alamat IP sahaja tidak boleh diharap. Jika anda menggunakan perkhidmatan serupa, semak tetapannya.
Semak puncanya satu demi satu: mulakan dengan `robots.txt`, kemudian lihat kod sumber halaman, dan selepas itu semak tetapan keselamatan. Ketiadaan halangan ini sahaja tidak menjamin laman anda akan muncul dalam jawapan.
## Bagaimanakah anda boleh menyemak sama ada crawler telah mengakses halaman?
Inti pati
Tiada kaunter langsung untuk menunjukkan “saya telah dipetik”. Namun, anda boleh menyemak perkara asas: sama ada robots.txt boleh dibuka, sama ada teks kelihatan dalam kod sumber, dan sama ada sitemap tersedia. Lawatan crawler boleh dilihat dalam log pelayan melalui user-agent mereka.
Semakan ini membantu anda menilai kebolehcapaian laman dan mencari rekod lawatan crawler.
- Buka `https://example.com/robots.txt` dalam pelayar—fail itu sepatutnya terbuka dan mengandungi kumpulan yang diperlukan.
- Buka sitemap di `https://example.com/sitemap.xml`—fail itu sepatutnya terbuka dan menyenaraikan halaman.
- Lihat kod sumber halaman penting dan cari teks anda di dalamnya.
- Jika anda mempunyai akses kepada log pelayan, cari nama crawler di situ—`OAI-SearchBot`, `PerplexityBot` dan lain-lain. Lawatan mereka dapat dilihat melalui user-agent.
Semakan ini tidak menunjukkan sama ada pembantu akan memilih halaman anda secara khusus. Hal itu bergantung pada soalan pengguna dan sejauh mana halaman itu menjawabnya.
## Perkara yang tidak dijamin oleh tetapan ini
Akses kepada laman anda dan kemunculannya dalam jawapan pembantu ialah dua hasil yang berbeza. Tetapan ini mempunyai batasan.
- **Petikan tidak dijamin.** Akses terbuka hanya memberi crawler peluang untuk membaca laman anda. Sama ada pembantu memetik anda bergantung pada pembantu itu dan soalan yang ditanya.
- **Tiada siapa menjanjikan kedudukan atau trafik.** Tetapan `robots.txt` membuka akses, tetapi tidak menjamin tempat dalam hasil carian.
- **Sesetengah crawler mungkin mengabaikan peraturan fail.** Hal ini terpakai kepada sesetengah crawler yang melawat sebagai respons kepada permintaan langsung pengguna—contohnya, `ChatGPT-User` daripada OpenAI dan `Perplexity-User` daripada Perplexity.
- **Peraturan berubah.** Pembangun mengemas kini nama crawler dan syaratnya. Anda patut menyemak dokumentasi setiap beberapa bulan; pautannya terdapat di penghujung.
Anda mengawal akses dan mutu laman anda, tetapi pembantu yang menentukan sama ada pautan akan disertakan. Matlamat tetapan ini ialah menyediakan halaman berguna untuk carian dan bacaan, tanpa cuba “memperdaya” pembantu.
## Langkah seterusnya
Buka `robots.txt`, tambahkan crawler carian pembantu, dan semak sitemap serta ketersediaan teks. Jika keselamatan menyekat akses, semak tetapannya juga. Langkah ini membantu mengenal pasti dan menghapuskan halangan teknikal. Kemudian, semak halaman itu sendiri: adakah halaman tersebut memberikan jawapan yang jelas kepada soalan khusus daripada khalayak anda?
### Sumber
- [OpenAI: gambaran keseluruhan crawler (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: crawler Claude dan cara mengawal akses](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawler dan tetapan keselamatan laman](https://docs.perplexity.ai/guides/bots)
- [Google: gambaran keseluruhan crawler dan token Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Terus terokai Ailoot di [ailoot.ai](https://ailoot.ai/).
## Soalan lazim: Cara Membuka Laman Anda kepada Crawler Carian ChatGPT, Claude dan Perplexity
### Mengapakah kumpulan crawler bernama boleh membuka semula laluan yang disekat di bawah User-agent: *?
Crawler dengan kumpulan nama sepadan menggunakan peraturan kumpulan itu dan bukannya mewarisi kumpulan wildcard. Ulang peraturan Disallow laluan terhad yang diperlukan dalam setiap kumpulan bernama yang dibenarkan.
### Adakah membenarkan crawler carian menjamin pembantu akan memetik halaman saya?
Tidak. Periksa robots.txt, teks sumber halaman, ketersediaan peta laman dan log pelayan untuk bukti akses. Pemeriksaan itu membuktikan kebolehcapaian atau lawatan, bukan bahawa pembantu akan memilih halaman untuk jawapan.
## Ailoot · Syarikat dan portfolio projeknya
Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.
Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.
Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.