# Cara Membuka Akses Situs Anda untuk Crawler Pencarian ChatGPT, Claude, dan Perplexity
> Nama crawler pencarian dan pelatihan, contoh robots.txt lengkap, sitemap, ketersediaan teks, dan keterbatasan kutipan.
Source: https://ailoot.ai/blog/id/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/id/ai-search-crawlers-robots-txt/
Language: id
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-21c4a2ca96ba2b55bc999427f12e13e3a3b90948c0468d48ca021b4216feaf70
Anda telah membangun situs web atau produk, tetapi ketika seseorang bertanya, “rekomendasikan layanan untuk tugas ini,” ChatGPT, Claude, dan Perplexity tidak menyebutkannya. Sebaiknya periksa apakah asisten dapat membaca situs Anda dan apakah aksesnya diblokir.
Tidak ada tombol untuk “masuk ke jawaban AI”, dan tidak ada yang dapat menjamin situs Anda akan dikutip. ChatGPT, Claude, dan Perplexity memiliki crawler terpisah untuk pencarian: Anda dapat mengizinkan mereka mengakses situs melalui `robots.txt`. Lalu, periksa apakah mereka dapat mengakses teks halaman dan apakah keamanan situs Anda menghalangi akses.
Petunjuk praktis untuk menggunakan Ailoot tersedia di [dokumentasi](https://ailoot.ai/docs/).
## Apa arti “terlihat oleh AI”?
Poin utama
Asisten AI memiliki crawler untuk berbagai tugas: sebagian mengumpulkan situs web untuk pencarian di dalam asisten, sementara yang lain mengumpulkan teks untuk melatih model. Jenis pertama penting untuk jawaban pencarian. Anda dapat mengizinkan crawler mengakses situs, tetapi itu tidak mewajibkan asisten untuk mengutip Anda—tidak ada yang dapat menjamin kutipan.
Ketika seseorang bertanya kepada ChatGPT atau Perplexity “di mana saya bisa membaca tentang X?” atau “layanan mana yang sebaiknya saya pilih?”, terkadang asisten mencari di web dan menambahkan tautan ke halaman. Agar halaman Anda masuk ke daftar kandidat ini, crawler asisten harus sudah membacanya dan tidak ditolak aksesnya.
Ada tiga hal yang perlu diperiksa di situs Anda:
- crawler dapat mengakses situs: situs tidak diblokir di `robots.txt`, dan langkah keamanan tidak mencegah akses;
- crawler dapat melihat teks halaman, bukan kerangka kosong yang diisi oleh browser;
- halaman menjawab pertanyaan tertentu secara jujur dan jelas, alih-alih mengganti jawaban dengan daftar kata kunci.
Mulailah dengan akses: jika crawler tidak dapat membaca halaman, crawler juga tidak akan memperoleh teks berguna di dalamnya.
## Apa perbedaan crawler pencarian dan crawler pelatihan?
Poin utama
Setiap asisten utama memiliki crawler dengan tugas terpisah. Crawler pencarian mengumpulkan situs web agar situs dapat muncul di jawaban dan hasil pencarian asisten. Crawler pelatihan mengumpulkan teks untuk melatih model. Pengaturan ini berdiri sendiri: Anda dapat mengizinkan crawler pencarian dan memblokir crawler pelatihan.
Akses perlu diizinkan atau diblokir secara terpisah untuk setiap crawler. Keputusan umum untuk “mengizinkan AI masuk ke situs” tidak memperhitungkan perbedaan tugas mereka.
- **Crawler pencarian** memungkinkan halaman Anda muncul di jawaban asisten ketika pengguna bertanya. Izinkan crawler ini jika Anda ingin situs tersedia untuk pencarian.
- **Crawler pelatihan** mengumpulkan teks yang mungkin digunakan untuk melatih versi model mendatang. Anda yang memutuskan apakah akan mengizinkannya; hal ini tidak secara langsung memengaruhi kemunculan situs Anda dalam jawaban pencarian saat ini.
Dokumentasi OpenAI memberikan contoh: Anda dapat mengizinkan crawler pencarian merayapi situs sambil memblokir crawler pelatihan, sehingga teks situs Anda tidak digunakan untuk pelatihan. Kedua pengaturan ini dikonfigurasi secara terpisah dalam file yang sama.
## Apa nama crawler ChatGPT, Claude, dan Perplexity?
Poin utama
Untuk OpenAI, crawler pencarian adalah OAI-SearchBot, crawler pelatihan adalah GPTBot, dan ChatGPT-User mengunjungi situs atas permintaan pengguna. Untuk Anthropic: Claude-SearchBot (pencarian), ClaudeBot (pelatihan), dan Claude-User (atas permintaan pengguna). Untuk Perplexity: PerplexityBot (pencarian) dan Perplexity-User (atas permintaan pengguna). Google memiliki token Google-Extended terpisah yang mengendalikan penggunaan konten situs untuk AI generatif.
Untuk mengonfigurasi akses, Anda memerlukan nama crawler yang persis (user-agent), yang ditentukan di `robots.txt`. Tabel ini mencantumkan nama dan tujuan menurut dokumentasi resmi setiap pengembang per September 2026.
| Crawler (user-agent) atau token | Milik | Fungsinya | Izinkan agar terlihat? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Menampilkan situs web dalam pencarian ChatGPT | Ya |
| `GPTBot` | OpenAI | Mengumpulkan teks untuk melatih model | Terserah Anda |
| `ChatGPT-User` | OpenAI | Mengunjungi halaman atas permintaan pengguna | Biasanya ya |
| `Claude-SearchBot` | Anthropic | Mengindeks situs web untuk meningkatkan kualitas pencarian | Ya |
| `ClaudeBot` | Anthropic | Mengumpulkan teks untuk melatih model | Terserah Anda |
| `Claude-User` | Anthropic | Mengunjungi halaman atas permintaan pengguna Claude | Biasanya ya |
| `PerplexityBot` | Perplexity | Menampilkan dan menautkan situs web dalam pencarian | Ya |
| `Perplexity-User` | Perplexity | Mengunjungi halaman atas permintaan pengguna | Biasanya ya |
| `Google-Extended` | Google | Token yang mengendalikan penggunaan konten situs untuk AI generatif Google | Terserah Anda |
Crawler `ChatGPT-User`, `Claude-User`, dan `Perplexity-User` mengunjungi halaman atas permintaan seseorang dalam percakapan, tetapi setiap pengembang memiliki aturan akses yang berbeda. OpenAI menyatakan bahwa aturan `robots.txt` mungkin tidak berlaku untuk `ChatGPT-User`. Perplexity menyatakan bahwa `Perplexity-User` biasanya mengabaikannya karena kunjungan dimulai oleh pengguna. Anthropic mengendalikan akses `Claude-User` melalui `robots.txt`: jika Anda memblokirnya di sana, Claude tidak akan mengambil halaman sebagai tanggapan atas permintaan pengguna. Akses untuk crawler pencarian dikonfigurasi secara terpisah.
`Google-Extended` tidak memiliki baris user-agent tersendiri saat merayapi—token ini hanya menjadi token kontrol di `robots.txt`. Token tersebut menentukan apakah konten Anda dapat digunakan untuk AI generatif Google dan tidak memengaruhi Google Search biasa.
Jika Anda ingin membangun situs dengan struktur yang jelas dan teks yang mudah diakses, pikirkan cara menata informasinya.
## Cara mengizinkan crawler di robots.txt: langkah demi langkah
Poin utama
File robots.txt berada di root situs dan menetapkan aturan akses untuk crawler. Untuk mengizinkan crawler pencarian asisten, tambahkan user-agent mereka dengan izin merayapi. Setiap subdomain memerlukan file tersendiri.
`robots.txt` adalah file teks biasa di root situs Anda, yang tersedia di alamat seperti `https://example.com/robots.txt`. Crawler membacanya sebelum merayapi situs dan mengikuti petunjuknya, dengan pengecualian untuk kunjungan atas permintaan pengguna yang dijelaskan di atas.
1. **Buka file yang ada.** Masukkan alamat situs Anda di browser dan tambahkan `/robots.txt`. Periksa isi file dan apakah crawler yang Anda perlukan tanpa sengaja diblokir oleh baris `Disallow: /`. Periksa juga baris `Disallow:` untuk area terbatas—halaman akun, halaman pembayaran, bagian admin: Anda akan memerlukannya pada langkah berikutnya.
2. **Tambahkan grup untuk crawler pencarian asisten.** Setiap grup menentukan nama crawler dan aturan akses. Untuk mengizinkan perayapan, gunakan `Allow: /`. Crawler mengikuti aturan dalam grup yang secara khusus mencantumkan namanya; crawler tidak mengambil aturan dari grup umum `User-agent: *`. Pembatasan yang hanya muncul di `User-agent: *` tidak berlaku untuk crawler tersebut. Jika ada area terbatas, ulangi baris `Disallow:` yang sama di setiap grup baru, atau area itu akan terbuka bagi crawler tersebut.
3. **Buat keputusan terpisah tentang crawler pelatihan.** Jika Anda tidak ingin teks digunakan untuk pelatihan, tetapkan `Disallow: /` untuk `GPTBot` dan `ClaudeBot`. Ini tidak akan memengaruhi visibilitas dalam pencarian.
4. **Simpan file di root situs Anda** dan periksa apakah file dapat dibuka di `/robots.txt`. Jika Anda memiliki subdomain (misalnya, `blog.example.com`), masing-masing memerlukan file tersendiri—crawler membaca file milik setiap subdomain.
Sebelum menyalin contoh, periksa pembatasan untuk area terbatas. Jika Anda hanya membiarkan `Disallow: /dashboard/` di `User-agent: *`, aturan itu tidak akan berlaku untuk `OAI-SearchBot`, yang memiliki grup sendiri. Cantumkan jalur terbatas di setiap grup yang mengizinkan crawler merayapi situs.
Dalam contoh di bawah, crawler pencarian asisten diizinkan, tetapi area terbatas `/dashboard/` diblokir langsung di grup mereka; crawler pelatihan diblokir sepenuhnya. Memblokir crawler pelatihan bersifat opsional—keputusan ada pada Anda, dan Anda sebaiknya mengganti daftar jalur terbatas dengan milik Anda sendiri.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Menurut dokumentasi OpenAI dan Perplexity, sistem mereka mungkin memerlukan waktu sekitar sehari untuk memperhitungkan perubahan pada `robots.txt`. Jangan mengharapkan perubahan langsung setelah file disimpan.
## Seperti apa tampilannya di situs aktif?
Dalam contoh pengaturan `robots.txt` yang dijelaskan, nama crawler asisten—`GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended`, dan lainnya—dikumpulkan dalam satu grup. Di bawahnya terdapat `Allow: /` dan baris `Disallow:` yang sama untuk area terbatas seperti di grup umum `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/`, dan lainnya. URL sitemap dicantumkan di bagian akhir file menggunakan direktif `Sitemap:`.
Pembatasan diulangi dalam grup crawler asisten agar area terbatas juga diblokir bagi mereka. Anda dapat membuka `/robots.txt` situs mana pun dan melihat konfigurasinya—file tersebut selalu bersifat publik.
## Apa lagi yang membantu crawler memahami situs?
Poin utama
Setelah mengonfigurasi akses, periksa apakah teks halaman terlihat tanpa menjalankan skrip browser, apakah ada file sitemap.xml, dan apakah jawabannya sendiri jelas.
Meskipun perayapan diizinkan, crawler mungkin tidak memperoleh konten halaman. Selain aturan akses, periksa cara situs menyajikan teks dan membantu orang menemukan kontennya.
- **Teks langsung tersedia.** Jika skrip merender konten halaman di browser, sebagian crawler akan melihat kerangka kosong. Untuk memeriksanya, buka halaman, pilih “view page source”, lalu cari teks Anda. Jika teks tidak ada di sana dan hanya muncul pada tampilan halaman biasa, Anda perlu menelusuri cara halaman tersebut disajikan.
- **Ada sitemap.** File `sitemap.xml` berisi daftar semua halaman Anda. File ini membantu crawler agar tidak melewatkan konten. Tambahkan tautan ke file tersebut di `robots.txt` dengan baris `Sitemap:`.
- **Jawabannya jelas bagi manusia.** Crawler asisten mencari halaman yang menjawab pertanyaan. Judul yang jelas, jawaban singkat di awal, dan istilah yang jujur lebih efektif daripada daftar kata kunci.
## Mengapa situs mungkin tidak terlihat oleh AI?
Poin utama
Ada tiga penyebab yang perlu diperiksa: crawler diblokir di robots.txt, teks dibuat oleh skrip dan tidak terlihat tanpa browser, atau keamanan situs memblokir crawler. Untuk penyebab pertama, periksa file; untuk penyebab kedua, periksa cara halaman disajikan; untuk penyebab ketiga, periksa pengaturan keamanan.
Jika situs Anda tidak muncul dalam jawaban, periksa kemungkinan hambatan akses berikut.
- **Crawler diblokir di `robots.txt`.** Terkadang file tersebut berisi pembatasan umum yang memblokir crawler yang Anda perlukan. Periksa apakah ada `Disallow: /` dalam grup yang berlaku untuk crawler asisten.
- **Teks tidak terlihat tanpa browser.** Jika skrip menghasilkan konten, crawler mungkin tidak mendapatkannya. Pemeriksaan kode sumber dijelaskan di atas.
- **Keamanan situs memblokir crawler.** Banyak situs menggunakan perlindungan terhadap lalu lintas yang tidak diinginkan—misalnya, Cloudflare. Perlindungan itu dapat memblokir akses tanpa memedulikan `robots.txt`. Anda menggunakan `robots.txt` untuk mengendalikan ke mana crawler boleh pergi, sedangkan keamanan situs menentukan apakah permintaannya diizinkan. Perplexity menyarankan untuk mengizinkan crawler secara manual di pengaturan keamanan berdasarkan nama user-agent dan alamat IP yang dipublikasikan. Tetapkan aturan perayapan melalui `robots.txt`: Anthropic secara terpisah memperingatkan bahwa memblokir crawler hanya berdasarkan alamat IP tidak dapat diandalkan. Jika Anda menggunakan layanan serupa, periksa pengaturannya.
Periksa penyebabnya satu per satu: mulai dari `robots.txt`, lalu lihat kode sumber halaman, kemudian periksa pengaturan keamanan. Tidak adanya hambatan ini saja tidak menjamin situs Anda akan muncul dalam jawaban.
## Bagaimana cara memeriksa apakah crawler telah mencapai halaman?
Poin utama
Tidak ada penghitung langsung “saya dikutip”. Namun, Anda dapat memeriksa hal-hal dasar: apakah robots.txt dapat dibuka, apakah teks terlihat dalam kode sumber, dan apakah sitemap tersedia. Kunjungan crawler terlihat di log server melalui user-agent-nya.
Pemeriksaan ini membantu menilai aksesibilitas situs dan menemukan catatan kunjungan crawler.
- Buka `https://example.com/robots.txt` di browser—file tersebut seharusnya terbuka dan berisi grup yang diperlukan.
- Buka sitemap di `https://example.com/sitemap.xml`—file tersebut seharusnya terbuka dan mencantumkan halaman.
- Lihat kode sumber halaman penting dan cari teks Anda di dalamnya.
- Jika Anda memiliki akses ke log server, cari nama crawler di dalamnya—`OAI-SearchBot`, `PerplexityBot`, dan lainnya. Kunjungan mereka terlihat melalui user-agent.
Pemeriksaan ini tidak menunjukkan apakah asisten akan memilih halaman Anda secara khusus. Hal itu bergantung pada pertanyaan pengguna dan seberapa baik halaman menjawabnya.
## Apa yang tidak dijamin oleh pengaturan ini
Akses ke situs Anda dan kemunculannya dalam jawaban asisten adalah dua hasil yang berbeda. Pengaturan ini memiliki keterbatasan.
- **Kutipan tidak dijamin.** Akses terbuka hanya memberi crawler kesempatan untuk membaca situs Anda. Keputusan apakah asisten akan mengutip Anda bergantung pada asisten dan pertanyaannya.
- **Tidak ada yang menjanjikan peringkat atau lalu lintas.** Pengaturan `robots.txt` membuka akses, tetapi tidak menjamin tempat di hasil pencarian.
- **Sebagian crawler mungkin mengabaikan aturan file tersebut.** Hal ini berlaku bagi sebagian crawler yang berkunjung sebagai tanggapan atas permintaan langsung pengguna—misalnya, `ChatGPT-User` milik OpenAI dan `Perplexity-User` milik Perplexity.
- **Aturan berubah.** Pengembang memperbarui nama crawler dan ketentuannya. Sebaiknya periksa dokumentasi setiap beberapa bulan; tautannya tercantum di bagian akhir.
Anda mengendalikan akses dan kualitas situs, tetapi asisten memutuskan apakah akan menyertakan tautan. Tujuan pengaturan ini adalah menyediakan halaman berguna untuk pencarian dan dibaca, tanpa mencoba “mengelabui” asisten.
## Langkah selanjutnya
Buka `robots.txt`, tambahkan crawler pencarian asisten, lalu periksa sitemap dan ketersediaan teks. Jika keamanan memblokir akses, periksa juga pengaturannya. Langkah-langkah ini membantu mengidentifikasi dan menghapus hambatan teknis. Lalu periksa halaman itu sendiri: apakah halaman memberikan jawaban yang jelas untuk pertanyaan spesifik dari audiens Anda?
### Sumber
- [OpenAI: ikhtisar crawler (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: crawler Claude dan cara mengendalikan akses](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawler dan pengaturan keamanan situs](https://docs.perplexity.ai/guides/bots)
- [Google: ikhtisar crawler dan token Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Lanjutkan menjelajahi Ailoot di [ailoot.ai](https://ailoot.ai/).
## Pertanyaan tentang Cara Membuka Akses Situs Anda untuk Crawler Pencarian ChatGPT, Claude, dan Perplexity
### Mengapa menambahkan grup crawler bernama dapat membuka jalur yang diblokir pada User-agent: *?
Crawler dengan grup bernama yang cocok memakai aturan grup itu, bukan mewarisi grup wildcard. Ulangi aturan Disallow untuk jalur terlarang yang diperlukan pada setiap grup bernama yang Anda izinkan.
### Apakah mengizinkan crawler pencarian menjamin asisten akan mengutip halaman saya?
Tidak. Periksa robots.txt, teks sumber halaman, ketersediaan sitemap, dan log server untuk bukti akses. Pemeriksaan itu membuktikan aksesibilitas atau kunjungan, bukan bahwa asisten memilih halaman sebagai sumber jawaban.
## Ailoot · Perusahaan dan portofolio proyeknya
Ailoot bertumpu pada pengalaman operasional yang teruji, basis pelanggan yang besar, layanan yang stabil, dan pemantauan KPI berkelanjutan.
Perusahaan dan portofolio proyeknya: jutaan pelanggan; penjualan miliaran setiap bulan.
Ailoot memanfaatkan pengalaman operasional ini untuk akses API ke fitur AI dalam produk pelanggan, agen, aplikasi, dan otomatisasi.