Cara Membuka Akses Situs Anda untuk Crawler Pencarian ChatGPT, Claude, dan Perplexity

Anda telah membangun situs web atau produk, tetapi ketika seseorang bertanya, “rekomendasikan layanan untuk tugas ini,” ChatGPT, Claude, dan Perplexity tidak menyebutkannya. Sebaiknya periksa apakah asisten dapat membaca situs Anda dan apakah aksesnya diblokir.

Tidak ada tombol untuk “masuk ke jawaban AI”, dan tidak ada yang dapat menjamin situs Anda akan dikutip. ChatGPT, Claude, dan Perplexity memiliki crawler terpisah untuk pencarian: Anda dapat mengizinkan mereka mengakses situs melalui robots.txt. Lalu, periksa apakah mereka dapat mengakses teks halaman dan apakah keamanan situs Anda menghalangi akses.

Apa arti “terlihat oleh AI”?#

Ketika seseorang bertanya kepada ChatGPT atau Perplexity “di mana saya bisa membaca tentang X?” atau “layanan mana yang sebaiknya saya pilih?”, terkadang asisten mencari di web dan menambahkan tautan ke halaman. Agar halaman Anda masuk ke daftar kandidat ini, crawler asisten harus sudah membacanya dan tidak ditolak aksesnya.

Ada tiga hal yang perlu diperiksa di situs Anda:

• crawler dapat mengakses situs: situs tidak diblokir di robots.txt, dan langkah keamanan tidak mencegah akses;
• crawler dapat melihat teks halaman, bukan kerangka kosong yang diisi oleh browser;
• halaman menjawab pertanyaan tertentu secara jujur dan jelas, alih-alih mengganti jawaban dengan daftar kata kunci.

Mulailah dengan akses: jika crawler tidak dapat membaca halaman, crawler juga tidak akan memperoleh teks berguna di dalamnya.

Apa perbedaan crawler pencarian dan crawler pelatihan?#

Akses perlu diizinkan atau diblokir secara terpisah untuk setiap crawler. Keputusan umum untuk “mengizinkan AI masuk ke situs” tidak memperhitungkan perbedaan tugas mereka.

• Crawler pencarian memungkinkan halaman Anda muncul di jawaban asisten ketika pengguna bertanya. Izinkan crawler ini jika Anda ingin situs tersedia untuk pencarian.
• Crawler pelatihan mengumpulkan teks yang mungkin digunakan untuk melatih versi model mendatang. Anda yang memutuskan apakah akan mengizinkannya; hal ini tidak secara langsung memengaruhi kemunculan situs Anda dalam jawaban pencarian saat ini.

Dokumentasi OpenAI memberikan contoh: Anda dapat mengizinkan crawler pencarian merayapi situs sambil memblokir crawler pelatihan, sehingga teks situs Anda tidak digunakan untuk pelatihan. Kedua pengaturan ini dikonfigurasi secara terpisah dalam file yang sama.

Apa nama crawler ChatGPT, Claude, dan Perplexity?#

Untuk mengonfigurasi akses, Anda memerlukan nama crawler yang persis (user-agent), yang ditentukan di robots.txt. Tabel ini mencantumkan nama dan tujuan menurut dokumentasi resmi setiap pengembang per September 2026.

Crawler ChatGPT-User, Claude-User, dan Perplexity-User mengunjungi halaman atas permintaan seseorang dalam percakapan, tetapi setiap pengembang memiliki aturan akses yang berbeda. OpenAI menyatakan bahwa aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User. Perplexity menyatakan bahwa Perplexity-User biasanya mengabaikannya karena kunjungan dimulai oleh pengguna. Anthropic mengendalikan akses Claude-User melalui robots.txt: jika Anda memblokirnya di sana, Claude tidak akan mengambil halaman sebagai tanggapan atas permintaan pengguna. Akses untuk crawler pencarian dikonfigurasi secara terpisah.

Google-Extended tidak memiliki baris user-agent tersendiri saat merayapi—token ini hanya menjadi token kontrol di robots.txt. Token tersebut menentukan apakah konten Anda dapat digunakan untuk AI generatif Google dan tidak memengaruhi Google Search biasa.

Jika Anda ingin membangun situs dengan struktur yang jelas dan teks yang mudah diakses, pikirkan cara menata informasinya.

Cara mengizinkan crawler di robots.txt: langkah demi langkah#

robots.txt adalah file teks biasa di root situs Anda, yang tersedia di alamat seperti https://example.com/robots.txt. Crawler membacanya sebelum merayapi situs dan mengikuti petunjuknya, dengan pengecualian untuk kunjungan atas permintaan pengguna yang dijelaskan di atas.

1. Buka file yang ada. Masukkan alamat situs Anda di browser dan tambahkan /robots.txt. Periksa isi file dan apakah crawler yang Anda perlukan tanpa sengaja diblokir oleh baris Disallow: /. Periksa juga baris Disallow: untuk area terbatas—halaman akun, halaman pembayaran, bagian admin: Anda akan memerlukannya pada langkah berikutnya.
2. Tambahkan grup untuk crawler pencarian asisten. Setiap grup menentukan nama crawler dan aturan akses. Untuk mengizinkan perayapan, gunakan Allow: /. Crawler mengikuti aturan dalam grup yang secara khusus mencantumkan namanya; crawler tidak mengambil aturan dari grup umum User-agent: *. Pembatasan yang hanya muncul di User-agent: * tidak berlaku untuk crawler tersebut. Jika ada area terbatas, ulangi baris Disallow: yang sama di setiap grup baru, atau area itu akan terbuka bagi crawler tersebut.
3. Buat keputusan terpisah tentang crawler pelatihan. Jika Anda tidak ingin teks digunakan untuk pelatihan, tetapkan Disallow: / untuk GPTBot dan ClaudeBot. Ini tidak akan memengaruhi visibilitas dalam pencarian.
4. Simpan file di root situs Anda dan periksa apakah file dapat dibuka di /robots.txt. Jika Anda memiliki subdomain (misalnya, blog.example.com), masing-masing memerlukan file tersendiri—crawler membaca file milik setiap subdomain.

Sebelum menyalin contoh, periksa pembatasan untuk area terbatas. Jika Anda hanya membiarkan Disallow: /dashboard/ di User-agent: *, aturan itu tidak akan berlaku untuk OAI-SearchBot, yang memiliki grup sendiri. Cantumkan jalur terbatas di setiap grup yang mengizinkan crawler merayapi situs.

Dalam contoh di bawah, crawler pencarian asisten diizinkan, tetapi area terbatas /dashboard/ diblokir langsung di grup mereka; crawler pelatihan diblokir sepenuhnya. Memblokir crawler pelatihan bersifat opsional—keputusan ada pada Anda, dan Anda sebaiknya mengganti daftar jalur terbatas dengan milik Anda sendiri.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Menurut dokumentasi OpenAI dan Perplexity, sistem mereka mungkin memerlukan waktu sekitar sehari untuk memperhitungkan perubahan pada robots.txt. Jangan mengharapkan perubahan langsung setelah file disimpan.

Seperti apa tampilannya di situs aktif?#

Dalam contoh pengaturan robots.txt yang dijelaskan, nama crawler asisten—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended, dan lainnya—dikumpulkan dalam satu grup. Di bawahnya terdapat Allow: / dan baris Disallow: yang sama untuk area terbatas seperti di grup umum User-agent: *: /dashboard/, /admin/, /login, /account/, /order/, dan lainnya. URL sitemap dicantumkan di bagian akhir file menggunakan direktif Sitemap:.

Pembatasan diulangi dalam grup crawler asisten agar area terbatas juga diblokir bagi mereka. Anda dapat membuka /robots.txt situs mana pun dan melihat konfigurasinya—file tersebut selalu bersifat publik.

Apa lagi yang membantu crawler memahami situs?#

Meskipun perayapan diizinkan, crawler mungkin tidak memperoleh konten halaman. Selain aturan akses, periksa cara situs menyajikan teks dan membantu orang menemukan kontennya.

• Teks langsung tersedia. Jika skrip merender konten halaman di browser, sebagian crawler akan melihat kerangka kosong. Untuk memeriksanya, buka halaman, pilih “view page source”, lalu cari teks Anda. Jika teks tidak ada di sana dan hanya muncul pada tampilan halaman biasa, Anda perlu menelusuri cara halaman tersebut disajikan.
• Ada sitemap. File sitemap.xml berisi daftar semua halaman Anda. File ini membantu crawler agar tidak melewatkan konten. Tambahkan tautan ke file tersebut di robots.txt dengan baris Sitemap:.
• Jawabannya jelas bagi manusia. Crawler asisten mencari halaman yang menjawab pertanyaan. Judul yang jelas, jawaban singkat di awal, dan istilah yang jujur lebih efektif daripada daftar kata kunci.

Mengapa situs mungkin tidak terlihat oleh AI?#

Jika situs Anda tidak muncul dalam jawaban, periksa kemungkinan hambatan akses berikut.

• Crawler diblokir di robots.txt. Terkadang file tersebut berisi pembatasan umum yang memblokir crawler yang Anda perlukan. Periksa apakah ada Disallow: / dalam grup yang berlaku untuk crawler asisten.
• Teks tidak terlihat tanpa browser. Jika skrip menghasilkan konten, crawler mungkin tidak mendapatkannya. Pemeriksaan kode sumber dijelaskan di atas.
• Keamanan situs memblokir crawler. Banyak situs menggunakan perlindungan terhadap lalu lintas yang tidak diinginkan—misalnya, Cloudflare. Perlindungan itu dapat memblokir akses tanpa memedulikan robots.txt. Anda menggunakan robots.txt untuk mengendalikan ke mana crawler boleh pergi, sedangkan keamanan situs menentukan apakah permintaannya diizinkan. Perplexity menyarankan untuk mengizinkan crawler secara manual di pengaturan keamanan berdasarkan nama user-agent dan alamat IP yang dipublikasikan. Tetapkan aturan perayapan melalui robots.txt: Anthropic secara terpisah memperingatkan bahwa memblokir crawler hanya berdasarkan alamat IP tidak dapat diandalkan. Jika Anda menggunakan layanan serupa, periksa pengaturannya.

Periksa penyebabnya satu per satu: mulai dari robots.txt, lalu lihat kode sumber halaman, kemudian periksa pengaturan keamanan. Tidak adanya hambatan ini saja tidak menjamin situs Anda akan muncul dalam jawaban.

Bagaimana cara memeriksa apakah crawler telah mencapai halaman?#

Pemeriksaan ini membantu menilai aksesibilitas situs dan menemukan catatan kunjungan crawler.

• Buka https://example.com/robots.txt di browser—file tersebut seharusnya terbuka dan berisi grup yang diperlukan.
• Buka sitemap di https://example.com/sitemap.xml—file tersebut seharusnya terbuka dan mencantumkan halaman.
• Lihat kode sumber halaman penting dan cari teks Anda di dalamnya.
• Jika Anda memiliki akses ke log server, cari nama crawler di dalamnya—OAI-SearchBot, PerplexityBot, dan lainnya. Kunjungan mereka terlihat melalui user-agent.

Pemeriksaan ini tidak menunjukkan apakah asisten akan memilih halaman Anda secara khusus. Hal itu bergantung pada pertanyaan pengguna dan seberapa baik halaman menjawabnya.

Apa yang tidak dijamin oleh pengaturan ini#

Akses ke situs Anda dan kemunculannya dalam jawaban asisten adalah dua hasil yang berbeda. Pengaturan ini memiliki keterbatasan.

• Kutipan tidak dijamin. Akses terbuka hanya memberi crawler kesempatan untuk membaca situs Anda. Keputusan apakah asisten akan mengutip Anda bergantung pada asisten dan pertanyaannya.
• Tidak ada yang menjanjikan peringkat atau lalu lintas. Pengaturan robots.txt membuka akses, tetapi tidak menjamin tempat di hasil pencarian.
• Sebagian crawler mungkin mengabaikan aturan file tersebut. Hal ini berlaku bagi sebagian crawler yang berkunjung sebagai tanggapan atas permintaan langsung pengguna—misalnya, ChatGPT-User milik OpenAI dan Perplexity-User milik Perplexity.
• Aturan berubah. Pengembang memperbarui nama crawler dan ketentuannya. Sebaiknya periksa dokumentasi setiap beberapa bulan; tautannya tercantum di bagian akhir.

Anda mengendalikan akses dan kualitas situs, tetapi asisten memutuskan apakah akan menyertakan tautan. Tujuan pengaturan ini adalah menyediakan halaman berguna untuk pencarian dan dibaca, tanpa mencoba “mengelabui” asisten.

Langkah selanjutnya#

Buka robots.txt, tambahkan crawler pencarian asisten, lalu periksa sitemap dan ketersediaan teks. Jika keamanan memblokir akses, periksa juga pengaturannya. Langkah-langkah ini membantu mengidentifikasi dan menghapus hambatan teknis. Lalu periksa halaman itu sendiri: apakah halaman memberikan jawaban yang jelas untuk pertanyaan spesifik dari audiens Anda?