如何讓 ChatGPT、Claude 和 Perplexity 的搜尋爬蟲存取你的網站

你建立了網站或產品，但有人詢問「推薦一個適合這項任務的服務」時，ChatGPT、Claude 和 Perplexity 卻沒有提到它。值得確認助理是否讀得到你的網站，以及存取是否遭到封鎖。

沒有任何按鈕能讓你「出現在 AI 的回答中」，也沒有人能保證網站會被引用。ChatGPT、Claude 和 Perplexity 各自有用於搜尋的爬蟲：你可以透過 robots.txt 允許它們存取網站。接著，確認它們是否讀得到網頁文字，以及網站的安全防護是否造成阻礙。

「讓 AI 看得到」是什麼意思？#

有人詢問 ChatGPT 或 Perplexity「我可以在哪裡閱讀 X？」或「我該選哪個服務？」時，助理有時會搜尋網路，並附上網頁連結。要讓你的網頁成為候選頁面之一，助理的爬蟲必須讀過該頁，而且不能遭到拒絕存取。

你需要檢查網站的三件事：

• 爬蟲可以存取網站：沒有在 robots.txt 中遭到封鎖，安全措施也沒有阻止存取；
• 爬蟲看得到網頁文字，而不是只能看到由瀏覽器填入內容的空殼；
• 網頁誠實且清楚地回答特定問題，而不是以關鍵字清單取代答案。

先確認存取狀況：如果爬蟲讀不到網頁，也就無法取得其中有用的文字。

搜尋爬蟲和訓練爬蟲有什麼不同？#

你應針對每個爬蟲分別決定要允許或封鎖存取。籠統地決定「讓 AI 存取網站」，並未考慮它們任務上的差異。

• 搜尋爬蟲會讓你的網頁有機會在使用者提問時出現在助理的回答中。如果你希望網站能透過搜尋找到，請允許它存取。
• 訓練爬蟲會蒐集可能用於訓練未來模型版本的文字。是否允許由你決定；這不會直接影響網站是否出現在目前的搜尋回答中。

OpenAI 的文件舉例說明，你可以允許搜尋爬蟲巡覽網站，同時封鎖訓練爬蟲，以免網站文字用於訓練。這兩項設定可在同一個檔案中分別設定。

ChatGPT、Claude 和 Perplexity 的爬蟲名稱是什麼？#

若要設定存取權限，你需要爬蟲的正確名稱（user-agent），並在 robots.txt 中指定。下表列出各開發商官方文件所載的名稱和用途，資料截至 2026 年 9 月。

ChatGPT-User、Claude-User 和 Perplexity-User 會在對話中依使用者要求造訪網頁，但各開發商的存取規則不盡相同。OpenAI 表示，robots.txt 規則可能不適用於 ChatGPT-User。Perplexity 表示，Perplexity-User 通常會忽略這些規則，因為造訪是由使用者發起。Anthropic 則透過 robots.txt 控制 Claude-User 的存取：如果你在檔案中封鎖它，Claude 就不會依使用者要求擷取網頁。搜尋爬蟲的存取權限則另行設定。

Google-Extended 在巡覽時沒有專屬的 user-agent 行；它只是在 robots.txt 中使用的控制權杖。它決定你的內容是否能供 Google 生成式 AI 使用，不會影響一般 Google 搜尋。

如果你想建立結構清楚、文字易於存取的網站，可以仔細規劃資訊的整理方式。

如何在 robots.txt 中允許爬蟲：逐步操作#

robots.txt 是放在網站根目錄的純文字檔，網址類似 https://example.com/robots.txt。爬蟲會在巡覽前讀取檔案並遵循其中的指示，但上述依使用者要求進行的造訪例外。

1. 開啟目前的檔案。 在瀏覽器輸入網站網址，並在後方加上 /robots.txt。查看檔案目前的內容，以及你需要的爬蟲是否意外遭到 Disallow: / 這一行封鎖。也要找出限制區域的 Disallow: 行，例如帳戶頁面、付款頁面和管理區；下一個步驟會用到它們。
2. 新增助理搜尋爬蟲的群組。 每個群組都會指定爬蟲名稱和存取規則。若要允許巡覽，請使用 Allow: /。爬蟲會遵循其名稱被單獨指定的群組規則，不會沿用一般的 User-agent: * 群組規則。只出現在 User-agent: * 中的限制不適用於該爬蟲。如果你有要限制的區域，請在每個新群組中重複加入相同的 Disallow: 行，否則那些區域就會對該爬蟲開放。
3. 另外決定是否允許訓練爬蟲。 如果不希望文字用於訓練，請對 GPTBot 和 ClaudeBot 設定 Disallow: /。這不會影響搜尋能見度。
4. 將檔案儲存在網站根目錄，並確認可以透過 /robots.txt 開啟。如果你有子網域（例如 blog.example.com），每個子網域都需要自己的檔案；爬蟲會讀取各子網域所屬的檔案。

複製範例前，請先確認限制區域的規則。如果只在 User-agent: * 中保留 Disallow: /dashboard/，該規則就不會套用到有獨立群組的 OAI-SearchBot。請在每個允許爬蟲巡覽的群組中列出受限制的路徑。

在下方範例中，助理的搜尋爬蟲獲准存取，但各自的群組會直接封鎖受限制的 /dashboard/ 區域；訓練爬蟲則完全遭到封鎖。封鎖訓練爬蟲是選擇性的，由你決定，並應以自己的受限路徑清單取代範例中的路徑。

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

根據 OpenAI 和 Perplexity 的文件，系統可能需要大約一天才會套用 robots.txt 的變更。儲存檔案後不要期待立即生效。

實際運作中的網站會是什麼樣子？#

在上述 robots.txt 設定範例中，GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、PerplexityBot、Perplexity-User、Google-Extended 等助理爬蟲名稱都集中在同一個群組。它們下方有 Allow: /，以及和一般 User-agent: * 群組相同的受限區域 Disallow: 行：/dashboard/、/admin/、/login、/account/、/order/ 等。檔案末尾則使用 Sitemap: 指示詞列出網站地圖網址。

在助理爬蟲群組中重複列出限制，才能一併封鎖它們對受限區域的存取。你可以開啟任何網站的 /robots.txt，查看它的設定；這個檔案一律公開。

還有哪些做法有助於爬蟲理解網站？#

即使允許巡覽，爬蟲也不一定能取得頁面內容。除了存取規則，也要檢查網站如何提供文字，以及如何協助訪客找到內容。

• 文字一開始就能取得。 如果頁面內容是由瀏覽器中的指令碼呈現，有些爬蟲看到的會是空殼。若要檢查，請開啟頁面，選擇「檢視網頁原始碼」，再搜尋你的文字。如果原始碼中找不到文字，只有一般頁面檢視時才會出現，就需要進一步檢查頁面的提供方式。
• 網站有網站地圖。 sitemap.xml 檔案會列出所有頁面，幫助爬蟲避免漏掉內容。請在 robots.txt 中加入 Sitemap: 行，指向網站地圖。
• 答案對人來說清楚易懂。 助理的爬蟲會尋找能回答問題的網頁。明確的標題、開頭的簡短回答，以及誠實的用詞，都比關鍵字清單更有效。

為什麼 AI 看不到某個網站？#

如果網站沒有出現在回答中，請檢查以下可能的存取障礙。

• 爬蟲在 robots.txt 中遭到封鎖。 檔案中有時會包含封鎖所需爬蟲的一般限制。請確認是否有適用於助理爬蟲的群組包含 Disallow: /。
• 不使用瀏覽器就看不到文字。 如果內容是由指令碼產生，爬蟲可能無法取得。上文已說明如何檢查原始碼。
• 網站的安全防護封鎖了爬蟲。 許多網站使用 Cloudflare 等服務防止不必要的流量。無論 robots.txt 如何設定，這些服務都可能封鎖存取。你可以用 robots.txt 控制爬蟲能前往哪些位置；網站的安全防護則決定是否讓爬蟲的請求通過。Perplexity 建議在安全設定中，依 user-agent 名稱和已公布的 IP 位址手動允許爬蟲。請透過 robots.txt 設定巡覽規則：Anthropic 另有警告，只依 IP 位址封鎖爬蟲並不可靠。如果你使用類似服務，請檢查它的設定。

請逐一檢查可能原因：先查看 robots.txt，再檢查頁面原始碼，最後查看安全設定。即使沒有這些障礙，也不代表網站一定會出現在回答中。

如何確認爬蟲是否造訪過網頁？#

這項檢查有助於評估網站的可存取性，並找出爬蟲造訪的紀錄。

• 在瀏覽器中開啟 https://example.com/robots.txt：檔案應該能開啟，並包含所需的群組。
• 在 https://example.com/sitemap.xml 開啟網站地圖：檔案應該能開啟並列出頁面。
• 檢視重要網頁的原始碼，確認其中是否包含你的文字。
• 如果你能存取伺服器記錄，請搜尋爬蟲名稱，例如 OAI-SearchBot、PerplexityBot 等。你可以透過 user-agent 查看它們的造訪紀錄。

這項檢查無法顯示助理是否會特別選用你的網頁。這取決於使用者的問題，以及網頁回答問題的品質。

這些設定無法保證什麼#

網站可以被存取，和網站出現在助理的回答中，是兩種不同的結果。這些設定有其限制。

• 不保證會被引用。 開放存取只代表爬蟲有機會讀取網站。助理是否引用你，取決於助理如何根據問題作出判斷。
• 不保證排名或流量。 robots.txt 設定會開放存取，但不會確保網站在搜尋結果中的排名。
• 有些爬蟲可能不遵守檔案規則。 這適用於一些依使用者直接要求而造訪的爬蟲，例如 OpenAI 的 ChatGPT-User 和 Perplexity 的 Perplexity-User。
• 規則會改變。 開發商會更新爬蟲名稱和條件。建議每隔幾個月查看一次文件；相關連結列在文末。

你可以控制網站的存取權限和品質，但是否加入連結由助理決定。設定的目標是讓有用的網頁能供搜尋和閱讀，而不是試圖「騙過」助理。

接下來#

開啟 robots.txt，新增助理的搜尋爬蟲，並確認網站地圖和文字都能正常存取。如果安全防護阻止存取，也請檢查相關設定。這些步驟有助於找出並排除技術障礙。接著檢查網頁本身：它們是否清楚回答了目標讀者會提出的具體問題？