# 如何讓 ChatGPT、Claude 和 Perplexity 的搜尋爬蟲存取你的網站 > 搜尋與訓練爬蟲的名稱、完整的 robots.txt 範例、網站地圖、文字可用性及引用限制。 Source: https://ailoot.ai/blog/zh-hant-tw/ai-search-crawlers-robots-txt/ Canonical: https://ailoot.ai/blog/zh-hant-tw/ai-search-crawlers-robots-txt/ Language: zh-Hant-TW Publisher: Ailoot (https://ailoot.ai/) Translation: guide-144 Revision: sha256-2891d0ad7a1bd9ddcf14b3e365135bf1e0544800adac6cb33dcf32fc376c5402 你建立了網站或產品，但有人詢問「推薦一個適合這項任務的服務」時，ChatGPT、Claude 和 Perplexity 卻沒有提到它。值得確認助理是否讀得到你的網站，以及存取是否遭到封鎖。 沒有任何按鈕能讓你「出現在 AI 的回答中」，也沒有人能保證網站會被引用。ChatGPT、Claude 和 Perplexity 各自有用於搜尋的爬蟲：你可以透過 `robots.txt` 允許它們存取網站。接著，確認它們是否讀得到網頁文字，以及網站的安全防護是否造成阻礙。
Ailoot 的實用操作說明請參閱[文件](https://ailoot.ai/docs/)。
## 「讓 AI 看得到」是什麼意思？
重要重點 AI 助理會使用不同爬蟲執行不同任務：有些會蒐集網站，供助理內的搜尋功能使用；另一些會蒐集文字來訓練模型。前者與搜尋回答有關。你可以允許爬蟲存取網站，但這不代表助理一定會引用你；沒有人能保證網站會被引用。
有人詢問 ChatGPT 或 Perplexity「我可以在哪裡閱讀 X？」或「我該選哪個服務？」時，助理有時會搜尋網路，並附上網頁連結。要讓你的網頁成為候選頁面之一，助理的爬蟲必須讀過該頁，而且不能遭到拒絕存取。 你需要檢查網站的三件事： - 爬蟲可以存取網站：沒有在 `robots.txt` 中遭到封鎖，安全措施也沒有阻止存取； - 爬蟲看得到網頁文字，而不是只能看到由瀏覽器填入內容的空殼； - 網頁誠實且清楚地回答特定問題，而不是以關鍵字清單取代答案。 先確認存取狀況：如果爬蟲讀不到網頁，也就無法取得其中有用的文字。 ## 搜尋爬蟲和訓練爬蟲有什麼不同？
重要重點 各大助理都有分工不同的爬蟲。搜尋爬蟲會蒐集網站，讓網站能出現在助理的回答和搜尋結果中。訓練爬蟲會蒐集文字來訓練模型。這兩項設定彼此獨立：你可以允許搜尋爬蟲存取，同時封鎖訓練爬蟲。
你應針對每個爬蟲分別決定要允許或封鎖存取。籠統地決定「讓 AI 存取網站」，並未考慮它們任務上的差異。 - **搜尋爬蟲**會讓你的網頁有機會在使用者提問時出現在助理的回答中。如果你希望網站能透過搜尋找到，請允許它存取。 - **訓練爬蟲**會蒐集可能用於訓練未來模型版本的文字。是否允許由你決定；這不會直接影響網站是否出現在目前的搜尋回答中。 OpenAI 的文件舉例說明，你可以允許搜尋爬蟲巡覽網站，同時封鎖訓練爬蟲，以免網站文字用於訓練。這兩項設定可在同一個檔案中分別設定。 ## ChatGPT、Claude 和 Perplexity 的爬蟲名稱是什麼？
重要重點 OpenAI 的搜尋爬蟲是 OAI-SearchBot，訓練爬蟲是 GPTBot，而 ChatGPT-User 會依使用者要求造訪網頁。Anthropic 的爬蟲是 Claude-SearchBot（搜尋）、ClaudeBot（訓練）和 Claude-User（依使用者要求造訪）。Perplexity 使用 PerplexityBot（搜尋）和 Perplexity-User（依使用者要求造訪）。Google 另有一個 Google-Extended 權杖，用來控制網站內容是否供生成式 AI 使用。
若要設定存取權限，你需要爬蟲的正確名稱（user-agent），並在 `robots.txt` 中指定。下表列出各開發商官方文件所載的名稱和用途，資料截至 2026 年 9 月。 | 爬蟲（user-agent）或權杖 | 所屬單位 | 用途 | 若要提升搜尋能見度，是否允許？ | |----|----|----|----| | `OAI-SearchBot` | OpenAI | 在 ChatGPT 搜尋中顯示網站 | 是 | | `GPTBot` | OpenAI | 蒐集文字來訓練模型 | 由你決定 | | `ChatGPT-User` | OpenAI | 依使用者要求造訪網頁 | 通常允許 | | `Claude-SearchBot` | Anthropic | 將網站編入索引，以提升搜尋品質 | 是 | | `ClaudeBot` | Anthropic | 蒐集文字來訓練模型 | 由你決定 | | `Claude-User` | Anthropic | 依 Claude 使用者要求造訪網頁 | 通常允許 | | `PerplexityBot` | Perplexity | 在搜尋結果中顯示網站並連結至網站 | 是 | | `Perplexity-User` | Perplexity | 依使用者要求造訪網頁 | 通常允許 | | `Google-Extended` | Google | 控制 Google 生成式 AI 是否使用網站內容的權杖 | 由你決定 | `ChatGPT-User`、`Claude-User` 和 `Perplexity-User` 會在對話中依使用者要求造訪網頁，但各開發商的存取規則不盡相同。OpenAI 表示，`robots.txt` 規則可能不適用於 `ChatGPT-User`。Perplexity 表示，`Perplexity-User` 通常會忽略這些規則，因為造訪是由使用者發起。Anthropic 則透過 `robots.txt` 控制 `Claude-User` 的存取：如果你在檔案中封鎖它，Claude 就不會依使用者要求擷取網頁。搜尋爬蟲的存取權限則另行設定。 `Google-Extended` 在巡覽時沒有專屬的 user-agent 行；它只是在 `robots.txt` 中使用的控制權杖。它決定你的內容是否能供 Google 生成式 AI 使用，不會影響一般 Google 搜尋。 如果你想建立結構清楚、文字易於存取的網站，可以仔細規劃資訊的整理方式。 ## 如何在 robots.txt 中允許爬蟲：逐步操作
重要重點 robots.txt 檔案位於網站根目錄，用來設定爬蟲的存取規則。若要允許助理的搜尋爬蟲存取，請新增其 user-agent，並允許它巡覽網站。每個子網域都需要自己的檔案。
`robots.txt` 是放在網站根目錄的純文字檔，網址類似 `https://example.com/robots.txt`。爬蟲會在巡覽前讀取檔案並遵循其中的指示，但上述依使用者要求進行的造訪例外。 1. **開啟目前的檔案。** 在瀏覽器輸入網站網址，並在後方加上 `/robots.txt`。查看檔案目前的內容，以及你需要的爬蟲是否意外遭到 `Disallow: /` 這一行封鎖。也要找出限制區域的 `Disallow:` 行，例如帳戶頁面、付款頁面和管理區；下一個步驟會用到它們。 2. **新增助理搜尋爬蟲的群組。** 每個群組都會指定爬蟲名稱和存取規則。若要允許巡覽，請使用 `Allow: /`。爬蟲會遵循其名稱被單獨指定的群組規則，不會沿用一般的 `User-agent: *` 群組規則。只出現在 `User-agent: *` 中的限制不適用於該爬蟲。如果你有要限制的區域，請在每個新群組中重複加入相同的 `Disallow:` 行，否則那些區域就會對該爬蟲開放。 3. **另外決定是否允許訓練爬蟲。** 如果不希望文字用於訓練，請對 `GPTBot` 和 `ClaudeBot` 設定 `Disallow: /`。這不會影響搜尋能見度。 4. 將檔案儲存在網站根目錄，並確認可以透過 `/robots.txt` 開啟。如果你有子網域（例如 `blog.example.com`），每個子網域都需要自己的檔案；爬蟲會讀取各子網域所屬的檔案。 複製範例前，請先確認限制區域的規則。如果只在 `User-agent: *` 中保留 `Disallow: /dashboard/`，該規則就不會套用到有獨立群組的 `OAI-SearchBot`。請在每個允許爬蟲巡覽的群組中列出受限制的路徑。 在下方範例中，助理的搜尋爬蟲獲准存取，但各自的群組會直接封鎖受限制的 `/dashboard/` 區域；訓練爬蟲則完全遭到封鎖。封鎖訓練爬蟲是選擇性的，由你決定，並應以自己的受限路徑清單取代範例中的路徑。 ``` # Allow assistants' search crawlers, but block restricted areas User-agent: OAI-SearchBot Allow: / Disallow: /dashboard/ User-agent: Claude-SearchBot Allow: / Disallow: /dashboard/ User-agent: PerplexityBot Allow: / Disallow: /dashboard/ # Block training crawlers (optional) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # The sitemap helps crawlers find all pages Sitemap: https://example.com/sitemap.xml ``` 根據 OpenAI 和 Perplexity 的文件，系統可能需要大約一天才會套用 `robots.txt` 的變更。儲存檔案後不要期待立即生效。 ## 實際運作中的網站會是什麼樣子？ 在上述 `robots.txt` 設定範例中，`GPTBot`、`ChatGPT-User`、`OAI-SearchBot`、`ClaudeBot`、`PerplexityBot`、`Perplexity-User`、`Google-Extended` 等助理爬蟲名稱都集中在同一個群組。它們下方有 `Allow: /`，以及和一般 `User-agent: *` 群組相同的受限區域 `Disallow:` 行：`/dashboard/`、`/admin/`、`/login`、`/account/`、`/order/` 等。檔案末尾則使用 `Sitemap:` 指示詞列出網站地圖網址。 在助理爬蟲群組中重複列出限制，才能一併封鎖它們對受限區域的存取。你可以開啟任何網站的 `/robots.txt`，查看它的設定；這個檔案一律公開。 ## 還有哪些做法有助於爬蟲理解網站？
重要重點 設定好存取權限後，請確認不執行瀏覽器指令碼也能看到頁面文字、是否有 sitemap.xml 檔案，以及答案本身是否清楚。
即使允許巡覽，爬蟲也不一定能取得頁面內容。除了存取規則，也要檢查網站如何提供文字，以及如何協助訪客找到內容。 - **文字一開始就能取得。** 如果頁面內容是由瀏覽器中的指令碼呈現，有些爬蟲看到的會是空殼。若要檢查，請開啟頁面，選擇「檢視網頁原始碼」，再搜尋你的文字。如果原始碼中找不到文字，只有一般頁面檢視時才會出現，就需要進一步檢查頁面的提供方式。 - **網站有網站地圖。** `sitemap.xml` 檔案會列出所有頁面，幫助爬蟲避免漏掉內容。請在 `robots.txt` 中加入 `Sitemap:` 行，指向網站地圖。 - **答案對人來說清楚易懂。** 助理的爬蟲會尋找能回答問題的網頁。明確的標題、開頭的簡短回答，以及誠實的用詞，都比關鍵字清單更有效。 ## 為什麼 AI 看不到某個網站？
重要重點 有三種原因值得檢查：爬蟲在 robots.txt 中遭到封鎖、文字由指令碼產生而無法在瀏覽器之外看見，或網站的安全防護封鎖了爬蟲。第一種情況請檢查檔案；第二種請檢查頁面的提供方式；第三種則請檢查安全設定。
如果網站沒有出現在回答中，請檢查以下可能的存取障礙。 - **爬蟲在 `robots.txt` 中遭到封鎖。** 檔案中有時會包含封鎖所需爬蟲的一般限制。請確認是否有適用於助理爬蟲的群組包含 `Disallow: /`。 - **不使用瀏覽器就看不到文字。** 如果內容是由指令碼產生，爬蟲可能無法取得。上文已說明如何檢查原始碼。 - **網站的安全防護封鎖了爬蟲。** 許多網站使用 Cloudflare 等服務防止不必要的流量。無論 `robots.txt` 如何設定，這些服務都可能封鎖存取。你可以用 `robots.txt` 控制爬蟲能前往哪些位置；網站的安全防護則決定是否讓爬蟲的請求通過。Perplexity 建議在安全設定中，依 user-agent 名稱和已公布的 IP 位址手動允許爬蟲。請透過 `robots.txt` 設定巡覽規則：Anthropic 另有警告，只依 IP 位址封鎖爬蟲並不可靠。如果你使用類似服務，請檢查它的設定。 請逐一檢查可能原因：先查看 `robots.txt`，再檢查頁面原始碼，最後查看安全設定。即使沒有這些障礙，也不代表網站一定會出現在回答中。 ## 如何確認爬蟲是否造訪過網頁？
重要重點 沒有直接顯示「我被引用了」的計數器。不過你可以檢查基本項目：robots.txt 是否能開啟、原始碼中是否看得到文字，以及網站地圖是否可供存取。你可以在伺服器記錄中透過 user-agent 查看爬蟲的造訪紀錄。
這項檢查有助於評估網站的可存取性，並找出爬蟲造訪的紀錄。 - 在瀏覽器中開啟 `https://example.com/robots.txt`：檔案應該能開啟，並包含所需的群組。 - 在 `https://example.com/sitemap.xml` 開啟網站地圖：檔案應該能開啟並列出頁面。 - 檢視重要網頁的原始碼，確認其中是否包含你的文字。 - 如果你能存取伺服器記錄，請搜尋爬蟲名稱，例如 `OAI-SearchBot`、`PerplexityBot` 等。你可以透過 user-agent 查看它們的造訪紀錄。 這項檢查無法顯示助理是否會特別選用你的網頁。這取決於使用者的問題，以及網頁回答問題的品質。 ## 這些設定無法保證什麼 網站可以被存取，和網站出現在助理的回答中，是兩種不同的結果。這些設定有其限制。 - **不保證會被引用。** 開放存取只代表爬蟲有機會讀取網站。助理是否引用你，取決於助理如何根據問題作出判斷。 - **不保證排名或流量。** `robots.txt` 設定會開放存取，但不會確保網站在搜尋結果中的排名。 - **有些爬蟲可能不遵守檔案規則。** 這適用於一些依使用者直接要求而造訪的爬蟲，例如 OpenAI 的 `ChatGPT-User` 和 Perplexity 的 `Perplexity-User`。 - **規則會改變。** 開發商會更新爬蟲名稱和條件。建議每隔幾個月查看一次文件；相關連結列在文末。 你可以控制網站的存取權限和品質，但是否加入連結由助理決定。設定的目標是讓有用的網頁能供搜尋和閱讀，而不是試圖「騙過」助理。 ## 接下來 開啟 `robots.txt`，新增助理的搜尋爬蟲，並確認網站地圖和文字都能正常存取。如果安全防護阻止存取，也請檢查相關設定。這些步驟有助於找出並排除技術障礙。接著檢查網頁本身：它們是否清楚回答了目標讀者會提出的具體問題？
### 來源 - [OpenAI：爬蟲概覽（OAI-SearchBot、GPTBot、ChatGPT-User）](https://platform.openai.com/docs/bots) - [Anthropic：Claude 爬蟲及控制存取的方法](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity：爬蟲與網站安全設定](https://docs.perplexity.ai/guides/bots) - [Google：爬蟲概覽與 Google-Extended 權杖](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
繼續探索 [Ailoot](https://ailoot.ai/)。
## 常見問題：如何讓 ChatGPT、Claude 和 Perplexity 的搜尋爬蟲存取你的網站 ### 新增具名爬蟲群組，為什麼可能重新開放原本 User-agent: * 封鎖的路徑？ 匹配具名群組的爬蟲會使用該群組規則，不會繼承萬用字元群組。你允許的每個具名群組，都要重複必要的受限路徑 Disallow 規則。 ### 允許搜尋爬蟲，就保證助理引用我的頁面嗎？ 不保證。檢查 robots.txt、頁面原始文字、sitemap 與伺服器日誌，可證明能否存取或曾來訪，不能證明助理一定選該頁作答。 ## Ailoot · 公司及其專案組合 Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。 公司及其專案組合：數百萬客戶，每月銷售額達數十億。 Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。