# ChatGPT、Claude、Perplexityの検索クローラーにサイトを公開する方法 > 検索用およびトレーニング用クローラーの名称、robots.txtの完全な例、サイトマップ、テキストの利用可能性、引用に関する制限。 Source: https://ailoot.ai/blog/ja/ai-search-crawlers-robots-txt/ Canonical: https://ailoot.ai/blog/ja/ai-search-crawlers-robots-txt/ Language: ja Publisher: Ailoot (https://ailoot.ai/) Translation: guide-144 Revision: sha256-296118505d51650367ef90eb4488b79e537340e19ac24b1f60dce873900cc068 ウェブサイトや製品を作ったのに、誰かが「このタスクに使えるサービスをおすすめして」と尋ねても、ChatGPT、Claude、Perplexityがそれを紹介してくれない。アシスタントがあなたのサイトを読めるか、アクセスがブロックされていないかを確認してみましょう。 「AIの回答に載る」ためのボタンはなく、引用を保証できる人もいません。ChatGPT、Claude、Perplexityには、検索用のクローラーがそれぞれあります。`robots.txt`を通じて、サイトへのアクセスを許可できます。そのうえで、ページのテキストにアクセスできるか、サイトのセキュリティが妨げになっていないかを確認してください。
Ailootの使い方については、[ドキュメント](https://ailoot.ai/docs/)に実践的な説明があります。
## 「AIに見つけてもらえる」とはどういう意味ですか？
重要なポイント AIアシスタントには、用途の異なるクローラーがあります。アシスタント内の検索用にウェブサイトを収集するものもあれば、モデルのトレーニング用にテキストを収集するものもあります。検索回答に関係するのは前者です。クローラーのアクセスは許可できますが、アシスタントがあなたを引用するとは限りません。引用を保証できる人はいません。
誰かがChatGPTやPerplexityに「Xについてどこで読めますか？」や「どのサービスを選べばよいですか？」と尋ねると、アシスタントがウェブを検索してページへのリンクを追加することがあります。あなたのページが候補に入るには、アシスタントのクローラーがそのページを読み、アクセスを拒否されていない必要があります。 サイトでは、次の3点を確認してください。 - クローラーがサイトにアクセスできること。`robots.txt`でブロックされておらず、セキュリティ対策もアクセスを妨げていないこと。 - ブラウザーが補完する空の枠ではなく、ページのテキストをクローラーが読めること。 - キーワードの羅列で回答を置き換えるのではなく、ページが特定の質問に誠実かつ明確に答えていること。 まずはアクセスを確認しましょう。クローラーがページを読めなければ、その有用なテキストも取得できません。 ## 検索クローラーとトレーニング用クローラーの違いは何ですか？
重要なポイント 主要なアシスタントには、それぞれ別のタスクを担うクローラーがあります。検索クローラーは、アシスタントの回答や検索結果に表示できるよう、ウェブサイトを収集します。トレーニング用クローラーは、モデルのトレーニングに使うテキストを収集します。これらの設定は独立しています。検索クローラーを許可し、トレーニング用クローラーをブロックできます。
クローラーごとにアクセスを許可するかブロックするかを設定してください。「AIにサイトへのアクセスを許可する」という全般的な判断では、それぞれの用途の違いが考慮されません。 - **検索クローラー**を許可すると、ユーザーが質問したときにあなたのページがアシスタントの回答に表示される可能性があります。検索でサイトを見つけてもらいたい場合は許可してください。 - **トレーニング用クローラー**は、モデルの将来のバージョンのトレーニングに使われる可能性のあるテキストを収集します。許可するかどうかはあなた次第です。現在の検索回答に表示されるかどうかには直接影響しません。 OpenAIのドキュメントには、検索クローラーのサイト巡回を許可しながら、トレーニング用クローラーをブロックしてサイトのテキストをトレーニングに使わせない例があります。この2つの設定は、同じファイル内で個別に指定します。 ## ChatGPT、Claude、Perplexityのクローラー名は何ですか？
重要なポイント OpenAIの場合、検索クローラーはOAI-SearchBot、トレーニング用クローラーはGPTBot、ChatGPT-Userはユーザーのリクエストに応じてアクセスします。Anthropicの場合は、Claude-SearchBot（検索）、ClaudeBot（トレーニング）、Claude-User（ユーザーのリクエストに応じたアクセス）です。Perplexityの場合、PerplexityBot（検索）とPerplexity-User（ユーザーのリクエストに応じたアクセス）があります。Googleには、サイトのコンテンツを生成AIに使用するかどうかを制御する、別個のGoogle-Extendedトークンがあります。
アクセスを設定するには、`robots.txt`で指定する正確なクローラー名（user-agent）が必要です。次の表に、各開発元の公式ドキュメントに記載された名称と用途を示します（2026年9月時点）。 | クローラー（user-agent）またはトークン | 提供元 | 用途 | 検索に表示するため許可する？ | |----|----|----|----| | `OAI-SearchBot` | OpenAI | ChatGPT検索にウェブサイトを表示する | はい | | `GPTBot` | OpenAI | モデルのトレーニング用にテキストを収集する | あなた次第 | | `ChatGPT-User` | OpenAI | ユーザーのリクエストに応じてページにアクセスする | 通常は許可 | | `Claude-SearchBot` | Anthropic | 検索品質の向上を目的にウェブサイトをインデックスする | はい | | `ClaudeBot` | Anthropic | モデルのトレーニング用にテキストを収集する | あなた次第 | | `Claude-User` | Anthropic | Claudeユーザーのリクエストに応じてページにアクセスする | 通常は許可 | | `PerplexityBot` | Perplexity | 検索結果にウェブサイトを表示し、リンクする | はい | | `Perplexity-User` | Perplexity | ユーザーのリクエストに応じてページにアクセスする | 通常は許可 | | `Google-Extended` | Google | Google生成AIによるサイトコンテンツの使用を制御するトークン | あなた次第 | `ChatGPT-User`、`Claude-User`、`Perplexity-User`は、会話中のユーザーのリクエストに応じてページにアクセスしますが、アクセス規則は開発元ごとに異なります。OpenAIによると、`robots.txt`の規則は`ChatGPT-User`には適用されない場合があります。Perplexityによると、`Perplexity-User`はユーザーがアクセスを開始するため、通常はその規則に従いません。Anthropicでは、`Claude-User`のアクセスを`robots.txt`で制御します。そこでブロックすると、Claudeはユーザーのリクエストに応じてページを取得できません。検索クローラーのアクセスは別に設定します。 `Google-Extended`は、巡回時に独自のuser-agent行を持ちません。`robots.txt`内の制御トークンとしてのみ使われます。これはコンテンツをGoogle生成AIに使用できるかどうかを決め、通常のGoogle検索には影響しません。 明確な構造とアクセスしやすいテキストを備えたサイトを作るなら、情報の整理方法を考えてみましょう。 ## robots.txtでクローラーを許可する方法：手順
重要なポイント robots.txtファイルはサイトのルートに置かれ、クローラーのアクセス規則を設定します。アシスタントの検索クローラーを許可するには、それぞれのuser-agentを追加し、巡回を許可します。サブドメインごとに独自のファイルが必要です。
`robots.txt`はサイトのルートに置くプレーンテキストファイルで、`https://example.com/robots.txt`のようなアドレスで公開されます。クローラーは巡回前にこのファイルを読み、その指示に従います。ただし、前述したユーザーのリクエストに応じたアクセスには例外があります。 1. **現在のファイルを開きます。** ブラウザーにサイトのアドレスを入力し、末尾に`/robots.txt`を追加します。ファイルの内容と、必要なクローラーが誤って`Disallow: /`行でブロックされていないかを確認してください。制限する領域（アカウントページ、決済ページ、管理者セクションなど）の`Disallow:`行も確認します。次の手順で必要になります。 2. **アシスタントの検索クローラー用グループを追加します。** 各グループでは、クローラー名とアクセス規則を指定します。巡回を許可するには`Allow: /`を使います。クローラーは自分の名前が個別に指定されたグループの規則に従い、全般的な`User-agent: *`グループの規則は引き継ぎません。`User-agent: *`にだけある制限は、そのクローラーには適用されません。制限する領域がある場合は、新しい各グループにも同じ`Disallow:`行を繰り返し記載してください。そうしないと、そのクローラーに対して公開されます。 3. **トレーニング用クローラーについては別に判断します。** テキストをトレーニングに使わせたくない場合は、`GPTBot`と`ClaudeBot`に`Disallow: /`を設定します。検索での表示には影響しません。 4. **ファイルをサイトのルートに保存し、**`/robots.txt`で開けることを確認します。サブドメイン（例：`blog.example.com`）がある場合は、それぞれに独自のファイルが必要です。クローラーは各サブドメインに対応するファイルを読みます。 次の例をコピーする前に、制限する領域の規則を確認してください。`Disallow: /dashboard/`を`User-agent: *`にだけ残すと、独自のグループを持つ`OAI-SearchBot`には適用されません。クローラーの巡回を許可するグループには、制限するパスをそれぞれ記載してください。 以下の例では、アシスタントの検索クローラーを許可しつつ、制限領域の`/dashboard/`はそれぞれのグループでブロックしています。トレーニング用クローラーは全面的にブロックしています。トレーニング用クローラーのブロックは任意です。判断はあなた次第で、制限するパスの一覧は自分のサイトに合わせて置き換えてください。 ``` # Allow assistants' search crawlers, but block restricted areas User-agent: OAI-SearchBot Allow: / Disallow: /dashboard/ User-agent: Claude-SearchBot Allow: / Disallow: /dashboard/ User-agent: PerplexityBot Allow: / Disallow: /dashboard/ # Block training crawlers (optional) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # The sitemap helps crawlers find all pages Sitemap: https://example.com/sitemap.xml ``` OpenAIとPerplexityのドキュメントによると、システムが`robots.txt`の変更を反映するまで約1日かかることがあります。ファイルを保存してすぐに効果が出るとは限りません。 ## 稼働中のサイトではどのように見えますか？ 説明した`robots.txt`の設定例では、`GPTBot`、`ChatGPT-User`、`OAI-SearchBot`、`ClaudeBot`、`PerplexityBot`、`Perplexity-User`、`Google-Extended`など、アシスタントのクローラー名が1つのグループにまとめられています。その下には`Allow: /`と、全般的な`User-agent: *`グループと同じ制限領域用の`Disallow:`行が並びます。対象は`/dashboard/`、`/admin/`、`/login`、`/account/`、`/order/`などです。ファイル末尾には、`Sitemap:`ディレクティブを使ってサイトマップのURLが記載されています。 制限をアシスタントのクローラー用グループにも繰り返し記載し、制限領域へのアクセスをブロックします。どのサイトでも`/robots.txt`を開けば設定を確認できます。このファイルは常に公開されています。 ## クローラーがサイトを理解するためにできることは？
重要なポイント アクセスを設定した後は、ブラウザースクリプトを実行しなくてもページのテキストが見えるか、sitemap.xmlファイルがあるか、回答そのものが明確かを確認してください。
巡回を許可していても、クローラーがページの内容を取得できない場合があります。アクセス規則に加えて、サイトがテキストをどのように提供しているか、訪問者がコンテンツを見つけやすいかを確認してください。 - **テキストがすぐに利用できる。** ブラウザー内でスクリプトがページの内容を描画する場合、一部のクローラーには空の枠しか見えません。ページを開き、「ページのソースを表示」を選んで、自分のテキストを検索してください。テキストがソースになく通常のページ表示にしか出てこない場合は、ページの提供方法を調べる必要があります。 - **サイトマップがある。** `sitemap.xml`ファイルには、すべてのページが一覧表示されています。クローラーがコンテンツを見落とさないように役立ちます。`Sitemap:`行を使って、`robots.txt`にリンクを追加してください。 - **人にとって回答が明確である。** アシスタントのクローラーは、質問に答えるページを探します。明確な見出し、冒頭の短い回答、誠実な表現は、キーワードの羅列よりも効果的です。 ## サイトがAIに見つからないのはなぜですか？
重要なポイント 確認すべき原因は3つあります。`robots.txt`でクローラーがブロックされている、テキストがスクリプトで生成されブラウザーなしでは見えない、またはサイトのセキュリティがクローラーをブロックしている場合です。1つ目ではファイル、2つ目ではページの提供方法、3つ目ではセキュリティ設定を確認してください。
サイトが回答に表示されない場合は、次のアクセス障壁を確認してください。 - **`robots.txt`でクローラーがブロックされている。** 必要なクローラーをブロックする全般的な制限がファイルに含まれていることがあります。アシスタントのクローラーに適用されるグループに`Disallow: /`がないか確認してください。 - **ブラウザーなしではテキストが見えない。** スクリプトがコンテンツを生成する場合、クローラーが取得できない可能性があります。ソースコードの確認方法は前述のとおりです。 - **サイトのセキュリティがクローラーをブロックしている。** 多くのサイトでは、Cloudflareなどを使って不要なトラフィックから保護しています。`robots.txt`の内容にかかわらず、アクセスがブロックされる場合があります。`robots.txt`ではクローラーが移動できる場所を指定し、サイトのセキュリティではリクエストを通すかどうかを決めます。Perplexityは、user-agent名と公開済みIPアドレスを使って、セキュリティ設定でクローラーを手動で許可することを推奨しています。巡回規則は`robots.txt`で設定してください。Anthropicは、IPアドレスだけでクローラーをブロックする方法は信頼できないと別途警告しています。同様のサービスを使っている場合は、その設定を確認してください。 原因を1つずつ確認してください。まず`robots.txt`、次にページのソースコード、その後にセキュリティ設定を確認します。こうした障壁がないからといって、サイトが回答に表示される保証にはなりません。 ## クローラーがページにアクセスしたか確認するには？
重要なポイント 「引用された」という直接のカウンターはありません。ただし、基本事項は確認できます。robots.txtが開くか、ソースコードにテキストが見えるか、サイトマップが利用できるかを調べてください。サーバーログでは、user-agentによってクローラーのアクセスを確認できます。
この確認では、サイトへのアクセスしやすさを評価し、クローラーのアクセス記録を探すことができます。 - ブラウザーで`https://example.com/robots.txt`を開きます。ファイルが開き、必要なグループが含まれているはずです。 - `https://example.com/sitemap.xml`でサイトマップを開きます。ファイルが開き、ページの一覧が表示されるはずです。 - 重要なページのソースコードを表示し、その中にテキストがあるか確認します。 - サーバーログにアクセスできる場合は、`OAI-SearchBot`、`PerplexityBot`などのクローラー名を検索します。アクセスはuser-agentで確認できます。 この確認では、アシスタントが特にあなたのページを選ぶかどうかはわかりません。それはユーザーの質問と、ページがどれだけよく答えているかによります。 ## 設定で保証されないこと サイトへのアクセスと、アシスタントの回答に表示されることは別の結果です。これらの設定には限界があります。 - **引用は保証されません。** アクセスを公開すると、クローラーがサイトを読む機会を得ます。アシスタントが引用するかどうかは、質問に基づくアシスタントの判断です。 - **順位やトラフィックは約束されません。** `robots.txt`の設定でアクセスは可能になりますが、検索結果での掲載位置は確保されません。 - **一部のクローラーはファイルの規則を無視する場合があります。** これは、ユーザーの直接のリクエストに応じてアクセスする一部のクローラーに当てはまります。例として、OpenAIの`ChatGPT-User`とPerplexityの`Perplexity-User`があります。 - **規則は変更されます。** 開発元はクローラー名や条件を更新します。数か月ごとにドキュメントを確認するとよいでしょう。リンクは末尾にあります。 アクセスとサイトの品質はあなたが管理できますが、リンクを含めるかどうかはアシスタントが決めます。設定の目的は、アシスタントを「だます」ことではなく、有用なページを検索や閲覧で利用できるようにすることです。 ## 次にすること `robots.txt`を開き、アシスタントの検索クローラーを追加して、サイトマップとテキストの利用可能性を確認してください。セキュリティがアクセスをブロックしている場合は、その設定も確認します。これらの手順で技術的な障壁を見つけ、取り除くことができます。そのうえでページ自体も確認しましょう。読者が尋ねる具体的な質問に、明確に答えていますか？
### 出典 - [OpenAI：クローラーの概要（OAI-SearchBot、GPTBot、ChatGPT-User）](https://platform.openai.com/docs/bots) - [Anthropic：Claudeのクローラーとアクセス制御の方法](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity：クローラーとサイトのセキュリティ設定](https://docs.perplexity.ai/guides/bots) - [Google：クローラーの概要とGoogle-Extendedトークン](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
[Ailoot](https://ailoot.ai/)をさらにご覧ください。
## ChatGPT、Claude、Perplexityの検索クローラーにサイトを公開する方法：よくある質問 ### 名前付きクローラーのグループを追加すると、User-agent: *で禁止したパスが開くのはなぜですか？ 名前が一致するグループがあるクローラーは、ワイルドカード側のルールを引き継がず、そのグループのルールを使います。許可する各名前付きグループにも、必要な制限パスのDisallowを繰り返し記載してください。 ### 検索クローラーを許可すれば、アシスタントに引用されますか？ 保証されません。robots.txt、ページソースの本文、サイトマップの公開、サーバーログを確認すれば、アクセス可能性や訪問の証拠は得られます。しかし、それは回答にそのページが採用される証拠ではありません。 ## Ailoot · 企業とそのプロジェクト群 Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。 企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。 Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。