ChatGPT、Claude、Perplexityの検索クローラーにサイトを公開する方法

検索用およびトレーニング用クローラーの名称、robots.txtの完全な例、サイトマップ、テキストの利用可能性、引用に関する制限。

記事の全文を読む

ウェブサイトや製品を作ったのに、誰かが「このタスクに使えるサービスをおすすめして」と尋ねても、ChatGPT、Claude、Perplexityがそれを紹介してくれない。アシスタントがあなたのサイトを読めるか、アクセスがブロックされていないかを確認してみましょう。

「AIの回答に載る」ためのボタンはなく、引用を保証できる人もいません。ChatGPT、Claude、Perplexityには、検索用のクローラーがそれぞれあります。robots.txtを通じて、サイトへのアクセスを許可できます。そのうえで、ページのテキストにアクセスできるか、サイトのセキュリティが妨げになっていないかを確認してください。

Ailootの使い方については、ドキュメントに実践的な説明があります。

「AIに見つけてもらえる」とはどういう意味ですか？

重要なポイント

AIアシスタントには、用途の異なるクローラーがあります。アシスタント内の検索用にウェブサイトを収集するものもあれば、モデルのトレーニング用にテキストを収集するものもあります。検索回答に関係するのは前者です。クローラーのアクセスは許可できますが、アシスタントがあなたを引用するとは限りません。引用を保証できる人はいません。

誰かがChatGPTやPerplexityに「Xについてどこで読めますか？」や「どのサービスを選べばよいですか？」と尋ねると、アシスタントがウェブを検索してページへのリンクを追加することがあります。あなたのページが候補に入るには、アシスタントのクローラーがそのページを読み、アクセスを拒否されていない必要があります。

サイトでは、次の3点を確認してください。

クローラーがサイトにアクセスできること。robots.txtでブロックされておらず、セキュリティ対策もアクセスを妨げていないこと。
ブラウザーが補完する空の枠ではなく、ページのテキストをクローラーが読めること。
キーワードの羅列で回答を置き換えるのではなく、ページが特定の質問に誠実かつ明確に答えていること。

まずはアクセスを確認しましょう。クローラーがページを読めなければ、その有用なテキストも取得できません。

検索クローラーとトレーニング用クローラーの違いは何ですか？

重要なポイント

主要なアシスタントには、それぞれ別のタスクを担うクローラーがあります。検索クローラーは、アシスタントの回答や検索結果に表示できるよう、ウェブサイトを収集します。トレーニング用クローラーは、モデルのトレーニングに使うテキストを収集します。これらの設定は独立しています。検索クローラーを許可し、トレーニング用クローラーをブロックできます。

クローラーごとにアクセスを許可するかブロックするかを設定してください。「AIにサイトへのアクセスを許可する」という全般的な判断では、それぞれの用途の違いが考慮されません。

検索クローラーを許可すると、ユーザーが質問したときにあなたのページがアシスタントの回答に表示される可能性があります。検索でサイトを見つけてもらいたい場合は許可してください。
トレーニング用クローラーは、モデルの将来のバージョンのトレーニングに使われる可能性のあるテキストを収集します。許可するかどうかはあなた次第です。現在の検索回答に表示されるかどうかには直接影響しません。

OpenAIのドキュメントには、検索クローラーのサイト巡回を許可しながら、トレーニング用クローラーをブロックしてサイトのテキストをトレーニングに使わせない例があります。この2つの設定は、同じファイル内で個別に指定します。

ChatGPT、Claude、Perplexityのクローラー名は何ですか？

重要なポイント

OpenAIの場合、検索クローラーはOAI-SearchBot、トレーニング用クローラーはGPTBot、ChatGPT-Userはユーザーのリクエストに応じてアクセスします。Anthropicの場合は、Claude-SearchBot（検索）、ClaudeBot（トレーニング）、Claude-User（ユーザーのリクエストに応じたアクセス）です。Perplexityの場合、PerplexityBot（検索）とPerplexity-User（ユーザーのリクエストに応じたアクセス）があります。Googleには、サイトのコンテンツを生成AIに使用するかどうかを制御する、別個のGoogle-Extendedトークンがあります。

アクセスを設定するには、robots.txtで指定する正確なクローラー名（user-agent）が必要です。次の表に、各開発元の公式ドキュメントに記載された名称と用途を示します（2026年9月時点）。

クローラー（user-agent）またはトークン	提供元	用途	検索に表示するため許可する？
`OAI-SearchBot`	OpenAI	ChatGPT検索にウェブサイトを表示する	はい
`GPTBot`	OpenAI	モデルのトレーニング用にテキストを収集する	あなた次第
`ChatGPT-User`	OpenAI	ユーザーのリクエストに応じてページにアクセスする	通常は許可
`Claude-SearchBot`	Anthropic	検索品質の向上を目的にウェブサイトをインデックスする	はい
`ClaudeBot`	Anthropic	モデルのトレーニング用にテキストを収集する	あなた次第
`Claude-User`	Anthropic	Claudeユーザーのリクエストに応じてページにアクセスする	通常は許可
`PerplexityBot`	Perplexity	検索結果にウェブサイトを表示し、リンクする	はい
`Perplexity-User`	Perplexity	ユーザーのリクエストに応じてページにアクセスする	通常は許可
`Google-Extended`	Google	Google生成AIによるサイトコンテンツの使用を制御するトークン	あなた次第

ChatGPT-User、Claude-User、Perplexity-Userは、会話中のユーザーのリクエストに応じてページにアクセスしますが、アクセス規則は開発元ごとに異なります。OpenAIによると、robots.txtの規則はChatGPT-Userには適用されない場合があります。Perplexityによると、Perplexity-Userはユーザーがアクセスを開始するため、通常はその規則に従いません。Anthropicでは、Claude-Userのアクセスをrobots.txtで制御します。そこでブロックすると、Claudeはユーザーのリクエストに応じてページを取得できません。検索クローラーのアクセスは別に設定します。

Google-Extendedは、巡回時に独自のuser-agent行を持ちません。robots.txt内の制御トークンとしてのみ使われます。これはコンテンツをGoogle生成AIに使用できるかどうかを決め、通常のGoogle検索には影響しません。

明確な構造とアクセスしやすいテキストを備えたサイトを作るなら、情報の整理方法を考えてみましょう。

robots.txtでクローラーを許可する方法：手順

重要なポイント

robots.txtファイルはサイトのルートに置かれ、クローラーのアクセス規則を設定します。アシスタントの検索クローラーを許可するには、それぞれのuser-agentを追加し、巡回を許可します。サブドメインごとに独自のファイルが必要です。

robots.txtはサイトのルートに置くプレーンテキストファイルで、https://example.com/robots.txtのようなアドレスで公開されます。クローラーは巡回前にこのファイルを読み、その指示に従います。ただし、前述したユーザーのリクエストに応じたアクセスには例外があります。

現在のファイルを開きます。 ブラウザーにサイトのアドレスを入力し、末尾に/robots.txtを追加します。ファイルの内容と、必要なクローラーが誤ってDisallow: /行でブロックされていないかを確認してください。制限する領域（アカウントページ、決済ページ、管理者セクションなど）のDisallow:行も確認します。次の手順で必要になります。
アシスタントの検索クローラー用グループを追加します。 各グループでは、クローラー名とアクセス規則を指定します。巡回を許可するにはAllow: /を使います。クローラーは自分の名前が個別に指定されたグループの規則に従い、全般的なUser-agent: *グループの規則は引き継ぎません。User-agent: *にだけある制限は、そのクローラーには適用されません。制限する領域がある場合は、新しい各グループにも同じDisallow:行を繰り返し記載してください。そうしないと、そのクローラーに対して公開されます。
トレーニング用クローラーについては別に判断します。 テキストをトレーニングに使わせたくない場合は、GPTBotとClaudeBotにDisallow: /を設定します。検索での表示には影響しません。
ファイルをサイトのルートに保存し、/robots.txtで開けることを確認します。サブドメイン（例：blog.example.com）がある場合は、それぞれに独自のファイルが必要です。クローラーは各サブドメインに対応するファイルを読みます。

次の例をコピーする前に、制限する領域の規則を確認してください。Disallow: /dashboard/をUser-agent: *にだけ残すと、独自のグループを持つOAI-SearchBotには適用されません。クローラーの巡回を許可するグループには、制限するパスをそれぞれ記載してください。

以下の例では、アシスタントの検索クローラーを許可しつつ、制限領域の/dashboard/はそれぞれのグループでブロックしています。トレーニング用クローラーは全面的にブロックしています。トレーニング用クローラーのブロックは任意です。判断はあなた次第で、制限するパスの一覧は自分のサイトに合わせて置き換えてください。

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

OpenAIとPerplexityのドキュメントによると、システムがrobots.txtの変更を反映するまで約1日かかることがあります。ファイルを保存してすぐに効果が出るとは限りません。

稼働中のサイトではどのように見えますか？

説明したrobots.txtの設定例では、GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、PerplexityBot、Perplexity-User、Google-Extendedなど、アシスタントのクローラー名が1つのグループにまとめられています。その下にはAllow: /と、全般的なUser-agent: *グループと同じ制限領域用のDisallow:行が並びます。対象は/dashboard/、/admin/、/login、/account/、/order/などです。ファイル末尾には、Sitemap:ディレクティブを使ってサイトマップのURLが記載されています。

制限をアシスタントのクローラー用グループにも繰り返し記載し、制限領域へのアクセスをブロックします。どのサイトでも/robots.txtを開けば設定を確認できます。このファイルは常に公開されています。

クローラーがサイトを理解するためにできることは？

重要なポイント

アクセスを設定した後は、ブラウザースクリプトを実行しなくてもページのテキストが見えるか、sitemap.xmlファイルがあるか、回答そのものが明確かを確認してください。

巡回を許可していても、クローラーがページの内容を取得できない場合があります。アクセス規則に加えて、サイトがテキストをどのように提供しているか、訪問者がコンテンツを見つけやすいかを確認してください。

テキストがすぐに利用できる。 ブラウザー内でスクリプトがページの内容を描画する場合、一部のクローラーには空の枠しか見えません。ページを開き、「ページのソースを表示」を選んで、自分のテキストを検索してください。テキストがソースになく通常のページ表示にしか出てこない場合は、ページの提供方法を調べる必要があります。
サイトマップがある。 sitemap.xmlファイルには、すべてのページが一覧表示されています。クローラーがコンテンツを見落とさないように役立ちます。Sitemap:行を使って、robots.txtにリンクを追加してください。
人にとって回答が明確である。 アシスタントのクローラーは、質問に答えるページを探します。明確な見出し、冒頭の短い回答、誠実な表現は、キーワードの羅列よりも効果的です。

サイトがAIに見つからないのはなぜですか？

重要なポイント

確認すべき原因は3つあります。robots.txtでクローラーがブロックされている、テキストがスクリプトで生成されブラウザーなしでは見えない、またはサイトのセキュリティがクローラーをブロックしている場合です。1つ目ではファイル、2つ目ではページの提供方法、3つ目ではセキュリティ設定を確認してください。

サイトが回答に表示されない場合は、次のアクセス障壁を確認してください。

robots.txtでクローラーがブロックされている。 必要なクローラーをブロックする全般的な制限がファイルに含まれていることがあります。アシスタントのクローラーに適用されるグループにDisallow: /がないか確認してください。
ブラウザーなしではテキストが見えない。 スクリプトがコンテンツを生成する場合、クローラーが取得できない可能性があります。ソースコードの確認方法は前述のとおりです。
サイトのセキュリティがクローラーをブロックしている。 多くのサイトでは、Cloudflareなどを使って不要なトラフィックから保護しています。robots.txtの内容にかかわらず、アクセスがブロックされる場合があります。robots.txtではクローラーが移動できる場所を指定し、サイトのセキュリティではリクエストを通すかどうかを決めます。Perplexityは、user-agent名と公開済みIPアドレスを使って、セキュリティ設定でクローラーを手動で許可することを推奨しています。巡回規則はrobots.txtで設定してください。Anthropicは、IPアドレスだけでクローラーをブロックする方法は信頼できないと別途警告しています。同様のサービスを使っている場合は、その設定を確認してください。

原因を1つずつ確認してください。まずrobots.txt、次にページのソースコード、その後にセキュリティ設定を確認します。こうした障壁がないからといって、サイトが回答に表示される保証にはなりません。

クローラーがページにアクセスしたか確認するには？

重要なポイント

「引用された」という直接のカウンターはありません。ただし、基本事項は確認できます。robots.txtが開くか、ソースコードにテキストが見えるか、サイトマップが利用できるかを調べてください。サーバーログでは、user-agentによってクローラーのアクセスを確認できます。

この確認では、サイトへのアクセスしやすさを評価し、クローラーのアクセス記録を探すことができます。

ブラウザーでhttps://example.com/robots.txtを開きます。ファイルが開き、必要なグループが含まれているはずです。
https://example.com/sitemap.xmlでサイトマップを開きます。ファイルが開き、ページの一覧が表示されるはずです。
重要なページのソースコードを表示し、その中にテキストがあるか確認します。
サーバーログにアクセスできる場合は、OAI-SearchBot、PerplexityBotなどのクローラー名を検索します。アクセスはuser-agentで確認できます。

この確認では、アシスタントが特にあなたのページを選ぶかどうかはわかりません。それはユーザーの質問と、ページがどれだけよく答えているかによります。

設定で保証されないこと

サイトへのアクセスと、アシスタントの回答に表示されることは別の結果です。これらの設定には限界があります。

引用は保証されません。 アクセスを公開すると、クローラーがサイトを読む機会を得ます。アシスタントが引用するかどうかは、質問に基づくアシスタントの判断です。
順位やトラフィックは約束されません。 robots.txtの設定でアクセスは可能になりますが、検索結果での掲載位置は確保されません。
一部のクローラーはファイルの規則を無視する場合があります。 これは、ユーザーの直接のリクエストに応じてアクセスする一部のクローラーに当てはまります。例として、OpenAIのChatGPT-UserとPerplexityのPerplexity-Userがあります。
規則は変更されます。 開発元はクローラー名や条件を更新します。数か月ごとにドキュメントを確認するとよいでしょう。リンクは末尾にあります。

アクセスとサイトの品質はあなたが管理できますが、リンクを含めるかどうかはアシスタントが決めます。設定の目的は、アシスタントを「だます」ことではなく、有用なページを検索や閲覧で利用できるようにすることです。

次にすること

robots.txtを開き、アシスタントの検索クローラーを追加して、サイトマップとテキストの利用可能性を確認してください。セキュリティがアクセスをブロックしている場合は、その設定も確認します。これらの手順で技術的な障壁を見つけ、取り除くことができます。そのうえでページ自体も確認しましょう。読者が尋ねる具体的な質問に、明確に答えていますか？

出典

Ailootをさらにご覧ください。

詳細を見る