AIごとに対策を分ける必要はあるのか｜AIクローラー3種類＋土台

robots.txt で断っても、扱いはAIで分かれた

サイトには robots.txt というファイルを置けます。「このボットは入らないでください」と書いておくファイルです。amazon.co.jp の robots.txt（2026年9月18日取得）には、サイト全体に入らないでくださいと書かれたボットの名前が99個ありました。ボットごとに制御しようとした、かなり極端な例です。

この amazon.co.jp を、ChatGPTは出典にし、Geminiは出典にしませんでした（数は冒頭のとおりです）。数え方と、ChatGPTが出典にした経路の手がかりは、Amazonが生成AIのボットをブロックしているのを、知っていますか？にまとめています。

それでもボットの種類を知る意味はどこにあるのか

GEO対策を調べていると、「FAQの形にしろ」「定義文を入れろ」「構造化データを実装しろ」という話が並びます。どれも実務では使われていますが、なぜそれが効くと言われているのかまで説明されていることは少ないと感じています。

その「なぜ」をたどると、AIがどうやってWebから情報を取っているかにぶつかります。そこに出てくるのがAIクローラーのボットです。2026年時点で主要なものだけで10種類以上あり、動くタイミングも目的も違います。

ボットの種類を知るのは、ボットを制御するためではない、というのが私たちの立場です。上のAmazonの例のとおり、設定を書いても、AIによって扱いは違いました。種類を知るのは、「自分のページが、いつ、どんな目的で読まれているのか」を把握するためです。

AIクローラーの「3＋1」分類

AIクローラーのボットは、いつ動くかと何のために動くかで4つに分けられます。3種類のAI用ボットと、その土台になる従来の検索エンジンのボットです。

AIクローラーボットの「3＋1」分類

① インデックス型：事前に集めて、質問のときに参照する

OAI-SearchBot（OpenAI）・PerplexityBot・Claude-SearchBot（Anthropic）が当てはまります。ユーザーが質問する前からWebを巡回して自前のデータベースを作り、質問が来たらそこから取り出して回答を組み立てます。

OAI-SearchBot

ChatGPT Search 向けの索引を作るボットです。OpenAIの公式ドキュメントに、学習用の GPTBot とは別のボットだと明記されています。なお ChatGPT Search が他社の検索インデックスも併用しているという話は各所で報じられていますが、公式ドキュメントで明示されているわけではありません。

PerplexityBot

Perplexity の検索・回答エンジンの情報源です。公式の説明では、基盤モデルの学習ではなく検索インデックスの用途とされています。

Claude-SearchBot

Anthropic の公式ドキュメントでは、検索インデックス用のボットとして分類されています。代理アクセス型の Claude-User とは役割が違います。

公式の説明から読み取れること

各社の説明は、引用するときに見ているものとして次のような点を挙げています。見出しの直下に結論があること、質問と答えが組になっていること、数字と出典があること、そのドメインが信頼できることです。

※　これらが実際に引用されやすさを変えるかどうかは、私たちはまだ確かめていません。

② 学習型：長い時間をかけてAIの知識になる

GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended（Google）が当てはまります。数か月から数年の単位でWebのデータを集め、AIモデルの基礎になる知識として学習させるためのボットです。

厳密には、この3つは同じものではありません。GPTBot と ClaudeBot は独立したクローラーですが、Google-Extended はクローラーそのものではなく、Googleのクローラーに対してAI学習での利用を許可するかどうかを指定するためのトークンです。この記事では便宜上まとめていますが、技術的な位置づけは違います。

公式ドキュメントに書かれていること

• OpenAI：GPTBot は「OpenAIの生成AIの基盤モデルをより有用かつ安全にするために使用する」
• Google：Google-Extended は「GeminiモデルおよびVertex AIのトレーニングと、AI回答のグラウンディングに使用する」

Grok系のボットについて

SpaceXAI（旧xAI）の Grok 系ボットについては、公式ドキュメントが見つかりませんでした。X（旧Twitter）上の言及が影響するという見方もありますが、確かめられていないので、この記事では扱いません。

③ 代理アクセス型：質問の瞬間に取りに来る

ChatGPT-User（OpenAI）と Claude-User（Anthropic）が当てはまります。事前のデータベースを持たず、ユーザーが「このURLを読んで」と指示したその瞬間に、ユーザーの代わりにそのページへ直接アクセスします。

Anthropic は2026年2月に公式ドキュメントを更新し、ClaudeBot（学習用）・Claude-SearchBot（検索インデックス用）・Claude-User の3ボット体制と、それぞれの役割を明示しました。このうち代理アクセス型にあたるのが Claude-User で、「Claudeのユーザーが質問した際に、ウェブサイトへのアクセスを支援するボット」と定義されています。

OpenAIは、ChatGPT-User について「ユーザーの操作で動くため、robots.txtのルールが当てはまらないことがある」と説明しています（出典：OpenAI「Overview of OpenAI Crawlers」）。冒頭のAmazonの例を考えるときの、手がかりの1つです。ただし、ChatGPTがどの経路で出典にしたかは確かめていません。

【土台】従来の検索エンジンのボット

Googlebot と Bingbot は、AI検索用ではなく従来の検索エンジンのためのボットです。それでもこの記事で別枠にしているのは、AI各社の回答が、検索エンジン側の索引とまったく無関係には動いていないためです。

くわえて、到達しているページ数が桁違いです。次の節で見るCloudflareのデータ（Search Engine Journal の紹介による）では、Googlebot がユニークページの11.6%に到達していたのに対し、GPTBot は3.6%でした。

AIが引用するサイトの多くが、検索の上位10位の外にあることは、私たちの15業界450問の調査（2026年8月）で確かめています（数字はGEO対策とはにまとめています）。検索の上位にいることは、AIに引用されることを保証しません。ただ、検索エンジンに載っていないページはAIの選択肢にも入りにくい、と見ています。ボットの到達率の差は、その一因だと思っています。

ボットはどのくらい来ているのか（海外の調査）

自社サイトへのボットの来訪は、私たちはまだ数えていません。ここでは海外の調査を2つ引きます。

ボットごとのユニークページ到達率（Cloudflare のデータ、Search Engine Journal の紹介による。2025年10〜11月）

Googlebot の到達率が、AI各社のボットより大きく上にあります。Bingbot も ClaudeBot と同じかそれ以上です。従来の検索エンジンのボットを「土台」として別枠にしているのは、この差が理由です。

1サイトあたり1日のヒット数の中央値（Digital Applied、12サイト・30日間、2026年4月26日公開。Google-Extended の数え方は Digital Applied による）

同じ調査では、GPTBot がよく見られているページを平均2.4日ごとに再訪問するのに対し、ClaudeBot は平均6.8日ごととされています。

※　いずれも海外サイトを対象にした調査です。日本語サイトで同じになるかは確かめていません。Cloudflareのデータは2025年10〜11月のもので、いまは変わっている可能性があります。

どのボットが来ても読める形にする

ここまでを並べると、ボットごとに設定を変えて扱いを決めるのは難しい、ということになります。Amazonの例では、99個のボットを断っても、AIによって扱いは違いました（Amazonが生成AIのボットをブロックしているのを、知っていますか？）。ボットの種類によって動くタイミングは違いますが、渡しているHTMLは1つです。

ボットの分類を知る使い道は、「どのボットに何をするか」を決めることではなく、「いま自分のページは、どのタイミングで、誰に読まれうるのか」を把握することだと考えています。

ボットに入ってよいかを伝える robots.txt と、ボットが名乗る名前の User-Agent は、robots.txt（ロボッツテキスト）とは｜意味・読み方・AIクローラーの指定とUser-Agent（ユーザーエージェント）とは｜意味・読み方・robots.txtとの関係で説明しています。AIに向けてサイトの案内を置く llms.txt はllms.txtとは｜意味・提案の経緯・llms-full.txtとの違いと業界別llms.txtの作り方｜AIに伝えたい情報から考える、学習への利用を法律の面から断る仕組みはTDM例外とは｜意味・EU著作権指令第3条・第4条・robots.txtやTDMRepとの関係で整理しています。

設定を変える前後に確かめること

robots.txt やボットの設定を変えるときは、変える前と後で、次の3つを確かめます。

1. robots.txt に、どのボットを、どのページで断っているか
2. サーバーのアクセスログに残るボットの名前（User-Agent）と、来ている回数
3. 同じ質問をAIに数回聞いたとき、自社のページが出典になっているか

この記事では、まだ確かめていないこともあります。日本語サイトへのボットごとの来訪頻度と、ボットが来てからAIの回答に出るまでの時間です。確かめたものが出たときに、この節に足します。

よくある質問

参照・出典

• OpenAI「Overview of OpenAI Crawlers」
• Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」（ClaudeBot・Claude-SearchBot・Claude-User の3ボット体制は2026年2月の更新で明示）
• Search Engine Journal「Google Updates Gemini & Vertex AI User Agent Documentation」（2025年4月）
• Perplexity「Perplexity Crawlers」
• Search Engine Journal「Cloudflare Report: Googlebot Tops AI Crawler Traffic」（Cloudflare の2025年の振り返りのデータ。2025年10〜11月）
• Digital Applied「Agentic Crawler Behavior: 30-Day Site Log Study 2026」（2026年4月26日公開、12サイト・30日間）
• No Hacks「AI user agents landscape 2026」