著者：吉田 清登（株式会社FID CMO / Genview PM）

AIボットクロールは「AIクローラーの3＋1分類（インデックス型・学習型・代理アクセス型・従来型）を理解することが、GEO対策の設計に直結する」仕組みである。

  • インデックス型：OAI-SearchBot/PerplexityBot（事前収集→質問時参照）→ BLUF・FAQが有効
  • 学習型：GPTBot/ClaudeBot（数ヶ月〜数年で学習）→ E-E-A-T・専門性が有効
  • 代理アクセス型：ChatGPT-User/Claude-User（オンデマンド取得）→ セマンティックHTMLが有効
  • 従来型：Googlebot/Bingbot（すべてのAI対策の土台）→ SEOが前提

「どのBotが何を見ているか」を理解することが、的確なGEO対策の前提です。

このページでわかること

  • AIボットクロールの意味・定義
  • 従来の検索エンジンクローラーとの違い
  • AIクローラーの「3＋1」分類
  • クロールを制御する方法
  • GEO対策における位置づけ
  • よくある誤解

AIボットクロールとは

クロール（Crawl）とは、BotがWebページを自動的に巡回してコンテンツを取得する処理のことです。従来はGooglebotなどの検索エンジン用クローラーが代表的でしたが、生成AIの普及に伴い、各AI企業が独自のクローラーBotを運用するようになっています。

これらのAIクローラーは、従来の検索エンジンクローラーと目的が異なります。Googlebotが「検索結果のインデックス構築」を目的とするのに対し、AIクローラーは「AIモデルの学習データ収集」や「AI検索用データベースの構築」、「ユーザーの質問に応じたリアルタイムのページ取得」など、目的・動作タイミング・評価軸がそれぞれ異なります。

以下の表では、主なAIクローラーBotと運営元・主な目的を整理しています。

主なAIクローラーBot一覧
Bot名 運営 主な目的
GPTBot OpenAI AIモデルの学習データ収集
OAI-SearchBot OpenAI ChatGPT Search用インデックス構築
ChatGPT-User OpenAI ユーザー指示に応じたリアルタイム取得
ClaudeBot Anthropic AIモデルの学習データ収集
Claude-SearchBot Anthropic Claude検索用インデックス構築
Claude-User Anthropic ユーザー指示に応じたリアルタイム取得
Google-Extended Google GeminiモデルおよびVertex AIへの学習・利用制御
PerplexityBot Perplexity AI Perplexity検索用インデックス構築
Grok系Bot xAI 詳細不明（2026年6月時点で公式ドキュメント未公開）

各Botの目的と動作タイミングの違いを理解することが、適切なGEO対策の設計につながります。

AIクローラーの「3＋1」分類

Genviewでは、AIクローラーBotをその目的と動作タイミングによって以下の「3＋1」に分類して整理しています。

① インデックス型（事前収集 → 質問時に参照）

該当Bot：OAI-SearchBot / PerplexityBot / Claude-SearchBot

ユーザーの検索とは無関係に常時Webを巡回し、独自のAI検索用データベースを構築します。ユーザーの質問時にそのデータベースから情報を取り出して回答を生成します。引用しやすいコンテンツ構造（BLUF・FAQ・定義文）の整備が有効です。

② 学習型（長期的にAIモデルの知識へ反映）

該当Bot：GPTBot / Google-Extended / ClaudeBot / Grok系Bot（詳細不明）

数ヶ月〜数年単位でWebのデータを収集し、AIモデルの基礎知識（パラメータ）として学習させます。サイト全体の専門性・一貫性・E-E-A-Tが評価軸になると考えられています。

③ 代理アクセス型（質問の瞬間にオンデマンド取得）

該当Bot：ChatGPT-User / Claude-User

事前のデータベースを持たず、ユーザーがプロンプトで「このURLを読み込んで」と指示した瞬間に、ユーザーの身代わりとしてピンポイントで対象ページへ直接アクセスします。セクション単位で意味が完結するセマンティックHTML構造が重要になります。

【別レイヤー】従来型検索エンジン（すべてのAI対策の土台）

該当Bot：Googlebot / Bingbot

AI検索用ではなく従来の検索エンジンのためのBotですが、OAI-SearchBotはBingの検索APIを裏側で利用するハイブリッド型であることが知られており、PerplexityなどもGoogleやBingのインデックスを補助的に利用していると見られています。従来のSEO対策ができていないサイトは、AI検索の対象にも上がりにくい構造があります。

Genviewによる定義

AIボットクロールとはGEO対策の文脈において、「AIサービスのBotがWebコンテンツを取得する処理の総称であり、GEO対策の施策設計と効果監視において前提となる仕組み」です。

この定義はGenviewの見解であり、業界の総意ではありません。

Genviewがこの位置づけを採用する根拠は3点です。

  1. AIクローラーの種類（学習型・インデックス型・代理アクセス型）によって、評価軸・対策の方向性・効果が現れる時間軸が異なります。「どのBotが何を見ているか」を理解することが、的確なGEO対策の前提になります。
  2. AIクローラーへのアクセス許可・拒否の設定（robots.txt・llms.txt）は、GEO対策の方針に直結します。学習型クローラーを拒否すれば学習データへの影響がなくなる一方、インデックス型クローラーを拒否するとAI検索の対象から除外される可能性があります。意図的にコントロールするためには、各Botの役割の理解が必要です。
  3. AIクローラーの来訪頻度・取得パターン・参照されたページを監視することで、自社コンテンツがどのように扱われているかを把握できます。これはGEO対策の効果測定における基礎データになります。

クロールを制御する方法

AIボットクロールは、以下の方法で許可・拒否を制御できます。robots.txtでBotを拒否する際は、学習型（GPTBot等）とインデックス型（OAI-SearchBot等）でBot名が異なるため、目的に応じて個別に設定することを推奨します。

AIボットクロールの制御方法
方法 対象 効果
robots.txt Bot名を指定してアクセス許可・拒否 主要なAIクローラーは対応している
llms.txt AIへのサイト案内・ナビゲーション 2026年6月時点では効果未証明の補助的手段
HTTPSの整備 クローラーが正常にアクセスできる環境を整える クロールの前提条件

これらのクローラーの種類・設定状況を一つひとつ手動で確認するのは手間がかかります。Genviewの「サイト診断」機能では、robots.txtでのAIボットクロール許可状況を含む技術的な読み取りやすさの項目を自動でチェックできます。

上位概念・下位概念・関連語

AIボットクロールはGEO対策の仕組みを理解するための基礎概念として位置づけられます。以下では、AIボットクロールと関連する概念を整理します。

上位概念

関連語

  • RAG（Retrieval-Augmented Generation）：インデックス型クローラーが構築するデータベースは、RAGのRetrievalフェーズで参照される情報源として機能していると考えられています。
  • llms.txt：AIへのサイト案内ファイル。AIボットクロールの制御・案内を目的とした補助ファイルです。
  • robots.txt：クローラーへのアクセス許可・拒否を制御するファイル。AIクローラーBotのクロールを個別に制御できます。
  • サイテーション（Citation）：AIボットクロールによってコンテンツが取得・評価された結果として、AI回答での引用・言及（サイテーション）が発生します。
  • HTTPS：AIクローラーが正常にページを取得するための前提条件となるインフラです。
  • User-Agent：クローラーが自身を識別するための文字列。robots.txtでGPTBot・PerplexityBotなど特定のAIクローラーを識別してアクセス制御を行うために必要な概念です。

よくある誤解

AIボットクロールについては、以下の3つの誤解が多く見られます。

誤解①：「AIクローラーはすべて同じ動きをしている」

学習型・インデックス型・代理アクセス型では、動作タイミング・目的・評価軸がまったく異なります。「AIクローラーが来ている＝AI検索に引用される」ではなく、どの種類のBotがどのページを取得しているかを把握することが重要です。

誤解②：「AIクローラーをすべて拒否すればリスクがない」

AIクローラーを一括拒否すると、AI検索のインデックス対象から除外される可能性があります。学習型クローラー（GPTBot等）の拒否はAI回答への引用に影響しない場合がありますが、インデックス型クローラー（OAI-SearchBot・PerplexityBot等）を拒否するとChatGPT SearchやPerplexityの検索結果から除外されるリスクがあります。目的に応じて個別に設定することが必要です。

誤解③：「AIクローラーが来ていれば引用される」

AIクローラーによるクロール（取得）と、AI回答での引用は別のプロセスです。クロールはあくまでコンテンツの取得であり、その後のRetrievalでの選別・rankingの評価・信頼性の判断を経てはじめて引用が発生します。クロールされていることは引用の前提ですが、保証ではありません。

よくある質問

Q: 自社サイトにどのAIクローラーが来ているか確認できますか？
A: サーバーのアクセスログを確認することで、各BotのUser-Agent名から来訪しているAIクローラーを特定できます。主なUser-Agent名は各社の公式ドキュメントで公開されています（GPTBot・ClaudeBot・PerplexityBot等）。Google Search Consoleでも一部のクロール状況を確認できます。なお、Genviewの「サイト診断」機能を使えば、robots.txtでの主要AIクローラーへのアクセス許可状況を自動で確認できます。
Q: GPTBotとOAI-SearchBotは何が違いますか？
A: GPTBotはOpenAIのAIモデル学習用クローラーです。OAI-SearchBotはChatGPT Search用のインデックス構築に使われるクローラーです。学習を拒否したい場合はGPTBotを、ChatGPT Searchの対象に残りたい場合はOAI-SearchBotを許可する設定が必要です。
Q: Grok系BotはUser-Agentで識別できますか？
A: xAIは2026年6月時点でGrok系BotのUser-Agentを公式に公開していません。サーバーログで識別する方法は現時点では限られており、情報は観測ベースの推測を含みます。

参考文献・調査ソース