チャンク（Chunk）とは、AI検索（RAG）において文書を小さく分割した「意味のまとまり」のことです。

英語表記：Chunk（読み方はチャンク。文書をチャンクに分ける処理はチャンキング／Chunking）

チャンクは、もともと「塊・かたまり」を意味する英単語です。RAG（Retrieval-Augmented Generation）の文脈では、長い文書を、情報検索で扱いやすい大きさに分割した単位を指します。

この言葉の基本

チャンクという言葉の読み方・もとの意味・使われる分野

項目 内容
英語表記Chunk
読み方チャンク
もとの意味塊・かたまり
分野RAG・AI検索
分割する処理の呼び方チャンキング（Chunking）
混同しやすい言葉セクション、ページ

チャンクが使われる文脈

LLMは、一度に処理できるテキストの量に上限があります。また、長い文書をそのまま検索の対象にすると、どの部分が質問に関係するかを見分ける精度が下がります。そのためRAGでは、文書をあらかじめチャンクに分割してインデックス化しておき、検索の際に質問と関連性の高いチャンクだけを取得する設計が一般的です。

RAGという仕組みは、Lewisらが2020年に発表した論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」で提案されました。チャンクは、この仕組みのRetrieval（検索・取得）の段階で文書を扱うときの単位として使われる言葉です。

チャンクの分割方法

どう分割するかは実装によって異なります。主な方法は次の3つです。

チャンクの主な分割方法と特徴

分割方法 概要 特徴
固定サイズ分割文字数・トークン数で機械的に分割する実装が簡単だが、意味の途中で切れる場合がある
構造ベース分割見出し・段落・セクションなど、文書の構造に沿って分割する1つのチャンクの中で意味が完結しやすい
意味ベース分割内容の意味的なまとまりで分割する分割の処理にかかるコストが高い

ChatGPTやGeminiなど、各AIサービスがどの方法・どの大きさでチャンキングしているかは、公開されていない部分が多くあります。

チャンクとセクションの違い

2つは近い言葉ですが、同じものではありません。

チャンクとセクションの違い

項目 セクション チャンク
何か文書の構造上の区切り（<section>タグや見出しで区切られた範囲）RAGのシステムが、検索のために文書を分割した単位
誰が決めるかページを書く人文書を分割するシステム

構造ベースで分割する場合は、セクションがチャンクの区切りとして使われることがあります。ただ、固定サイズで分割すればセクションの途中で切れることもあり、いつも1対1で対応するわけではありません。

似た言葉との関係

Retrieval・ベクトル検索

Retrievalは、ユーザーの質問をもとに関連する情報を検索・取得する処理で、RAGの最初の段階にあたります。このとき探す対象の単位がチャンクです。ベクトル検索は、テキストの意味の近さをもとに関連するチャンクを探す技術で、Retrievalの段階で広く使われています。

トークン・コンテキストウィンドウ

トークンは、AIが文章を処理するときの最小単位で、チャンクの大きさを数える単位としても使われます。コンテキストウィンドウは、LLMが1回の推論で処理できるトークンの最大量です。Retrievalで取得されたチャンクはコンテキストウィンドウに渡され、その範囲の中でLLMの回答生成に使われます。

セマンティックHTML

<article>・<section>・<h2>などのタグは、構造ベースで分割するときの手がかりになりうるものです。ただ、各社がこれらのタグを分割に使っていると公式に明らかにしているわけではありません。

GEO対策における位置づけ

チャンクは、AI検索がWebページのどの部分を検索の対象にしているかを考えるときの基礎の言葉です。1つのページはそのまま扱われるのではなく、複数のチャンクに分けられてインデックス化されることがあります。

チャンクとして検索で見つけ出されることと、実際の回答に引用されることは別の段階です。検索で取得された情報は、そのあと順位づけや回答の生成を経て、最終的に回答で使われるかどうかが決まります。

チャンクが、AI検索の仕組みの中でどこに当たるかは、AI検索の仕組みとはで解説しています。

よくある誤解

チャンクはWebページ単位で決まる

チャンクはページ単位ではなく、ページの中のセクション・段落・Q&Aの組など、より細かい単位で分けられます。

AI検索のために、文章を細かく分けて書く必要がある

Googleは「Google 検索における生成 AI 機能への最適化のための Google ガイド」で、AIがコンテンツをより深く理解できるようにするためにコンテンツを細かく分割する必要はない、と説明しています。

チャンクとして取得されれば、回答に引用される

取得されることと引用されることは別です。取得されたチャンクがすべて回答に使われるわけではなく、回答に使われた情報が引用として表示されるとも限りません。

チャンクに関連する用語

チャンクに関連する用語と、その意味

用語 意味
Retrieval質問に関連する情報を検索・取得する処理
ベクトル検索テキストの意味の近さをもとに関連する情報を探す検索手法
Embeddingテキストなどの意味的な特徴を数値のベクトルで表したもの
トークンAIが文章を処理するときの最小単位
コンテキストウィンドウLLMが1回の推論で処理できるトークンの最大量
リランキング初めの検索で取得した候補を、別のモデルで評価し直して並べ替える処理
セマンティックHTML意味を持つHTMLタグで、文書の構造を表す書き方

よくある質問

チャンクとチャンキングはどう違いますか？

チャンクは分割されたあとの1つひとつのまとまりで、チャンキングは文書をチャンクに分割する処理のことです。

チャンクとセクションは同じですか？

同じではありません。セクションは文書の構造上の区切りで、チャンクはRAGのシステムが検索のために文書を分割した単位です。構造ベースで分割する場合は、セクションがチャンクの区切りとして使われることがあります。

チャンクの大きさは決まっていますか？

決まった大きさはありません。文字数やトークン数で区切る実装もあれば、見出しや段落で区切る実装もあります。各AIサービスがどの大きさで分割しているかは、公開されていない部分が多くあります。