推論（Inference）とは｜意味・読み方・学習（Training）との違い

この言葉の基本

推論（Inference）という言葉の読み方・分野・対になる言葉

「推論モデル」の「推論」は、英語では reasoning で、inference とは別の語です。OpenAIは推論モデルを、回答を出す前に内部の推論用のトークンを使うモデルと説明しています（OpenAI｜Reasoning models）。推論モデルが回答を作る処理も、このページでいう推論（Inference）にあたります。

推論という言葉が使われる文脈

LLM（大規模言語モデル）の推論は、トークンを順番に生成していく処理です。入力されたテキスト（プロンプト）を受け取り、次に来る可能性が高いトークンを確率的に選びながら出力を作ります。

LLMの推論は計算量が大きく、GPUなどの計算資源を使います。そのため、AIサービスの応答速度や運用コストを語る場面で「推論コスト」「推論効率」という言い方がよく使われます。

学習（Training）との違い

機械学習のライフサイクルは、大きく学習と推論の2つの段階に分かれます。

学習（Training）と推論（Inference）の内容とタイミングの違い

学習はパラメータを更新する処理で、推論はパラメータを固定したまま出力を作る処理です。推論をしている最中に、モデルのパラメータが書き換わるわけではありません。

似た言葉との関係

Retrieval・RAG

推論には、モデル内部の知識（学習で身につけた知識）だけで答える場合と、検索で取得した情報を入力に加えて答える場合があります。後者の仕組みはRAG（検索拡張生成）と呼ばれ、Lewisらの論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」（2020年）で提案されました。この論文では、モデル内部の知識を「parametric memory」、外部の情報源を「non-parametric memory」と呼んでいます。

RAGでは、まず関連する文書を取得し（Retrieval）、その内容を入力に付け加えたうえで、LLMが推論を行います。

ユーザーの質問 → 関連する文書を取得（Retrieval）→ 取得した文書を入力に付け加える → LLMが入力全体から回答を生成（推論）→ 回答を出力

文書が取得されることと、推論で実際に回答に使われることは、別の段階です。

Grounding

Groundingは、推論で作る回答を、外部の情報やデータなどの根拠に結び付けることを指します。推論は回答を生成する処理そのもので、Groundingはその回答が何に基づいているかの話です。

ハルシネーション

ハルシネーション（事実と異なる内容をもっともらしく生成する現象）は、推論の段階で起きます。

GEO対策における位置づけ

AIが回答を作り、その中で情報源を引用・参照するのは推論の段階です。学習データに含まれることと、推論のときに参照されることは、別の段階の話として分けて考えます。

同じChatGPTでも、質問の内容によって、モデル内部の知識だけで答えるか、Webを検索してから答えるかが変わります。

推論が、AI検索の仕組みの中でどこに当たるかは、AI検索の仕組みとはで解説しています。

よくある誤解

AIに学習されれば引用される

学習データに含まれることと、推論のときに参照・引用されることは別のことです。推論のときの入力や質問の内容によって、参照される情報は変わります。

推論と学習は同じ処理

学習はモデルのパラメータを更新する処理で、推論は固定されたパラメータを使って出力を作る処理です。会話をしている最中に、その内容でモデルが学習し直されるわけではありません。

推論の結果は一定で変わらない

モデルの更新、システムプロンプトの変更、検索連携の有無など、推論の結果はさまざまな要因で変わります。同じ質問でも、時期によって回答が異なることがあります。

推論に関連する用語

推論（Inference）に関連する用語と、その意味

よくある質問