生成AIは何をしているのか — トークン・確率・文脈長が出力を左右する仕組み

生成AIは「次の単語」を確率で選んでいるだけ

「今日の天気は」と入力すると、生成AIは天気を知っているから答えを返すわけではありません。学習時に大量の文章を読み込み、ある単語列の次にどの単語が来やすいかという統計的な傾向を重みとして獲得し、その重みに基づいて次の一語(正確にはトークン)を選び、それを繰り返して文章を伸ばしているだけです。この基盤となる仕組みはTransformerと呼ばれるニューラルネットワークの構造で、2017年にGoogleの研究者らが発表した論文で提案されました。

この仕組みを踏まえると、生成AIが辞書やデータベースを検索して答えを引いているわけではないことが分かります。出力はあくまで「学習データの中で統計的にありそうな続き」であり、事実確認の機構を内部に持っているわけではありません。

文章はトークンという断片に分解されてから処理される

モデルは日本語の「単語」や英語の「word」をそのまま扱っているのではなく、トークンと呼ばれるより細かい単位に分割してから処理します。よく使われる単語は1トークンで済む一方、専門用語や固有名詞、数字の並びは複数トークンに分割されることがあり、OpenAIが公開しているトークナイザーの解説でもこの分割ルールが説明されています。日本語は英語に比べてトークン化の効率が落ちやすく、同じ内容でも消費するトークン数が増えやすい傾向があると各社のドキュメントで示唆されています。

この分割の粒度は、料金やコンテキスト消費量に直結します。長い日本語の文書を読み込ませると、見た目の文字数以上にトークンを消費し、後述する文脈窓を早く使い切ってしまう場合がある点は実務上見落とされがちです。

確率分布とtemperatureが出力のばらつきを生む

次のトークンを選ぶ際、モデルは候補となるトークンそれぞれに確率を割り当てた分布を計算し、そこからサンプリングします。多くのAPIには温度(temperature)という設定があり、値を上げるほど確率の低い候補も選ばれやすくなり、出力の多様性と引き換えに一貫性が下がります。同じプロンプトを複数回投げても毎回微妙に異なる答えが返ってくるのは、この確率的な選択が起きているためで、これはモデルの不具合ではなく設計上の性質です。

プロンプトの構造をどう組み立てるかは、この確率的な性質を前提にした技術であり、効果的なプロンプトの構造を指示・文脈・制約・例示に分解した解説でも触れているように、指示を具体化するほど確率分布が狭まり、出力のばらつきを抑えやすくなります。

文脈窓(コンテキストウィンドウ)を超えると情報が失われる

モデルが一度に参照できるトークン数には上限があり、これを文脈窓(コンテキストウィンドウ)と呼びます。会話が長くなり、この上限を超えると、古いやり取りの一部がモデルの参照範囲から外れ、結果として「さっき伝えたことを忘れる」現象が起きます。文脈窓の具体的な大きさはモデルやプランによって異なり、各社とも仕様を随時更新しているため、本稿執筆時点の数値を鵜呑みにせず、利用時に公式ドキュメントで確認するのが安全です。

この制約はベンダーごとの設計判断にも表れています。長い文書を丸ごと読ませる用途を重視するか、短いやり取りの応答速度を優先するかで戦略が分かれており、ChatGPT・Claude・Geminiの設計思想の違いを分解した比較では、この文脈窓への投資の差を具体的に扱っています。

仕組みから見える幻覚(ハルシネーション)の必然性

ここまでの仕組みを踏まえると、生成AIがもっともらしい嘘を自信満々に述べる、いわゆる幻覚が起きる理由が見えてきます。モデルは「正しい事実を検索する」のではなく「統計的にありそうな続きを生成する」ため、学習データに乏しい固有名詞や、存在しない論文・条文を尋ねられた場合でも、文法的に自然でもっともらしい文章を生成してしまいます。これは知識不足というより、仕組み自体が持つ性質です。

もっとも、仕組みを理解したからといって幻覚を完全に予測できるわけではありません。実際には、外部の検索結果やドキュメントを参照させる仕組み(検索拡張生成)を組み合わせることで幻覚の頻度を下げようとする設計が各社で採られており、その実装や重視の度合いはベンダーごとに異なります。仕組みの理解は「なぜ起きるか」を説明しますが、「いつ起きるか」を完全には保証してくれません。

トークン・確率・文脈窓という三つの仕組みを押さえておくと、生成AIの出力を「魔法」ではなく「設計の結果」として読めるようになります。残る課題は、この確率的な性質を前提に、どこまでAIの出力を検証なしに使ってよいかという判断を、タスクごとに人間が引き受け続けなければならない点です。