LLMのコンテキスト長とは？入力・出力トークンの予算と長文の確認方法

PR この記事には広告・アフィリエイトリンクが含まれます。リンク経由の申込み等により、運営者に報酬が発生する場合があります。

LLMのコンテキスト長は、文字数そのものではなく、モデルが扱うトークンの長さで表されます。長文を入力する際は、資料だけでなく指示や会話履歴を含め、回答に使う分も考慮して予算を組みます。大きな上限は、すべての内容を正確に利用できるという保証ではありません。このガイドは、長い資料の要約や、会話履歴を含むアプリを設計する人向けの確認手順です。

文脈長・文字数・回答の上限を分ける

トークンは、トークナイザーが文章を処理単位へ分割したものです。日本語の一文字を常に一トークンと換算することはできません。同じ文章でも、使うトークナイザーによって長さが変わり得ます。

Transformersのmax_new_tokensは、入力の長さを含めず、新しく生成するトークン数の上限を指定する設定です。コンテキスト長そのものを書き換える設定ではありません。生成パラメーターの公式資料

入力枠には資料以外も入る

会話形式の入力は、発言内容をそのまま一つの文章として連結するだけではありません。役割を区別するトークンなどが、モデルのチャットテンプレートに沿って追加されます。そのため、本文だけを数えて余裕があると判断すると、実際の入力との差が出ます。チャットテンプレートの説明

計測するときは、実運用で送るメッセージ構造を用意し、対象モデルに合うテンプレートを適用します。利用するシステム指示、履歴、参照文書、ツールの説明があるなら、それらも入力予算へ含めます。サービスが独自の整形を行う場合は、そのサービスの計測値を優先してください。

トークン予算の考え方

入力と生成を合計した系列に上限がある構成なら、次のように整理できます。

使える資料の量
  ≦ 実際のコンテキスト上限
     − 回答に確保する量
     − 指示・履歴・形式に使う量
     − 運用上の余裕

仮に合計32,000トークンを上限とする構成で、回答へ4,000、指示や履歴へ3,000、余裕へ1,000を割くなら、資料の目安は24,000トークンです。これは計算方法を示す仮定例で、特定サービスの仕様や推奨設定ではありません。

入力と出力に別々の上限があるサービスもあるため、式へ数字を入れる前に仕様を確認します。仲介サービスを通す場合は、モデル自体の上限に加え、その経路で許される上限も調べます。

上限を超えたときの挙動を確認する

入力が長すぎる場合、必ず分かりやすいエラーが出るとは限りません。アプリ側が履歴を短くしたり、トークナイザーの設定で切り詰めたりすることがあります。Transformersには長さに合わせて切り詰める指定があり、対象や切り方は設定に依存します。Paddingとtruncation

確認用には、資料の冒頭・中央・末尾へ、互いに区別できる情報を置きます。それぞれに関する質問を用意し、回答と原文を照合します。全問正解でもあらゆる長文での理解を保証するものではありませんが、特定部分の欠落を発見する助けになります。

「入った」と「使えた」を別に評価する

実装時の点検は、次の三段階に分けると原因を追えます。

1. 送信前：整形後の入力を計測し、上限内にあるかを見る。
2. 処理時：履歴の削除や文書の切り詰めが発生したか記録する。
3. 回答後：答えの根拠を原文へ戻して照合する。

正しい回答が得られない場合、すぐ大きなモデルへ替える前に、必要な部分が入力に残っていたかを確かめます。資料がPDFなら、文字の抽出や表の読み取りが崩れていないかも別工程として確認します。

長文を分割する場合は、節の見出しや文書IDを残します。分割した断片だけでは条件が欠けることがあるため、回答に必要な前後関係を合わせて渡せる設計が必要です。

よくある疑問

128Kなら日本語を128,000文字入れられますか？

その換算はできません。Kの表記の定義、対象モデルのトークナイザー、指示や履歴の量を確認し、実際の入力を計測します。

上限の大きいモデルを選べば解決しますか？

必要な資料が収まる可能性は増えますが、入力整形や抽出ミス、根拠の確認は残ります。処理時間や利用料金も含めて目的に合う構成を選びます。

チャット画面とAPIで上限は同じですか？

同じとは限りません。使う画面やAPI経路の公式仕様を個別に確認します。

関連する読み物

提供元ごとの違いを調べる入り口として、AIモデルの文脈長を整理したページも参照できます。実装に採用する数字は、実際に利用するモデルと提供経路で確認してください。

PDFを読みながら入力の分け方を試す

長いPDFを一度に渡すか、章ごとに分けるか迷ったら、同じ資料で質問の範囲を変えて比べます。元サイトで操作画面を掲載しているEaseMate ChatPDFは、PDFの要約と質問を試す候補です。「資料全体の要点」と「第2章の条件」のように範囲を変え、引用や対象ページを確かめてください。

使い始める前に画面を見たい場合は、元サイトのEaseMate紹介記事と操作ガイドを参照できます。サービス側のファイル上限と、ここで計算するモデルのトークン予算は別の条件です。文脈長の数値だけでPDFを丸ごと読めると判断せず、実際の読込結果を確認します。