投機的デコード(draft / EAGLE / MTP)

投機的デコードは、小さいモデルに数トークン先まで「下書き」させ、本命の大きいモデルが一括で検証する高速化技術です。検証に通った分だけ採用するため、出力は本命モデル単体と同一のまま、生成速度だけが上がります(目安1.5〜3倍)。リポジトリ名で見かける「draft」「EAGLE」「MTP」はこの系統の印です。

なぜ速くなるのか

通常のデコードは1トークンごとに巨大な重みを読み直すため、メモリ帯域が律速です。投機的デコードでは、軽い下書きモデルが例えば4〜8トークンを先に書き、本命モデルはそれらをまとめて1回の読み込みで検証します。下書きが当たりやすい定型文・コードほど加速が効き、外れれば捨てて本命が書き直すだけなので品質は落ちません。

名前の意味 — draft / EAGLE / MTP

• draft(ドラフトモデル): 下書き役の小型モデル。同系統の1B前後を組み合わせるのが定番
• EAGLE系: 別モデルを用意せず、本命モデルの内部状態から軽い追加ヘッドで下書きを作る改良方式
• MTP(multi-token prediction): モデル自身が複数トークンを一度に予測できるよう学習しておく方式。対応モデルの量子化ファイル名に「-MTP」として現れます

ローカルでの使いどころ

llama.cppやLM Studioに実装があり、対応モデルなら設定で有効化できます。代償は下書きモデルの分だけVRAMを余計に使うこと(EAGLE/MTP系はこの負担が小さいのが利点)。VRAMに余裕があって生成速度に不満があるときの、品質を犠牲にしない選択肢です。

関連用語

• プリフィルとデコード(TTFT) — 長い文書を貼ると最初の返事だけ遅い理由。推論は「一括処理」と「一字ずつ生成」の2段階
• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
• llama.cpp — ローカルLLM実行の土台エンジン。GGUFの本家で、OllamaやLM Studioの中身
• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる

参考資料(出典)

• https://arxiv.org/abs/2211.17192
• https://arxiv.org/abs/2401.15077

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)