推論モデル(reasoning / thinking)

推論モデル(reasoning model)は、答えを出す前に「考える過程」をトークンとして生成してから最終回答を書くモデルです。DeepSeek-R1で一気に普及し、いまはQwenなど多くのモデルが「thinkingモード」として搭載しています。数学・コード・多段の論理で明確に賢くなる一方、ローカルでは時間とメモリを二重に食う性質があります。

thinkタグの正体

推論モデルの出力は「<think> …長い思考… </think> 最終回答」という構造です。思考部分は数百〜数千トークンに及ぶことがあり、UIによっては折りたたまれて見えません。この「考え方」自体は、正解に報酬を与える強化学習で獲得されます(DeepSeek-R1の論文が代表例)。大型の推論モデルの思考データで小型モデルを蒸留した「R1-distill系」のように、手元で動くサイズの推論モデルも豊富にあります。

ローカルでの代償 — 時間とKVを二重に食う

思考トークンも普通の生成なので、①最終回答が出るまでの体感時間が数倍になり(生成速度5 tok/sの環境で1,000トークン考えると、回答が始まるまで3分超)、②思考分だけKVキャッシュとコンテキスト枠を消費します。速いGPUほど恩恵が大きく、ぎりぎりの環境ほど「賢いが待てない」になりやすい——ローカルで推論モデルを選ぶときの実質的な判断軸です。

使い分け

雑談・要約・簡単な質問には思考は無駄が多く、通常モデル(または thinkingオフ)で十分です。Qwen系のようにモードを切り替えられるモデルなら、難しい問題のときだけthinkingを有効にするのが実用的。なおベンチマークで推論系スコアが跳ねるのはこの仕組みの得意分野そのものなので、スコア比較では思考の有無を揃えて読む必要があります。

関連用語

• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
• コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
• 蒸留(Distillation) — 大きな『教師』モデルの振る舞いを小さなモデルに写し取る技術。R1-Distill 等が該当
• ベンチマーク(LLMの性能評価) — モデルの能力を数値化する試験。ただし自己申告値は宣伝で、実使用と乖離しやすい

参考資料(出典)

• https://arxiv.org/abs/2501.12948
• https://openai.com/index/learning-to-reason-with-llms/

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)