蒸留(Distillation)

蒸留(Knowledge Distillation)は、大きな「教師」モデルの振る舞いを、小さな「生徒」モデルに写し取る技術です。生徒モデルは教師の出力を手本に学習することで、自分のサイズを超えた賢さに近づきます — ローカルLLMで「小さいのに強い」モデルが生まれる主要な仕組みの一つです。

何をしているのか

ふつうの学習は「正解ラベル」を目標にしますが、蒸留では教師モデルの出力そのもの(次の単語の確率分布や、生成した応答)を目標にします。教師の「迷い方・選び方」まで含めて真似ることで、正解ラベルだけを見るより豊かな情報を受け取れる、というのが古典的なアイデアです。近年のLLMでは、上位モデルに大量の応答を生成させ、それを教師データにして小型モデルをSFTする形がよく使われます。

ローカルLLMでの実例

代表例が DeepSeek-R1-Distill シリーズです。巨大な推論モデル(R1)の思考の軌跡を教師にして、Qwen 14BなどのコンシューマGPUで動くサイズに蒸留したもので、当サイトにも収録しています(DeepSeek R1 Distill Qwen 14B)。「本家R1は数百B級でデータセンター向けだが、その挙動を14Bで手元でも試せる」——これが蒸留の実用的な価値です。フロンティアモデルの応答トレースを混ぜたコミュニティ製マージも、広い意味ではこの系譜にあります。

蒸留とサイズ・VRAMの関係

蒸留された生徒モデルの必要VRAMは、生徒モデル自身のサイズで決まります — 14Bに蒸留されたなら、必要スペックはふつうの14Bと同じです。教師がどれだけ巨大でも、動かすのは軽い生徒の方。「上位モデルの賢さを、手元で動くサイズで」という蒸留の狙いは、当サイトの読者(ハードに制約がある人)の関心とちょうど噛み合います。関連する設計として、総量は大きいが実働は一部だけのMoEも「大きさと軽さの両立」を狙う技術です。

関連用語

• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
• RLHF・DPO(選好チューニング) — 人間の好みに沿うようモデルを微調整する工程。RLHFとその簡略版DPOがある
• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる

参考資料(出典)

• https://arxiv.org/abs/1503.02531
• https://arxiv.org/abs/2501.12948

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)