ベースモデルとInstructモデル

Hugging Faceでモデルを探すと、同じ名前で「Llama-3.1-8B」と「Llama-3.1-8B-Instruct」のような2種類が見つかります。チャットに使えるのはInstruct版だけです。この違いはローカルLLM選びで最初に踏む地雷なので、仕組みから説明します。

ベースモデル = 「続きを書く」だけの存在

事前学習を終えた直後のベースモデルは、「テキストの続きを予測する」ことしかできません。「日本の首都は?」と入力すると、答える代わりに「という質問がよく検索されています。他にも…」のようにそれっぽい続きを書いてしまうことがあります。指示に従う・質問に答える・会話のターンを守る、という振る舞いをまだ知らないからです。

Instruct版 = 指示に従うよう追加訓練したもの

ベースモデルに「指示と模範回答のペア」を追加学習(SFT=指示チューニング)し、さらに人間の好みに合わせる調整(RLHF等)を施したのがInstruct版(Chat版とも)です。私たちが「AIと会話する」と思っている振る舞いは、すべてこの段階で作られます。

技術的にはチャットテンプレートという約束事も重要です。Instructモデルは「ここまでがユーザー発言、ここからがAIの番」を特殊なトークンで区切る形式で訓練されており、OllamaやLM Studioはこの整形を自動でやってくれます。ベースモデルにはこの約束事自体が存在しません。

ではベースモデルは何のためにある?

• 追加学習の素材 — 自社データでのファインチューニングや、日本語の継続学習(Swallowなど)はベースから行うのが基本
• 純粋な文章補完 — 小説の続き生成のような「指示ではなく続き」が欲しい特殊用途

当サイトのカタログは対話用途を前提にInstruct系のみ収録しており、新モデルの自動収集でもベースモデルは除外しています。Ollamaのモデル名(llama3.1:8b等)は基本的にInstruct版を指すので、Ollama経由なら誤爆しにくいのが実情です。

見分け方

• 名前の末尾: -Instruct / -Chat / -it(Gemma系)が付けば対話用
• 付いていない場合はモデルカードを確認 — 「base model」「pretrained」とあれば素のベース
• 迷ったら: 当サイトの判定ツールに載っているモデルはすべて対話用です

関連用語

• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
• ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。会話が外部に送信されない
• Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト

参考資料(出典)

• https://huggingface.co/docs/transformers/chat_templating
• https://arxiv.org/abs/2203.02155

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)