SFT(指示チューニング)

SFT(Supervised Fine-Tuning/教師ありファインチューニング=指示チューニング)は、事前学習を終えたモデルに「人の指示に従って答える」振る舞いを教える工程です。モデル名末尾の -Instruct や -it は、この工程を経ていることを表します(ベースモデルとInstructモデル参照)。

何を教える工程か

事前学習だけのベースモデルは、大量の文章から「次の単語」を予測する力は付いていますが、「質問に答える」「指示に従う」という形式を知りません。SFTでは「指示」と「望ましい応答」のペアを大量に見せ、その形式を学習させます。これにより、素のベースモデルが「質問を無視して文章の続きを書く」のに対し、Instruct版は「質問に答える」ようになります。応答をどんな枠組みで受け渡すか(システム/ユーザー/アシスタントの役割分担)を定めるのがチャットテンプレートで、SFTと対で運用されます。

ローカルLLM選びとの関係

チャット用途では必ずSFT済みのInstruct版を選びます — 当サイトのカタログが対話用モデルを中心に収録しているのはこのためです。日本語モデルでは、英語中心のベースに日本語で継続事前学習を施した上でSFTする、という多段構成もよく見られます(Swallow等)。SFTは振る舞いを整える工程で、モデルのサイズ(=必要VRAM)は変えません。同じ8Bならベース版もInstruct版も必要スペックは同じで、選ぶべきはInstruct版です。

SFTの次の工程

SFTで「指示に従う」ようになったモデルを、さらに「人が好む答え方」に寄せるのがRLHF・DPO(選好チューニング)です。多くの現行Instructモデルは SFT → 選好チューニング の順に磨かれています。また、上位モデルの応答を教師にして小型モデルを鍛える蒸留と組み合わせることもあります。

関連用語

• ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない
• RLHF・DPO(選好チューニング) — 人間の好みに沿うようモデルを微調整する工程。RLHFとその簡略版DPOがある
• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)

参考資料(出典)

• https://arxiv.org/abs/2203.02155
• https://huggingface.co/docs/transformers/chat_templating

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)