RLHF・DPO(選好チューニング)

RLHF(Reinforcement Learning from Human Feedback/人間フィードバックによる強化学習)と、その簡略版であるDPO(Direct Preference Optimization/直接選好最適化)は、モデルの答え方を「人が好む方向」に寄せるチューニング工程です。SFTで「指示に従う」ようになったモデルを、さらに磨く段階にあたります。

SFTの後に何をするのか

SFTだけでも指示には従えますが、「複数のもっともらしい答えのうち、どれが人にとって良いか」までは学べません。RLHFでは、同じ質問への複数の応答に人が優劣を付けたデータ(選好データ)を使い、好まれる応答を出しやすくなるようモデルを微調整します。応答の自然さ・丁寧さ・安全性(危険な要求を断る等)は、多くがこの工程で身に付きます。

RLHFとDPOの違い

従来のRLHFは「報酬モデル」を別に訓練し、それを使った強化学習でモデルを更新する多段の手続きで、実装が重いのが難点でした。DPOは同じ選好データから、報酬モデルや強化学習を経ずに直接モデルを最適化する簡略手法で、扱いやすさから近年のオープンモデルで広く使われています。狙い(人の好みへの整合)は同じで、DPOはその実務的な近道です。

ローカルLLM選びとの関係

この工程もモデルのサイズ(必要VRAM)は変えません — 効くのは応答の質と安全性です。同じベースから作られたモデルでも、選好チューニングの丁寧さで対話の使い勝手が変わるため、モデル選びでは「サイズが同じなら、素性(開発元・チューニングの評判)も見る」のが実務的です。当サイトが判定するのは「動くか」までで、応答の好みは実際に試して確かめるのが確実です(トップの判定+実測ベンチ)。

関連用語

• SFT(指示チューニング) — 事前学習済みモデルに「指示への従い方」を教える工程。-Instruct 版はこれを経ている
• ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない
• 蒸留(Distillation) — 大きな『教師』モデルの振る舞いを小さなモデルに写し取る技術。R1-Distill 等が該当

参考資料(出典)

• https://arxiv.org/abs/2203.02155
• https://arxiv.org/abs/2305.18290

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)