継続事前学習

継続事前学習は、公開済みのモデルの重みを出発点にして、事前学習の続きを大量のテキストで回す工程です。ゼロから作る(スクラッチ)ほどの計算資源なしに、言語や専門分野の力を土台ごと強化できるため、日本語モデル作りの主流の方法になっています。

位置づけ — 事前学習とファインチューニングの中間

事前学習が「乱数から数兆トークンを学ぶ」工程、SFTが「数万〜数百万例で振る舞いを教える」工程だとすると、継続事前学習はその中間で、既存の重みに対して数百億〜数千億トークン規模のテキストを追加で学ばせます。用途は主に2つ——日本語のような言語適応と、医療・法務・コードのような分野適応です。

なぜ国産モデルの主流なのか

スクラッチの事前学習には数千GPU×数ヶ月級の計算資源が要りますが、継続事前学習なら桁違いに少ない資源で、元モデルの汎用能力(推論力・コード力)を保ったまま日本語力を足せます。東工大チームのSwallowシリーズ(Llamaに日本語コーパスを継続事前学習)が代表例で、当サイト収録の国産モデルにもこの方式が多くあります。

覚えておくべき性質 — 系譜は残る

出発点にしたベースモデルの知識・癖・傾向は、継続事前学習を経ても土台として残ります。つまり「日本語を足した国産モデル」のベースが海外モデルである場合、系譜(重みの家系図)は海外に繋がっています——これは良し悪しではなく、日本語LLMを語るときに「どこまでを国産と呼ぶか」の論点になる性質です。また、追加学習の過程で元の能力の一部が薄れる(忘却)トレードオフがあり、元言語のデータを混ぜて緩和するのが一般的です。

用語の注意: 機械学習で「継続学習(continual learning)」と言うと、タスクを次々に学び続ける別分野の概念を指します。日本語の記事では混同されがちですが、モデルカードで見かける continued pretraining はこのページの意味です。

関連用語

• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
• 国産基盤モデル(国産LLM) — フルスクラッチ組と継続事前学習組、オープンウェイトとクローズドウェイト — 「国産」の中身を2軸で整理
• SFT(指示チューニング) — 事前学習済みモデルに「指示への従い方」を教える工程。-Instruct 版はこれを経ている
• LoRAとQLoRA — モデル全体でなく小さな「差分」だけを追加学習するFT手法。派生モデル量産の原動力

参考資料(出典)

• https://arxiv.org/abs/2404.17790
• https://swallow-llm.github.io/

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)