スケーリング則と学習トークン数

モデルカードにある「15Tトークンで学習」といった数字は、モデルの賢さを読む重要な手がかりです。スケーリング則は「パラメータ数・学習データ量・計算量を増やすほど性能が上がる」という経験則で、ここ数年の「小型モデルが急に賢くなった」流れの種明かしでもあります。

スケーリング則とChinchillaの適正比

2020年のOpenAIの研究(Kaplanら)が「性能は規模のべき乗則で伸びる」ことを示し、2022年のDeepMindのChinchilla論文が「同じ計算量なら、パラメータ数と学習トークン数をバランスさせるべき(目安としてパラメータの約20倍のトークン)」と示しました。8Bモデルなら約160Bトークンが「計算効率の最適」ということになります。

現代は「小さく、長く」— ローカルへの追い風

ところが現在の主要モデルは、この最適比を大幅に超えて学習されています。Llama 3の8Bは15Tトークン——Chinchilla目安の約90倍です。理由は、学習コストを余計に払ってでも小さいモデルを賢くした方が、配った後の推論コストが安いから。この「過剰学習(over-training)」の流れこそ、8B級がひと世代前の70B級に迫る品質を持つようになった背景で、ローカルLLMにとって最大の追い風です。当サイトの収録モデルで「同じサイズなのに世代が新しいほど賢い」のも、主にこの学習量の差です。

読み方の注意

学習トークン数は多いほど良い傾向がありますが、データの質と配合で結果は大きく変わるため、単純な横並び比較はできません(トークンの数え方もトークナイザー次第で変わります)。「桁が違えば世代が違う」程度の物差しとして読むのが安全です。

関連用語

• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
• 継続事前学習 — 既存モデルに大量テキストを追加で事前学習し、言語や分野の力を足す工程。国産の主流
• トークンとトークナイザー — LLMが文章を数える単位。日本語は英語よりトークン効率が悪く、体感速度にも効く
• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる

参考資料(出典)

• https://arxiv.org/abs/2001.08361
• https://arxiv.org/abs/2203.15556
• https://arxiv.org/abs/2407.21783

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)