MMLU(総合知識ベンチマーク)

MMLU(Massive Multitask Language Understanding)は、57分野・約1万5千問の多肢選択でモデルの総合知識を測る、最も広く引用されるベンチマークです。人文・理系・法律・医療など幅広い科目をカバーし、「モデルがどれだけ物を知っているか」の代表的な指標になっています。

なぜ定番なのか、そして限界

手軽に比較でき歴史も長いため、ほぼ全てのモデルカードに載っています。しかし裏返しに、2つの問題の代表例でもあります:

• 飽和 — 上位モデルが軒並み高得点に張り付き、差がほとんど出なくなっています。「MMLUが数ポイント高い」はもはや実力差として当てにできません。
• 汚染 — 有名で問題が公開されているぶん、訓練データに混入しやすく、「実力でなく答えを覚えているだけ」で点が出る懸念が常にあります。

これらを緩和する後継として、より難しく選択肢を増やした MMLU-Pro があります。

ローカルLLM選びでの位置づけ

MMLUは「広く浅い知識の目安」として参考にはなりますが、実際の使い勝手を保証しません。日常の対話の満足度はChatbot Arena、コーディングはSWE-bench、日本語はNejumi——というように、用途に合ったベンチを併せて見るのが賢い選び方です。そしてどれだけMMLUが高くても、手元のGPUで動かなければ意味がありません(トップの判定)。

関連用語

• ベンチマーク(LLMの性能評価) — モデルの能力を数値化する試験。ただし自己申告値は宣伝で、実使用と乖離しやすい
• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)

参考資料(出典)

• https://arxiv.org/abs/2009.03300

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)