ベンチマーク(LLMの性能評価)
ベンチマークは、LLMの能力を試験問題で数値化する評価です。「どのモデルが賢いか」を比べる共通のものさしですが、モデルカードに載る自己申告スコアは基本的に宣伝であり、そのまま鵜呑みにはできません。当サイトは推測値を書かない方針のため、ここではスコアの数字ではなく「用途ごとに、どのベンチを見るべきか」という地図を示します。
ジャンル別の主要ベンチマーク
| 用途 | 主要ベンチ | 測るもの |
|---|---|---|
| 総合・知識 | MMLU / GPQA | 学術知識・多肢選択 |
| 数学 | GSM8K / MATH / AIME | 計算・証明 |
| コーディング | SWE-bench / LiveCodeBench | 実バグ修正・競技プログラミング |
| 対話の満足度 | Chatbot Arena | 人間の好み(実使用に最も近い) |
| ツール利用 | BFCL | 関数=ツールを正しく呼べるか |
| 日本語 | Nejumi / llm-jp-eval | 日本語の総合力 |
| 長文 | RULER / Needle-in-Haystack | 長いコンテキストの保持 |
自己申告スコアを鵜呑みにできない理由
- チェリーピッキング — ベンダーは自分が強い項目だけを載せがちです。「6/7のベンチでベースを上回る」といった見せ方は、都合の良い7個を選んでいる可能性があります。
- 汚染(コンタミネーション) — ベンチの問題が訓練データに混入していると、実力でなく「答えを覚えているだけ」で高得点が出ます。MMLUのような有名ベンチほど起きやすい問題です。
- 飽和 — 上位モデルがほぼ満点に張り付き、差が出なくなった指標は、選ぶ材料になりません。
- 独立検証の有無 — 個人のマージモデルが「クローズドモデルに匹敵」と自称する例もありますが、第三者が再現していないスコアは参考程度に留めるべきです。
最も信頼しやすいのは、第三者が運営し・人が実際に使って投票するChatbot Arenaのような指標です。
用途に合ったベンチを見る
汎用の知識ベンチ(MMLU)が高くても、RAGで手元文書を読ませる用途では指示追従や長文保持の方が効きますし、ツール利用をさせたいならBFCLを見るべきです。当サイトの分野・業種別ページでは、各用途で「見るべき指標」を案内しています。そして忘れてはならないのは、どれだけベンチが高くても、あなたのPCで動かなければ使えないということです — 動作可否はトップの判定でどうぞ。
関連用語
- Chatbot Arena(人間投票のEloレート) — 匿名対戦で人が優劣を投票し、Eloで順位付け。実使用の満足度に最も近い第三者指標
- SWE-bench(コーディング実力の指標) — 実際のGitHub Issueを解けるかで測るコード評価。HumanEvalより実務に近い
- MMLU(総合知識ベンチマーク) — 57分野の多肢選択で総合知識を測る定番。飽和・汚染が指摘される代表例でもある
- BFCL(ツール利用の実力を測る) — モデルが正しく関数=ツールを呼べるかを測るリーダーボード。エージェント適性の目安
- Nejumi Leaderboard(日本語LLM評価) — 日本語能力を横断的に測る定番リーダーボード。国産・汎用の日本語比較に使う
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。