ベンチマーク(LLMの性能評価)
ベンチマークは、AIに共通の試験問題を解かせて、賢さを点数で比べる仕組みです。学力テストのAI版と考えてください。ただし、開発元が自分で発表する点数は自社に有利な条件で測られていることがあり、そのまま信用はできません。
ジャンル別の主要ベンチマーク
| 用途 | 主要ベンチ | 測るもの |
|---|---|---|
| 総合・知識 | MMLU / GPQA | 学術知識・多肢選択 |
| 数学 | GSM8K / MATH / AIME | 計算・証明 |
| コーディング | SWE-bench / LiveCodeBench | 実バグ修正・競技プログラミング |
| 対話の満足度 | Chatbot Arena | 人間の好み(実使用に最も近い) |
| ツール利用 | BFCL | 関数=ツールを正しく呼べるか |
| 日本語 | llm-jp-eval / Nejumi | 日本語の総合力 |
| 長文 | RULER / Needle-in-Haystack | 長いコンテキストの保持 |
自己申告スコアを鵜呑みにできない理由
- チェリーピッキング — ベンダーは自分が強い項目だけを載せがちです。「6/7のベンチでベースを上回る」といった見せ方は、都合の良い7個を選んでいる可能性があります。
- 汚染(コンタミネーション) — ベンチの問題が訓練データに混入していると、実力でなく「答えを覚えているだけ」で高得点が出ます。MMLUのような有名ベンチほど起きやすい問題です。
- 飽和 — 上位モデルがほぼ満点に張り付き、差が出なくなった指標は、選ぶ材料になりません。
- 独立検証の有無 — 個人のマージモデルが「クローズドモデルに匹敵」と自称する例もありますが、第三者が再現していないスコアは参考程度に留めるべきです。
第三者が運営し、人が実際に使って投票するArenaのような指標は、利用者の選好を測る点では信頼しやすい一方、事実の正確さや専門性まで測っているわけではありません(運営自身も、選好だけでは事実性を捉えきれないとして別の指標を用意しています)。目的に応じて複数のベンチを見るのが前提です。
用途に合ったベンチを見る
汎用の知識ベンチ(MMLU)が高くても、RAGで手元文書を読ませる用途では指示追従や長文保持の方が効きますし、ツール利用をさせたいならBFCLを見るべきです。当サイトの分野・業種別ページでは、各用途で「見るべき指標」を案内しています。そして忘れてはならないのは、どれだけベンチが高くても、あなたのPCで動かなければ使えないということです — 動作可否はトップの判定でどうぞ。
関連用語
- Chatbot Arena(人間投票のEloレート) — 匿名対戦で人が優劣を投票し順位付け。利用者の選好に最も近い第三者指標
- SWE-bench(コーディング実力の指標) — 実際のGitHub Issueを解けるかで測るコード評価。HumanEvalより実務に近い
- MMLU(総合知識ベンチマーク) — 57分野の多肢選択で総合知識を測る定番。飽和・汚染が指摘される代表例でもある
- BFCL(ツール利用の実力を測る) — モデルが正しく関数=ツールを呼べるかを測るリーダーボード。エージェント適性の目安
- Nejumi Leaderboard(日本語LLM評価) — 日本語能力を横断的に測るリーダーボードの一つ。日本語評価はまだ標準未確立で分散
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。