SWE-bench(コーディング実力の指標)
SWE-bench は、実在するGitHubのIssue(バグ報告・機能要望)をモデルに解かせ、生成した修正が実際にテストを通るかで採点する、コーディング評価のベンチマークです。「関数を1つ書けるか」ではなく「本物のプロジェクトのバグを直せるか」を測るため、実務に最も近いコード指標の一つとされています。
HumanEvalとの違い
従来定番の HumanEval は「短い問題文から関数を1つ生成する」課題で、上位モデルはほぼ満点=飽和しています。SWE-bench は複数ファイルにまたがる実際のリポジトリを理解し、該当箇所を直し、既存テストを壊さずに新テストを通す必要があり、桁違いに難しく、モデル間の差がはっきり出ます。単なるコード生成でなく、リポジトリを読んで直すエージェント的な能力が要る点も特徴です。
Verified版とは
オリジナルのSWE-benchには「そもそも解答不能」「テストが曖昧」な問題も含まれていました。SWE-bench Verified は、人手で解ける問題だけに絞った品質保証版で、スコアの信頼性が高くモデル比較の基準としてよく使われます。「62.4%解決」のような数字は、通常このVerifiedでの値を指します。
コーディング用途での使い方
ローカルでコード補助モデルを選ぶなら、飽和したHumanEvalよりSWE-bench(Verified)やLiveCodeBenchを見るのが実態に合います。当サイトのコーディング分野ページでは、お使いのGPUで動くコード特化モデルを案内しています——ベンチが高くても、動かなければ使えないので(判定はこちら)。
関連用語
- ベンチマーク(LLMの性能評価) — モデルの能力を数値化する試験。ただし自己申告値は宣伝で、実使用と乖離しやすい
- ツール利用(function calling / MCP / スキル) — 汎用モデルに検索・コード実行・API操作などの「手順」を外付けする仕組み。ローカル小型は苦手
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。