BFCL(ツール利用の実力を測る)

BFCL(Berkeley Function-Calling Leaderboard)は、モデルが「関数=ツールを正しく呼べるか」を測るベンチマーク/リーダーボードです。与えられた道具の一覧から適切なものを選び、正しい引数で呼び出せるか——つまりツール利用(function calling)の実力を評価します。

何を測っているか

単純な「呼べる/呼べない」だけでなく、複数の関数から正しいものを選ぶ・引数の型を間違えない・呼ぶ必要がない時は呼ばない・複数の呼び出しを組み立てるといった、実際のエージェント運用で必要な精度を細かく採点します。文章生成の巧さとは別の能力で、ここが弱いと「もっともらしく喋るが道具をうまく使えない」モデルになります。

ローカルLLM選びでなぜ見るのか

先にツール利用の項で述べたとおり、ローカルの小型モデルはツール呼び出しや複数手順の計画が苦手な傾向があります。BFCLは、その苦手さを具体的な数字で確かめられる数少ない指標です。用途がこう分かれます:

• 参照して答えるだけ(RAG中心) — BFCLはそれほど重要でなく、小型でも実用。
• エージェント的にツールを実行させたい — BFCLの高いモデル(=指示追従の強い中〜大型)を選ぶべき。

「ローカルでエージェントを動かしたい」なら、モデルサイズが手元のGPUに収まるか(トップの判定)と、BFCLのようなツール実力の両方を見るのが安全です。

関連用語

• ベンチマーク(LLMの性能評価) — モデルの能力を数値化する試験。ただし自己申告値は宣伝で、実使用と乖離しやすい
• ツール利用(function calling / MCP / スキル) — 汎用モデルに検索・コード実行・API操作などの「手順」を外付けする仕組み。ローカル小型は苦手

参考資料(出典)

• https://gorilla.cs.berkeley.edu/leaderboard.html
• https://arxiv.org/abs/2305.15334

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)