CUDA

CUDAは、NVIDIAのGPUで汎用計算を行うための開発基盤です。ローカルLLMの文脈では「NVIDIAのGPUを使うための標準的な道」で、llama.cpp・Ollama・LM Studio といった実行環境のほとんどがまずCUDA向けに作られ、最適化されます。同じ性能のハードでも、この差が実際の速度に出ます。

当サイトの実測で見るCUDAの位置

当サイトはGPUの生成速度を「メモリ帯域 ÷ 重みサイズ」という理論上限で示していますが、実際に何割まで届くかはソフトウェア側の成熟度に左右されます。同一ベンチマークでの計測を並べると、CUDAは理論上限の62〜80%を実現します。対するROCm(AMD)は55〜68%、IntelのVulkan経路は32〜59%でした。

この差は「NVIDIAのGPUのほうが速い」という話とは別物です。同じ帯域なら、CUDAのほうが引き出せるという意味で、ハードの性能表には現れません。当サイトのGPUページで理論値の下に実現率の幅を併記しているのは、この差を見落とすとベンダーをまたいだ比較で判断を誤るためです。

なぜここまで差がつくのか

技術的な優劣というより、時間と対象人口の差です。CUDAは2007年から続く基盤で、主要な機械学習フレームワークが最初に対応する先であり、GPU向けの最適化コードもまずここに書かれます。新しい手法が出たとき、CUDA版は数日で、他の環境は数ヶ月遅れる、ということが普通に起きます。ローカルLLMを「とりあえず動かしたい」場合にNVIDIAが無難とされるのは、この供給差が理由です。

それでも注意すべきこと

• CUDAが速いことと、VRAMが足りることは無関係です。 載らないモデルはどれだけ環境が整っていても動きません(オフロードすれば動きますが桁違いに遅くなります)。当サイトの判定が容量を最優先に見るのはこのためです。
• バージョンの組み合わせで動かないことがあります。 ドライバ・CUDAツールキット・実行環境のビルドが噛み合う必要があり、古いGPUが新しい版で切られることもあります。
• 実行環境がCUDAを使う設定になっているか確認してください。 ビルドやオプションによってはCPUだけで動いてしまい、GPUがあるのに極端に遅い、という状態が起こりえます。

関連用語

• ROCm — AMD GPUの計算基盤。動くが、同じ帯域から引き出せる速度はCUDAより低い
• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
• Tensor Core — 行列積専用の演算ユニット。ただし1人ぶんの生成速度は帯域で決まる

参考資料(出典)

• https://docs.nvidia.com/cuda/
• https://github.com/ggml-org/llama.cpp/discussions/15013

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)