CUDA

CUDAは、NVIDIAのGPUで汎用計算を行うための開発基盤です。ローカルLLMの文脈では「NVIDIAのGPUを使うための標準的な道」で、llama.cpp・Ollama・LM Studio といった実行環境のほとんどがまずCUDA向けに作られ、最適化されます。同じ性能のハードでも、この差が実際の速度に出ます。

当サイトの実測で見るCUDAの位置

当サイトはGPUの生成速度を「メモリ帯域 ÷ 重みサイズ」という理論上限で示していますが、実際に何割まで届くかはソフトウェア側の成熟度に左右されます。同一ベンチマークでの計測を並べると、CUDAは理論上限の62〜80%を実現します。対するROCm(AMD)は56〜67%、IntelのVulkan経路は32〜59%でした。

ただし、これは機種も世代も異なるGPUを横並びにした観測であって、環境を揃えて同じGPUで比べた結果ではありません。「CUDAのほうが引き出せる」というのはこの収録範囲から読み取れる傾向であり、原因を特定したものではないと受け取ってください。当サイトのGPUページで理論値の下に実現率の幅を併記しているのは、この差を見落とすとベンダーをまたいだ比較で判断を誤るためです。

なぜここまで差がつくのか

確かめられてはいませんが、技術的な優劣というより時間と対象人口の差という説明が自然です。CUDAは2007年から続く基盤で、主要な機械学習フレームワークが最初に対応する先であり、GPU向けの最適化コードもまずここに書かれます。新しい手法が出たとき、CUDA版は数日で、他の環境は数ヶ月遅れる、ということが普通に起きます。ローカルLLMを「とりあえず動かしたい」場合にNVIDIAが無難とされるのは、この供給差が理由です。

それでも注意すべきこと

• CUDAが速いことと、VRAMが足りることは無関係です。 載らないモデルはどれだけ環境が整っていても動きません(オフロードすれば動きますが桁違いに遅くなります)。当サイトの判定が容量を最優先に見るのはこのためです。
• バージョンの組み合わせで動かないことがあります。 ドライバ・CUDAツールキット・実行環境のビルドが噛み合う必要があり、古いGPUが新しい版で切られることもあります。
• 実行環境がCUDAを使う設定になっているか確認してください。 ビルドやオプションによってはCPUだけで動いてしまい、GPUがあるのに極端に遅い、という状態が起こりえます。

関連用語

• ROCm — AMD GPUの計算基盤。当サイト収録の実測では達成率がCUDAより低かった
• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
• Tensor Core — 行列積専用の演算ユニット。ただし1人ぶんの生成速度は帯域で決まる

参考資料(出典)

• https://docs.nvidia.com/cuda/
• https://github.com/ggml-org/llama.cpp/discussions/15013

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)