ROCm

ROCmは、AMDのGPUで汎用計算を行うための開発基盤で、CUDAに相当する位置づけです。ローカルLLMは主要な実行環境がROCmに対応しており「動きます」。ただし当サイトの実測比較では、同じメモリ帯域から引き出せる速度がCUDAより低く、しかも版によるばらつきが大きいのが実情です。

数字で見る差 — そして順位が逆転する話

同一ベンチマークの計測を、当サイトの理論上限(帯域÷重み)と比べた達成率は、ROCmが55〜68%、CUDAが62〜80%です。ここで実用上いちばん危険なのが、帯域の数字だけで比べると順位が入れ替わることです。

RX 7900 XT(800GB/s)は RTX 4080(717GB/s)より帯域が高く、理論上限も上に出ます。しかし実測はRTX 4080が142.5トークン/秒、RX 7900 XTが114.0トークン/秒で逆転します。カタログスペックだけで選ぶと、この差に気づけません。

ばらつきの大きさも織り込む

ROCmは版やドライバによって計測値が大きく動きます。当サイトが参照した公式の計測表では、同じRX 7900 XTXでも投稿された値が125〜170トークン/秒と3割以上ぶれていました。改善が続いている領域でもあるため、今日の数字が来年も同じとは限りません。当サイトが実現率を「幅」で示し、単一の係数として判定に焼き込んでいないのはこのためです(そんな精度のデータではない、という判断です)。

AMDを選ぶ場合に見るべきこと

• 容量あたりの価格 — 同価格帯でVRAMが多い構成を選べることがあります。そもそも載らないモデルは動かないので、容量が効く場面では有利になりえます。
• 環境構築の手間 — 対応OS・カーネル・ROCm版の組み合わせに制約があります。「買えば動く」度合いはCUDA環境より低いと考えてください。
• Vulkanという別経路 — ROCm非対応の構成でもVulkan経由で動く場合がありますが、一般に速度は落ちます。Intel Arcではランタイムの選択で処理速度が桁違いに変わる報告もあり、AMDでも「どの経路で動いているか」を把握しておく価値があります。

当サイトの判定(◎△×)は容量で決まるため、ROCmかCUDAかで結果は変わりません。変わるのは同じ判定のなかでの速度です。

関連用語

• CUDA — NVIDIA GPUの標準的な計算基盤。理論上限の62〜80%を実現する
• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック

参考資料(出典)

• https://rocm.docs.amd.com/en/latest/
• https://github.com/ggml-org/llama.cpp/discussions/15021
• https://github.com/ggml-org/llama.cpp/discussions/10879

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)