メモリ帯域(メモリバンド幅)
メモリ帯域(メモリバンド幅)は、GPUがメモリを毎秒何GB読み書きできるかを表すスペックです(単位: GB/s)。VRAM容量が「どのモデルが動くか」を決めるのに対し、メモリ帯域は「どれだけ速く動くか」をほぼ決めます。当サイトの各GPUページに載せている帯域は TechPowerUp GPU Database の値です。
なぜ生成速度は帯域で決まるのか
LLMが1トークン(数文字)を生成するたびに、原理的にはモデルの全重みを一度メモリから読み込む必要があります。この読み込みが計算そのものより時間を食うため、生成速度の上限は単純な割り算で見積もれます:
理論上限(トークン/秒) ≒ メモリ帯域 ÷ モデルの重みサイズ
例えばRTX 4090(1008GB/s)で8Bクラス(Q4_K_Mで約4.9GB)を動かすと、理論上限はおよそ200トークン/秒です。実測はオーバーヘッドの分これより下がります(どれくらい下がるかは後述)。それでも「帯域が効く」という関係自体は明確です。GPUの演算性能(TFLOPS)がほとんど話題にならないのはこのためで、推論のこの性質は研究論文でも「メモリ律速」として知られています(Pope et al. 2022)。
どれくらい下振れするのか。 第三者の業務検証記事では、27B級(4bit量子化)をRTX 5090で全部VRAMに載せて66.5トークン/秒という実測が報告されています。当サイト収録の同クラス(Qwen3.6 27B、重み約18.0GB)で同じ割り算をすると約100トークン/秒ですから、実測は理論上限の7割弱にあたります。厳密には別世代のモデルなので直接の比較ではありませんが、この表の数値は上限であって、実際にはこれを下回るという感覚を持っておくと見積もりを外しません。
帯域が高いほど、理論値には届かなくなる
下振れ幅は一定ではありません。llama.cpp公式リポジトリで維持されているApple Silicon の計測表(同一ツール・同一モデル= LLaMA 7B のF16、重みは実ファイルで12.55GiB=約13.5GB)から、帯域ごとの達成率を並べます。
| チップ | メモリ帯域 | 理論上限 | 実測(生成) | 達成率 |
|---|---|---|---|---|
| M2 | 100GB/s | 7.4 | 6.72 | 91% |
| M1 Pro | 200GB/s | 14.8 | 12.75 | 86% |
| M2 Pro | 200GB/s | 14.8 | 13.06 | 88% |
| M1 Max | 400GB/s | 29.7 | 23.03 | 78% |
| M2 Max | 400GB/s | 29.7 | 24.65 | 83% |
| M1 Ultra | 800GB/s | 59.4 | 37.01 | 62% |
| M2 Ultra | 800GB/s | 59.4 | 41.02 | 69% |
このApple系7機種に限れば、低帯域では理論値の9割近くに届くのに、800GB/s帯では6割台まで落ちます。帯域が上がるほど読み出し待ち以外の要因(演算やソフトウェア処理)が相対的に効いてくる——というのが考えられる説明ですが、これは観測された相関であって、原因を確かめたものではありません。
達成率はベンダーによっても違う — 帯域だけで比べると順位を間違える
同じllama.cpp公式表で、NVIDIAとAMDを同一モデル・同一量子化(Llama 2 7B Q4_0、重み約3.83GB)で並べると、実現できる割合そのものに差が出ます。
| GPU | メモリ帯域 | 理論上限 | 実測(生成) | 達成率 |
|---|---|---|---|---|
| RTX 3060 12GB | 360GB/s | 94 | 75.57 | 80% |
| RTX 4080 | 717GB/s | 187 | 142.49 | 76% |
| RTX 3090 | 936GB/s | 244 | 158.16 | 65% |
| RTX 5090 | 1,792GB/s | 468 | 290.02 | 62% |
| RX 7800 XT | 624GB/s | 163 | 100.94 | 62% |
| RX 7900 XT | 800GB/s | 209 | 116.15 | 56% |
| RX 7900 XTX | 960GB/s | 251 | 167.11 | 67% |
この収録範囲では、NVIDIA勢が62〜80%、AMD勢が56〜67%です。ソフトウェア(CUDA と ROCm)の成熟度の差が考えられる説明ですが、機種も世代も異なるものを横並びにした観測であり、原因を特定したものではありません。実際、帯域の高低と達成率もきれいには対応せず、Intel Arc A750(512GB/s)は32%、RX 7800 XT(624GB/s)は62%と、帯域だけでは説明できない差が出ています。
ここが実用上いちばん危険な点です。 帯域だけで比べると RX 7900 XT(800GB/s)は RTX 4080(717GB/s)より速そうに見えます。しかし実測はRTX 4080が142.49、RX 7900 XTが116.15で、順位が逆転します。異なるベンダーのGPUを帯域の数字だけで比較しないでください。当サイトのGPUページに載る理論値も、この理由でベンダーをまたいだ比較には向きません。
この表の数値をどう使うか。 当サイトのGPUページに載る「理論上の生成速度の目安」は上限です。実測がどれだけ下回るかはベンダーと機種で変わるため、各GPUページにはそのベンダーの実測レンジを併記しています。少なくとも帯域を2倍にしても生成速度は2倍にはならない、という読み方をしてください。消費電力との関係はTDPの項も参照してください。
帯域の「桁」の感覚
当サイトのカタログから代表例を並べると、同じ「GPU」でも桁が違うことが分かります:
| クラス | 例 | 帯域 |
|---|---|---|
| 内蔵GPU | Intel Iris Xe | 60GB/s |
| Apple Silicon(無印) | Apple M4 | 120GB/s |
| ミドルGPU | RTX 3060 12GB | 360GB/s |
| ハイエンドGPU | RTX 4090 | 1008GB/s |
この差はメモリの種類の差でもあります。単体GPUは広帯域のGDDR、AppleシリコンやスマホはCPUと共有するLPDDR(ユニファイドメモリ)、データセンター向けGPUはさらに広帯域のHBMを積む、という住み分けです。
当サイトの判定にどう反映されているか
- 各GPUページの「理論上の生成速度の目安」表は、上の割り算(帯域÷重み)をそのまま計算したものです。
- 容量的には収まっても帯域が60GB/s以下の共有メモリ機(内蔵GPU・スマホ)は、体感速度を考慮して◎を△に一段下げています。
- CPUオフロードが大幅に遅くなる理由も帯域です — メインメモリ(RAM)の帯域はVRAMより大幅に狭いため、溢れた分が全体の足を引っ張ります。
- 量子化の利点は容量だけではありません。重みが小さくなる=毎トークンの読み込み量が減るため、同じGPUでも生成が速くなります。
買い替え・借り替えの目安に
「動くけど遅い」の多くは帯域の問題なので、VRAM容量だけでなく帯域も見てGPUを選ぶと失敗が減ります。各GPUページの「とは」段落に、当サイト収録機種内での帯域順位を載せています。手元のGPUの帯域で足りるかはトップページの自動判定と各GPUページの速度表で確認できます。
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
- TDP(熱設計電力) — GPUの発熱・電力の設計枠。LLM推論の実消費との関係と電源選びの読み方
- GDDR・HBM・LPDDR(GPUメモリの種類) — GPUに載るメモリの3系統。速さ・容量・省電力のどれを取るかで住み分けが決まる
- ユニファイドメモリ — CPUとGPUがメモリを共有する方式。Macが大型モデルに強い理由と、スマホ・内蔵GPUの注意点
- CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
- 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
参考資料(出典)
- https://www.techpowerup.com/gpu-specs/
- https://arxiv.org/abs/2211.05102
- https://blog.colopl.dev/entry/2026/04/22/110000
- https://github.com/ggml-org/llama.cpp/discussions/4167
- https://github.com/ggml-org/llama.cpp/discussions/15013
- https://github.com/ggml-org/llama.cpp/discussions/15021
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。