メモリ帯域(メモリバンド幅)

メモリ帯域(メモリバンド幅)は、GPUがメモリを毎秒何GB読み書きできるかを表すスペックです(単位: GB/s)。VRAM容量が「どのモデルが動くか」を決めるのに対し、メモリ帯域は「どれだけ速く動くか」をほぼ決めます。当サイトの各GPUページに載せている帯域は TechPowerUp GPU Database の値です。

なぜ生成速度は帯域で決まるのか

LLMが1トークン(数文字)を生成するたびに、原理的にはモデルの全重みを一度メモリから読み込む必要があります。この読み込みが計算そのものより時間を食うため、生成速度の上限は単純な割り算で見積もれます:

理論上限(トークン/秒) ≒ メモリ帯域 ÷ モデルの重みサイズ

例えばRTX 4090(1008GB/s)で8Bクラス(Q4_K_Mで約4.9GB)を動かすと、理論上限はおよそ200トークン/秒です。実測はオーバーヘッドの分これより下がりますが、「帯域が2倍なら生成もほぼ2倍速い」という比例関係は概ね成り立ちます。GPUの演算性能(TFLOPS)がほとんど話題にならないのはこのためで、推論のこの性質は研究論文でも「メモリ律速」として知られています(Pope et al. 2022)。消費電力との関係はTDPの項も参照してください。

帯域の「桁」の感覚

当サイトのカタログから代表例を並べると、同じ「GPU」でも桁が違うことが分かります:

この差はメモリの種類の差でもあります。単体GPUは広帯域のGDDR、AppleシリコンやスマホはCPUと共有するLPDDR(ユニファイドメモリ)、データセンター向けGPUはさらに広帯域のHBMを積む、という住み分けです。

当サイトの判定にどう反映されているか

• 各GPUページの「理論上の生成速度の目安」表は、上の割り算(帯域÷重み)をそのまま計算したものです。
• 容量的には収まっても帯域が60GB/s以下の共有メモリ機(内蔵GPU・スマホ)は、体感速度を考慮して◎を△に一段下げています。
• CPUオフロードが大幅に遅くなる理由も帯域です — メインメモリ(RAM)の帯域はVRAMより大幅に狭いため、溢れた分が全体の足を引っ張ります。
• 量子化の利点は容量だけではありません。重みが小さくなる=毎トークンの読み込み量が減るため、同じGPUでも生成が速くなります。

買い替え・借り替えの目安に

「動くけど遅い」の多くは帯域の問題なので、VRAM容量だけでなく帯域も見てGPUを選ぶと失敗が減ります。各GPUページの「とは」段落に、当サイト収録機種内での帯域順位を載せています。手元のGPUの帯域で足りるかはトップページの自動判定と各GPUページの速度表で確認できます。

関連用語

• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッド注意でサイズが数十倍変わる
• TDP(熱設計電力) — GPUの発熱・電力の設計枠。LLM推論の実消費との関係と電源選びの読み方
• GDDR・HBM・LPDDR(GPUメモリの種類) — GPUに載るメモリの3系統。速さ・容量・省電力のどれを取るかで住み分けが決まる
• ユニファイドメモリ — CPUとGPUがメモリを共有する方式。Macが大型モデルに強い理由と、スマホ・内蔵GPUの注意点
• CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方

参考資料(出典)

• https://www.techpowerup.com/gpu-specs/
• https://arxiv.org/abs/2211.05102

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)