Tensor Core

Tensor Coreは、NVIDIA GPUに積まれている行列積(まとめて掛けて足す計算)専用の演算ユニットです。世代ごとに扱える数値精度が増えており、Blackwell世代の第5世代では NVFP4 をハードウェアで直接扱えます。ただし——手元で1人でチャットする分には、体感速度はTensor Coreでは決まりません。

なぜ「速さ」を決めないのか

LLMが応答を1トークン作るには、原理上モデルの重みを一通り読み出す必要があります。演算そのものは一瞬でも、読み出しが終わらなければ次に進めません。つまり1人ぶんの文章生成(デコード)は演算ではなくメモリ帯域で頭打ちになります。

だから当サイトの速度目安は、TFLOPSやAI TOPSを一切使わず 帯域 ÷ 重みサイズ で出しています。例えば Qwen3 32B を Q4_K_M(重み約19.9GB)で RTX 5090(1,792GB/s)に載せると約90トークン/秒が上限の目安です。ここにTensor Coreの性能は入っていません。

ではTensor Coreは何に効くのか

• プロンプト処理(prefill) — 投げた文章を最初に読み込む工程は、全トークンをまとめて計算できるので演算律速です。長い資料を貼る、RAGで大量に文脈を詰める、といった使い方では「送信してから最初の1文字が出るまで」がここで決まります。
• 同時に何人も捌く(バッチ) — 重みの読み出しを複数リクエストで共有できるため、まとめるほど演算律速に寄ります。サーバー用途でTensor Coreの差が出るのはこの領域です。
• 新しい精度への対応 — NVFP4 のような形式は、対応する世代のTensor Coreがあって初めて速度上の意味を持ちます。形式が読めることと、速く動くことは別です。

実測でも、演算が強いほうが負けることがある

これは机上の理屈ではありません。GPUワークステーションを扱う米Puget Systemsが、同一ツール・同一モデル(4bit量子化)で複数のGeForceを計測したところ、生成速度では旧世代のRTX 3080 Tiが、新しいRTX 4080 SUPERと同等以上という結果になりました。FP16の演算性能は4080 SUPERのほうが明確に上ですが、メモリ帯域は3080 Ti(912GB/s)が4080 SUPER(736GB/s)より約24%高いためです。当サイト収録の帯域データで並べても、同じ順序になります。

同じ計測で、プロンプト処理のほうは逆の挙動を示しています。RTX 4070 Ti SUPER から RTX 4080 SUPER への向上はプロンプト処理で約22%あるのに、生成では約8%にとどまりました。同じGPUの差が、工程によって3倍近く違って見えるわけです。なお計測元は「帯域が全てではなく、生成にもFP16演算は関与する」とも述べており、当サイトの「帯域÷重み」もあくまで上限の目安である点は変わりません。

GPUを選ぶときの順番

カタログの「AI TOPS」で比べると、ローカル用途では判断を誤ります。①VRAM容量(そもそも載るか)→ ②メモリ帯域(どれだけ速いか)→ ③演算性能の順に効きます。当サイトのGPUページが容量と帯域を主役に据えているのはこのためです。載らないモデルは、どれだけTensor Coreが強くても動きません(オフロードすれば動きますが、桁違いに遅くなります)。

関連用語

• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
• NVFP4 — NVIDIA版のFP4。ブロック16・E4M3スケールで精度を取り、実効4.5bit
• GPUアーキテクチャ世代(Ampere・Blackwellなど) — Pascal→Turing→Ampere→Ada→Blackwellなど、GPUの「世代」の系譜とローカルLLMでの意味

参考資料(出典)

• https://www.nvidia.com/en-us/data-center/tensor-cores/
• https://developer.nvidia.com/blog/inside-nvidia-blackwell-ultra-the-chip-powering-the-ai-factory-era/
• https://www.pugetsystems.com/labs/articles/llm-inference-consumer-gpu-performance/

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)