CPUオフロード
CPUオフロードとは、VRAMに収まりきらないモデルの一部をメインメモリ(RAM)へ逃がして実行する技術です。「VRAM 8GBなのに必要12GB」でも動かせる救済策ですが、代償として速度が大きく落ちます。当サイトの△判定の一部と、「RAM増設」という選択肢の意味はここに繋がっています。
仕組み: レイヤー単位で分割する
LLMは数十の「レイヤー」を順に通過する構造です(Transformer)。オフロードでは、例えば全40層のうち25層分の重みをVRAMに、残り15層をRAMに置きます。ここから先は方式が2種類あり、遅くなる理由も違います。
- CPUとGPUで分担する方式(llama.cppの
-ngl)。 RAMに置いた層はそのままCPUが計算します。毎トークンGPUへ重みを送り直すわけではありません。この場合の足かせは、CPUの計算力と、RAM側の帯域です。Ollamaは空きVRAMを見て自動で層数を決めるため、意識しなくても「収まらない分だけ遅くなる」挙動になります。 - 必要になるたびGPUへ転送する方式(画像生成側のComfyUI
--lowvramなどが近い)。計算はGPUで行い、重みをその都度PCIe経由で運びます。この場合はPCIeの帯域が効いてきます。
下の帯域表は、どの経路を通るかで速度の桁が変わることを示すためのものです。自分が使っているのがどちらの方式かによって、効く数字が変わります。
なぜ遅くなるのか — 帯域の壁
LLMの生成速度はメモリ帯域でほぼ決まります(1トークン生成するたびに重み全体を読むため)。各経路の帯域はおよそ:
| 経路 | 帯域の目安 |
|---|---|
| GPU内のVRAM(RTX 4090) | 約1,000 GB/s |
| デュアルチャネルDDR5 RAM | 約80 GB/s |
| PCIe 4.0 x16(GPU⇄RAM転送) | 約32 GB/s |
RAMに置いた層は10倍以上遅い経路を通るため、数層逃がしただけで全体の生成速度が数分の1になることも珍しくありません。生成は最も遅い部分に律速されるからです。
実測では「数分の1」では済まないことがある
逃がす量が増えると、低下は桁で効いてきます。国内のゲーム会社が2026年春に公開した業務検証記事では、16GBのRTX 5070 Tiに27B級(4bit量子化)を載せようとして一部をRAMへ退避した結果、生成速度は0.65トークン/秒まで落ちたと報告されています。同じモデルを32GBのRTX 5090に全部VRAMで載せた場合は66.5トークン/秒でした(GPUが違うため純粋なオフロード単独の比較ではありませんが、桁の違いは退避によるものです)。
当サイトの計算では、この27B級の重みはQ4_K_Mで約18.0GB(実ファイル実測)あり、16GBのVRAMには収まりません。だから16GBのGPUに対しては×を出しています。0.65トークン/秒は「1文字出るのに数秒」の世界で、対話用途では実用になりません。オフロードは「少し遅くなる」ではなく「桁が変わることがある」と考えて、どれだけ逃がすかを見積もってください。
CPUを速くすれば救えるのか
「CPUオフロード」という名前から、CPUを強化すれば改善すると考えたくなりますが、順序が逆です。
まずモデルが全部VRAMに載っている場合、CPUの速さはほとんど効きません。GPUワークステーションを扱う米Puget Systemsが9種類のCPU(Core i5〜i9、Ryzen 7〜9、Xeon、Threadripper Pro)を同一GPUで比較したところ、最も単コア性能の低い構成でも差は約5%にとどまりました。同じCPUを人為的に2.5GHzから1.0GHzまで落としても、167トークン/秒が137トークン/秒になる程度です。計測元の結論は「そこそこ新しいCPUであれば性能を大きく制限することはない」。当サイトで◎が付く構成なら、LLMのためにCPUへ投資する必要はほぼありません。
では収まらない場合はどうか。この計測はオフロードを扱っていないので、当サイトとしては答えを持っていません。 CPU分担方式ではCPUが実際に層を計算するため、全部VRAMに載る場合よりCPU性能が効く余地はあります。一方でRAMの帯域も同時に効くため、どちらが支配的かは構成次第です。確実に言えるのは、最も効くのが「そもそも逃がさずに済む容量を確保すること」だという点だけです。CPUやRAMへの投資でオフロードの遅さをどこまで戻せるかは、実測が出たらこの項に追記します。
それでも使いどころはある
- 「とにかく動けばいい」用途 — 夜間バッチでの要約、品質確認、一度だけ試したい大型モデル
- あと少しだけ足りない場合 — 必要13GBをVRAM12GB+RAM1GBで補う程度なら、体感悪化は小さめ
- RAM増設は最安の拡張 — VRAM増強(GPU買い替え)より桁違いに安く「動く範囲」を広げられます。速度が必要ならクラウドGPUを借りる選択肢もあります(機密性・オフライン性・継続費用は別の条件になります)
当サイトの判定は「GPUだけで快適に動くか」を基準にしており、オフロード前提の可否は保証しません(△の注記「コンテキストを絞れば動く」はKVキャッシュ側の話で、別の仕組みです)。
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
- コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
参考資料(出典)
- https://en.wikipedia.org/wiki/PCI_Express
- https://en.wikipedia.org/wiki/DDR5_SDRAM
- https://github.com/ggml-org/llama.cpp
- https://blog.colopl.dev/entry/2026/04/22/110000
- https://www.pugetsystems.com/labs/articles/effects-of-cpu-speed-on-gpu-inference-in-llama-cpp/
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。