CPUオフロード

CPUオフロードとは、VRAMに収まりきらないモデルの一部をメインメモリ(RAM)へ逃がして実行する技術です。「VRAM 8GBなのに必要12GB」でも動かせる救済策ですが、代償として速度が大きく落ちます。当サイトの△判定の一部と、「RAM増設」という選択肢の意味はここに繋がっています。

仕組み: レイヤー単位で分割する

LLMは数十の「レイヤー」を順に通過する構造です(Transformer)。オフロードでは、例えば全40層のうち25層分の重みをVRAMに、残り15層をRAMに置き、RAM側の層はCPUで計算するか、必要になるたびGPUへ転送します。llama.cppの -ngl(GPUに載せる層数)や、画像生成側のComfyUI --lowvram がこの制御です。Ollamaは空きVRAMを見て自動で層数を調整するため、ユーザーが意識しなくても「収まらない分だけ遅くなる」挙動になります。

なぜ遅くなるのか — 帯域の壁

LLMの生成速度はメモリ帯域でほぼ決まります(1トークン生成するたびに重み全体を読むため)。各経路の帯域はおよそ:

RAMに置いた層は10倍以上遅い経路を通るため、数層逃がしただけで全体の生成速度が数分の1になることも珍しくありません。生成は最も遅い部分に律速されるからです。

それでも使いどころはある

• 「とにかく動けばいい」用途 — 夜間バッチでの要約、品質確認、一度だけ試したい大型モデル
• あと少しだけ足りない場合 — 必要13GBをVRAM12GB+RAM1GBで補う程度なら、体感悪化は小さめ
• RAM増設は最安の拡張 — VRAM増強(GPU買い替え)より桁違いに安く「動く範囲」を広げられます。速度が必要ならクラウドGPUという上位互換もあります

当サイトの判定は「GPUだけで快適に動くか」を基準にしており、オフロード前提の可否は保証しません(△の注記「コンテキストを絞れば動く」はKVキャッシュ側の話で、別の仕組みです)。

関連用語

• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う

参考資料(出典)

• https://en.wikipedia.org/wiki/PCI_Express
• https://en.wikipedia.org/wiki/DDR5_SDRAM
• https://github.com/ggml-org/llama.cpp

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)