KTransformers

KTransformers(ケイ・トランスフォーマーズ)は、VRAMに載りきらない巨大なMoEモデルを、1枚のGPUと大容量のシステムRAMで動かすための無料の推論エンジンです(清華大MADSysほか)。671BのDeepSeek-R1級を24GBのGPUで動かせることで注目されました。

仕組み — 使わないエキスパートはRAMに置く

MoEモデルは、パラメータの大半が「エキスパート」に分かれていて、1トークンを生成するときにはその一部しか使いません(たとえばDeepSeek-V4-Flashは総304Bのうち毎回13Bだけ)。ふつうの推論エンジンは使う・使わないに関わらず全部をVRAMに載せようとするので、巨大MoEは動かせません。

KTransformersは、常に使う部分(注意層とKVキャッシュ)だけをGPUに置き、大量のエキスパートはシステムRAMに逃がして、必要になった瞬間だけGPUに呼び込みます。これで「VRAMは小さいが実働は軽い」というMoEの性質を突いて、巨大モデルを手元で動かせるようになります。

llama.cppの --n-cpu-moe との違い

llama.cppにも同じ発想の--n-cpu-moe(エキスパートをCPU側に逃がすオプション)があり、手軽さではこちらが上です。KTransformersは呼び込みの効率を詰めた上位版という位置づけで、対応モデルはDeepSeek・Kimi・GLM・Qwen3-MoEなど広く、速度も出やすい。まず--n-cpu-moeで感触を掴み、もっと速く・大きくと思ったらKTransformersに進む、という順が現実的です。

当サイトとの関係

当サイトの判定は「重みが全部VRAMに載るか」で×・△・◎を出します。だから巨大MoEは基本的に×(単体GPUでは動かない)と表示されますが、KTransformersのようなオフロード対応エンジンを使えば、×判定のモデルでも大容量RAMがあれば実用速度で動く場合があります。ただし必要なシステムRAMはモデルによって桁が違い(数百GB級もあります)、速度は実働パラメータ相当に落ちます。当サイトのMoEモデルのページには、この「オフロードなら動きうる」旨を注記しています。

関連用語

• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる
• CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
• llama.cpp — ローカルLLM実行の土台エンジン。GGUFの本家で、OllamaやLM Studioの中身
• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック

参考資料(出典)

• https://github.com/kvcache-ai/ktransformers
• https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepSeek-V4-Flash.md

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)