MoE(Mixture of Experts)
MoE(Mixture of Experts)は、モデルの中に多数の「専門家」ブロックを持ち、トークンごとに一部の専門家だけを起動する設計です。「Qwen3.5-35B-A3B」のような名前の 35B=総パラメータ、A3B=毎回実際に動く実効(アクティブ)パラメータを意味します。ローカル実行では、この2つの数字が別々の意味を持ちます。
大原則: 容量は「総量」、速度は「実効」
| 決めるのは | 理由 | |
|---|---|---|
| 必要VRAM | 総パラメータ(35B) | どの専門家が呼ばれるかはトークンごとに変わるため、全専門家をメモリに載せておく必要がある |
| 生成速度 | 実効パラメータ(3B) | 1トークンあたり読み出す重みは起動された専門家の分だけ。速度はメモリ読み出し量で決まる |
つまり35B-A3Bは「置き場所は35B級に必要だが、走り出せば3B級の速さ」。当サイトの判定もこの通りに実装しています — 必要VRAMは総量(35.95B実測)から、実測ベンチ後の速度推定は実効3Bから計算します。
なぜこんな設計が流行っているのか
密(dense)モデルでは、賢くする=パラメータを増やす=遅くなる、が直結していました。MoEは「知識の置き場」と「毎回の計算量」を分離することで、大きな知識を保ちながら小型モデル並みの速度を実現します。2025年以降のフラッグシップ(DeepSeek、Kimi K2、GLM、Qwen3.5の大型版)はほぼ全てMoEです。
ローカル実行での現実的な注意
- 「A3Bだから軽い」と誤解しない — VRAM要求は総量基準です。35B-A3BのQ4は約22GB+KVキャッシュで、24GB級GPUの領域です
- 逆に、載りさえすれば快適 — 同じVRAMに収まる密モデルより体感速度で勝ることが多い(3B級の速度で32B級の知識)
- オフロードとの相性は比較的良い — 毎トークン読むのは一部だけなので、密モデルよりRAM逃がしのペナルティが緩みやすい(それでも遅くはなります)
- 専門家数や起動数(例: 64専門家中4起動)はモデルカードに書かれています — Hugging Faceのconfig.jsonでは
n_routed_experts等の項目です
当サイトのモデル名の「35B-A3B」表記や、サーバー級モデル(Kimi K2=総1T・実効32B級など)の判定もすべてこの「容量=総量」原則で計算しています。
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッド注意でサイズが数十倍変わる
- ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。会話が外部に送信されない
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。