MoE(Mixture of Experts)
MoE(専門家混合)は、AIモデルの中に多数の「専門家」を持ち、質問ごとに必要な専門家だけを働かせる設計です。全員を毎回働かせないため、巨大なモデルでも計算が軽く済みます。「35B-A3B」のような型番は、専門家全員で350億(35B)、毎回働くのは30億(A3B)という意味です。
大原則: 容量は「総量」、速度は「実効」
| 決めるのは | 理由 | |
|---|---|---|
| 必要VRAM | 総パラメータ(35B) | どの専門家が呼ばれるかはトークンごとに変わるため、全専門家をメモリに載せておく必要がある |
| 生成速度 | 実効パラメータ(3B) | 1トークンあたり読み出す重みは起動された専門家の分だけ。速度はメモリ読み出し量で決まる |
つまり35B-A3Bは「置き場所は35B級に必要だが、走り出せば3B級に近い速さ」。ただし実効パラメータは速度の一次的な目安であって保証ではありません — 共有層やルーターの処理、疎行列カーネルの実装、メモリアクセスの仕方、オフロードの有無で実際の速度は変わります。当サイトの判定もこの通りに実装しています — 必要VRAMは総量(35.95B実測)から、実測ベンチ後の速度推定は実効3Bから計算します。
なぜこんな設計が流行っているのか
denseモデルでは、賢くする=パラメータを増やす=遅くなる、が直結していました。MoEは「知識の置き場」と「毎回の計算量」を分離することで、大きな知識を保ちながら小型モデル並みの速度を実現します。2025年以降のフラッグシップ(DeepSeek、Kimi K2、GLM、Qwen3.5の大型版)はほぼ全てMoEです。
ローカル実行での現実的な注意
- 「A3Bだから軽い」と誤解しない — VRAM要求は総量基準です。35B-A3BのQ4は約22GB+KVキャッシュで、24GB級GPUの領域です
- 逆に、載りさえすれば快適 — 同じVRAMに収まるdenseモデルより体感速度で勝ることが多い(3B級の速度で32B級の知識)
- オフロードとの相性は比較的良い — 毎トークン読むのは一部だけなので、denseモデルよりRAM逃がしのペナルティが緩みやすい(それでも遅くはなります)
- 専門家数や起動数(例: 64専門家中4起動)はモデルカードに書かれています — Hugging Faceのconfig.jsonでは
n_routed_experts等の項目です
当サイトのモデル名の「35B-A3B」表記や、サーバー級モデル(Kimi K2=総1T・実効32B級など)の判定もすべてこの「容量=総量」原則で計算しています。
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
- ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。構成次第で会話を外部に出さずに使える
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。