Dense(密なモデル)

Dense(デンス)モデルは、1トークンを生成するたびに全パラメータを使う従来型のLLMです。MoE(Mixture of Experts)の対義語にあたり、Llama・Qwen・Gemmaの通常版など、多くのモデルがこのDense型です。「8Bと言ったら、その8B全部が毎回働く」——素直で読みやすい設計です。

MoEとの違い

MoEは「総パラメータは大きいが、毎回動くのは一部(エキスパート)だけ」という設計で、容量(必要VRAM)は総量・速度は実効パラメータで決まる、という二重構造を持ちます。Denseにはこの二重構造がありません:

例えば「32B Dense」は必要VRAMも生成速度も32B相当。一方「35B-A3B」と書かれたMoEは、VRAMは35B相当(重い)だが速度は実効3B相当(軽快)——この分かりにくさがMoEの特徴で、Denseにはありません。

ローカルLLM選びでの使い分け

• Dense — 必要VRAMに素直に収まる範囲で、確実に動かしたいとき。挙動が読みやすく、判定もそのまま当てはまります。
• MoE — VRAMに余裕はある(大きな総量を載せられる)が、速度も欲しいとき。「重いけど速い」を狙う設計です。

当サイトの判定では、DenseはVRAM=パラメータ数から素直に計算し、生成速度もメモリ帯域÷パラメータ数で見積もれます。MoEだけは速度の計算に実効パラメータを使う、という違いがあります(各モデルページの理論速度欄に反映)。どちらが自分のPCで動くかはトップの判定で確認できます。

関連用語

• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる
• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック

参考資料(出典)

• https://arxiv.org/abs/2401.04088
• https://arxiv.org/abs/1706.03762

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)