Mellum2.1 12B-A2.5B Thinking の必要VRAM

JetBrainsのコーディング向けMoE(総12B・実働2.5B)。前版Mellum2と同じ構成のまま、エージェントとしての作業向けに後段学習を更新した。28層中21層が窓1,024のスライディングウィンドウ注意。

12.15B / 28層 / GQA 4ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

この表は Q4_K_M を最小の量子化として計算しています。×でも、IQ4_XS のようにさらに小さい量子化なら収まることがあります(品質低下と、使うランタイムの対応状況の確認が要ります)。 このモデルは実際にその境界にあります: IQ4_XS相当(4.25bit)に置き換えると必要VRAMが約9.0GB→約8.1GBになり、10GB級で「△ ぎりぎり」→「◎ 快適」に一段上がります。

上の表は8,192トークンの文脈での計算です。AIエージェント(道具を使って複数ステップの作業を自動でこなす使い方)では長い文脈が要り、その分KVキャッシュが増えます。 このモデルをQ4_K_Mで使う場合、必要VRAMは32Kで約9.4GB、128Kで約10.8GBです(8Kの約1.2倍)。 KVヘッドが少ない構成のため、文脈を延ばしても増え方はゆるやかです。エージェント用途に向く設計といえます。

Mellum2.1 12B-A2.5B Thinkingとは

Mellum2.1 12B-A2.5B Thinkingは、JetBrainsが公開するTransformer系のミドルクラス(12.15Bパラメータ)オープンモデルです。12〜16GB級GPUの主力サイズで、品質と動かしやすさのバランス帯です。コーディング・開発支援に特化したチューニングが施されています。

Hugging Faceでの直近30日ダウンロードは約9,943件・いいね190件 — ダウンロード数は当サイト収録120モデル中101位です(2026-11-04時点。公式リポジトリ分のみで、GGUF再配布版は含みません)。

Mellum2.1 12B-A2.5B Thinkingの必要スペックを読み解く

Q4_K_M量子化での内訳は、重み(モデル本体)が約7.4GB、8Kトークン分のKVキャッシュが約0.2GB、システム予約と合わせて合計約9GBです。 ◎(快適)判定の最小ラインは、VRAM 12GBクラスのGPUです。 迷ったらQ4_K_M(合計約9GB)が基準です。VRAMに余裕があればQ8_0(約14.6GB)で品質の上積みが狙えます。 Mac(ユニファイドメモリ)での判定は、トップページでチップと搭載メモリを選ぶと計算できます。

MoE構成: 総12.15B・実効2.5B。メモリは総量12.15B分が必要ですが、生成速度は2.5B級の軽さです。

ハイブリッドアテンション採用: 全28層のうちフルアテンションは7層のみで、残りの層は直近1024トークンの窓しか参照しません。長文時のKVキャッシュ増加が緩やかです。

コンテキスト長とメモリの伸び方

このモデルのKVキャッシュは、2Kトークンで約0.1GB、8Kで約0.2GB、32Kまで広げると約0.5GBになります。文脈を4倍にしてもKVキャッシュは3.2倍にしか増えません — 長文に強いメモリ設計です。

速度の目安(理論上限)

MoEのため速度は実効2.5B相当(Q4で約1.5GB)で決まり、理論上限はRTX 3060 12GBで約238 tokens/秒、RTX 4090で約665 tokens/秒です(実効はこれ以下)。

動かすには

OllamaやLM Studioに対応しています。導入手順は用語集のOllamaページにまとめています。

同クラスの選択肢

Gemma 4 12B(12B) / Phi-4(14.66B) / Qwen2.5-Coder 14B(14.77B)

▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)