Ternary-Bonsai 8B (三値) の必要VRAM

PrismML製、8BクラスをQ2_0三値(実効2.1bit)化した品質重視版。1-bit版Bonsaiより精度を残しつつ重みは約2.2GBで、6GB級GPUでも余裕。実行には対応ランタイムが必要(Q2_0のCUDA対応はllama.cpp 2026-07-30版から。Ollama・LM Studioは未対応)。

8.19B / 36層 / GQA 8ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

Ternary-Bonsai 8B (三値)とは

Ternary-Bonsai 8B (三値)は、PrismMLが公開するQwen系の入門〜標準クラス(8.19Bパラメータ)オープンモデルです。

Ternary-Bonsai 8B (三値)の必要スペックを読み解く

Q2_0量子化での内訳は、重み(モデル本体)が約2.2GB、8Kトークン分のKVキャッシュが約1.2GB、システム予約と合わせて合計約4.9GBです。 ◎(快適)判定の最小ラインは、VRAM 8GBクラスのGPUです。 Mac(ユニファイドメモリ)での判定は、トップページでチップと搭載メモリを選ぶと計算できます。

配布はQ2_0(2.13bpw)固定: 一般的な量子化の選択肢はなく、この精度に対応したランタイムが必要です。

コンテキスト長とメモリの伸び方

このモデルのKVキャッシュは、2Kトークンで約0.3GB、8Kで約1.2GB、32Kまで広げると約4.8GBになります。KVキャッシュはコンテキスト長にほぼ比例して増えるため、長文用途ではその分のVRAM余白を見込んでください。

速度の目安(理論上限)

生成速度はメモリ帯域律速です。Q2_0の重み2.2GBに対する理論上限は、RTX 3060 12GB(360GB/s)で約165 tokens/秒、RTX 4090(1008GB/s)で約462 tokens/秒 — 実効はオーバーヘッドの分これより下がります。

同クラスの選択肢

Bonsai 8B (1-bit)(8.19B) / Qwen3 8B(8.19B) / Qwen2.5-VL 7B(8.29B)

▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)