Bonsai 8B (1-bit) の必要VRAM
PrismML製の全層1-bitモデル。8Bクラスが約1.2GBに収まり、iGPUやスマホ級でも載る軽さ。実行には対応ランタイムが必要(llama.cpp新版/MLX。Ollama・LM Studioは未対応)。
8.19B / 36層 / GQA 8ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)
| 量子化 | 必要VRAM | RTX 3060 Ti | RTX 3070 | RTX 4060 | RTX 3080 | RTX 3060 12GB | RTX 4070 | RTX 4060 Ti 16GB | RTX 4070 Ti SUPER | RTX 4080 | RX 7800 XT | RTX 3090 | RTX 4090 | RX 7900 XTX | RTX 5090 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Q1_0 | 3.9 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。
お使いのGPUで判定する
| 量子化 | 必要VRAM |
|---|
判定はブラウザ内で完結します(選択内容は送信されません)。
▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)
クラウドGPUでBonsai 8B (1-bit)を動かす(RunPod)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。