Llama 3.2 1B の必要VRAM
1.24B / 16層 / GQA 8ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)
| 量子化 | 必要VRAM | RTX 3060 12GB | RTX 3060 Ti | RTX 3090 | RTX 4060 | RTX 4070 | RTX 4090 | RTX 5090 | RX 7800 XT |
|---|---|---|---|---|---|---|---|---|---|
| Q4_K_M | 2.5 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
| Q5_K_M | 2.7 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
| Q6_K | 2.8 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
| Q8_0 | 3.1 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
| FP16 | 4.2 GB | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 | ◎ 快適 |
必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。
▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。