DeepSeek R1 Distill Qwen 14B の必要VRAM

14.8B / 48層 / GQA 8ヘッド / 既定コンテキスト 16,384 トークン(HuggingFace)

量子化	必要VRAM	RTX 3060 12GB	RTX 3060 Ti	RTX 3090	RTX 4060	RTX 4070	RTX 4090	RTX 5090	RX 7800 XT
Q4_K_M	13.7 GB	△ ぎりぎり	× 不可	◎ 快適	× 不可	△ ぎりぎり	◎ 快適	◎ 快適	◎ 快適
Q5_K_M	15.2 GB	× 不可	× 不可	◎ 快適	× 不可	× 不可	◎ 快適	◎ 快適	△ ぎりぎり
Q6_K	16.9 GB	× 不可	× 不可	◎ 快適	× 不可	× 不可	◎ 快適	◎ 快適	△ ぎりぎり
Q8_0	20.4 GB	× 不可	× 不可	◎ 快適	× 不可	× 不可	◎ 快適	◎ 快適	× 不可
FP16	34.3 GB	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	△ ぎりぎり	× 不可

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。