Llama 3.1 Swallow 8B の必要VRAM

東工大チームがLlamaを日本語継続学習した国産の定番8B。

8.03B / 32層 / GQA 8ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)

量子化	必要VRAM	RTX 3060 Ti	RTX 3070	RTX 4060	RTX 3080	RTX 3060 12GB	RTX 4070	RTX 4060 Ti 16GB	RTX 4070 Ti SUPER	RTX 4080	RX 7800 XT	RTX 3090	RTX 4090	RX 7900 XTX	RTX 5090
Q4_K_M	7.4 GB	△ ぎりぎり	△ ぎりぎり	△ ぎりぎり	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適
Q5_K_M	8.3 GB	△ ぎりぎり	△ ぎりぎり	△ ぎりぎり	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適
Q6_K	9.2 GB	× 不可	× 不可	× 不可	△ ぎりぎり	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適
Q8_0	11.1 GB	× 不可	× 不可	× 不可	× 不可	△ ぎりぎり	△ ぎりぎり	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適	◎ 快適
FP16	18.6 GB	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	× 不可	◎ 快適	◎ 快適	◎ 快適	◎ 快適

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。