量子化とGGUF
量子化とは、モデルの数値の精度を落としてサイズを数分の1に圧縮する技術です。「8Bモデルは16GB必要」が「5GBで動く」に変わる、ローカルLLM実用化の主役です。当サイトの判定表にある Q4_K_M や Q8_0 は、この量子化のレベルを表しています。
仕組みをざっくり
モデルの中身は膨大な数値(重み)です。元は1つの数値を16bit(FP16/BF16)で持ちますが、これを4bitや8bitに丸めるのが量子化です。16bit→4bitならサイズは約1/4。驚くべきことに、適切な方式なら賢さの低下はわずかで、日常用途ではQ4クラスとの差を感じにくいことが知られています。
記号の読み方(当サイト判定表の列)
| 表記 | ビット数の目安 | 特徴 |
|---|---|---|
| Q4_K_M | 約4.85bit/重み | 事実上の標準。サイズと品質のバランス最良。迷ったらこれ |
| Q5_K_M / Q6_K | 約5.7〜6.6bit | 少し大きく、少し高品質 |
| Q8_0 | 約8.5bit | ほぼ無劣化。VRAMに余裕がある人向け |
| FP16 | 16bit | 無圧縮。検証用途以外では過剰なことが多い |
数値が下がるほど小さく・速く・わずかに粗くなります。Q3以下は品質劣化が目に見えやすくなる領域です。当サイトの判定は各レベルの実効ビット数(bpw)から必要VRAMを計算しています。
GGUFとは
GGUFは、量子化済みモデルを1ファイルにまとめた配布フォーマットです(llama.cpp系の標準)。Ollama や LM Studio が読むのはこの形式で、Hugging Face では「モデル名-GGUF」というリポジトリで配布されます。1つのリポジトリに Q4_K_M・Q8_0 など複数レベルのファイルが入っており、自分のVRAMに合うものを1つだけダウンロードして使います。
実用の指針
- まず Q4_K_M で試す(Ollamaの既定タグも多くはQ4系)
- VRAMに余裕→ Q6_K / Q8_0 に上げる。足りない→ 一段小さいモデルのQ4へ(小モデル高精度 vs 大モデル低精度は、多くの場合大モデルのQ4が勝ちます)
- どのレベルが自分のGPUで動くかは判定ツールの「量子化別の詳細」でモデルごとに確認できます
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
- Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。