量子化とGGUF
量子化は、AIモデルのデータを圧縮してファイルを数分の1に小さくする技術です。写真の画質を少し落としてファイルを軽くするのに似ていて、性能をあまり損なわずに普通のPCで動くサイズにできます。「16GB必要」だったモデルが「5GBで動く」ようになる、ローカルLLM実用化の主役です。
仕組みをざっくり
モデルの中身は膨大な数値(重み)です。元は1つの数値を16bit(FP16/BF16)で持ちますが、これを4bitや8bitに丸めるのが量子化です。16bit→4bitならサイズは約1/4。適切な方式なら賢さの低下は比較的小さく、多くの一般用途ではQ4クラスとの差を感じにくいと報告されています(モデル・タスク・量子化手法によって差の出方は変わります)。
記号の読み方(当サイト判定表の列)
| 表記 | ビット数の目安 | 特徴 |
|---|---|---|
| Q4_K_M | 約4.85bit/重み | 事実上の標準。サイズと品質のバランス最良。迷ったらこれ |
| Q5_K_M / Q6_K | 約5.7〜6.6bit | 少し大きく、少し高品質 |
| Q8_0 | 約8.5bit | 劣化はごく小さいとされる。VRAMに余裕がある人向け |
| FP16 | 16bit | 無圧縮。検証用途以外では過剰なことが多い |
数値が下がるほど小さく・粗くなります。速度も上がるのが一般的ですが、これは対応する演算カーネルがある場合の話で、形式によっては期待ほど速くならないこともあります。Q3以下は品質劣化が目に見えやすくなる領域です。当サイトの判定は各レベルの実効ビット数(bpw)から必要VRAMを計算しています。
GGUFとは
GGUFは、量子化済みモデルを1ファイルにまとめた配布フォーマットです(llama.cpp系の標準)。Ollama や LM Studio が読むのはこの形式で、Hugging Face では「モデル名-GGUF」というリポジトリで配布されます。1つのリポジトリに Q4_K_M・Q8_0 など複数レベルのファイルが入っており、自分のVRAMに合うものを1つだけダウンロードして使います。
実用の指針
- まず Q4_K_M で試す(Ollamaの既定タグも多くはQ4系)
- VRAMに余裕→ Q6_K / Q8_0 に上げる。足りない→ 一段小さいモデルのQ4へ(小モデル高精度 vs 大モデル低精度は、多くの場合大モデルのQ4が勝ちます)
- どのレベルが自分のGPUで動くかは判定ツールの「量子化別の詳細」でモデルごとに確認できます
関連用語
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
- Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
参考資料(出典)
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。