IQ量子化(IQ4_XS・imatrix)

IQ系(i-quant)は、llama.cppが持つ非線形の量子化です。代表的な IQ4_XS は重み1個あたり4.25ビットで、当サイトの判定基準である Q4_K_M(4.85ビット)より1割強小さくなります。「Q4で×だったモデルが収まる」ことが実際にあります。

ただ削るのではなく、重要な重みを守る

IQ系の要は imatrix(importance matrix、重要度行列)です。事前に実際のテキストを流してどの重みが出力に効いているかを測り、効いている重みの誤差を小さく、効いていない重みの誤差を大きく配分します。全部を一律に丸めるより、同じビット数でも品質の落ち方が穏やかになります。IQ4_XSは256要素のスーパーブロック構造を持ち、32要素ごとのブロックスケールと組み合わせてこの配分を実現しています。

当サイトの判定を、あえて Q4_K_M 基準にしている理由

当サイトの必要VRAM表はQ4_K_Mを最小の量子化として計算しています。より小さいIQ系を基準にすれば「動く」と判定できるモデルは増えますが、動くと言って動かないのが、この種のツールにとって最悪の失敗だからです。判定は保守側に倒し、そのうえで取りこぼしをこのページで補います。

どれだけ取りこぼしているのか(実数)

共通ラダーを使う収録44モデルについて、量子化をIQ4_XS相当(4.25ビット)に置き換えると判定が1段上がるものを数えました。

• VRAM 8GB — 5モデルが△から◎へ(8Bクラスに余裕が出る)
• VRAM 12GB — 0モデル(この帯は元々余裕があり、差が判定に出ない)
• VRAM 16GB — 3モデル。うち Gemma 4 26B A4B と Mistral Small 3.2 24B は×から△に変わります
• VRAM 24GB — 5モデルが△から◎へ(32Bクラスが常用域に入る)

Gemma 4 26B A4B で具体的に見ると、Q4_K_Mの重みが約16.1GB、IQ4_XS相当なら約14.1GB。この2GBの差が、16GBのGPUで×か△かを分けます。実際、国内企業が2026年春に公開した業務検証記事では、このモデルのIQ4_XS版を使って16GBのRTX 5070 Tiに収め、実用になったと報告されています。当サイトが×を出すモデルでも、△に近い×なら試す価値があります。

代償と確認すべきこと

• 品質は落ちます。 imatrixで緩和されるとはいえ、ビット数を削れば劣化します。「小さいほうが得」ではなく、収まらないときの手段です。
• imatrixの作り方で品質が変わります。 どんなテキストで重要度を測ったかに依存するため、配布元によって出来が違います。
• 対応状況を確認してください。 llama.cpp系では扱えますが、非線形なぶん環境によっては速度面で不利になることがあります。
• KVキャッシュは小さくなりません。 量子化が効くのは重みだけです。長い文脈を使うなら、KVキャッシュの分は別途必要です。

関連用語

• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる

参考資料(出典)

• https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes
• https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
• https://blog.colopl.dev/entry/2026/04/22/110000

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)