IQ量子化(IQ4_XS・imatrix)

IQ系(i-quant)は、llama.cppが持つ非線形の量子化です。代表的な IQ4_XS は重み1個あたり4.25ビットで、当サイトの判定基準である Q4_K_M(4.85ビット)より1割強小さくなります。「Q4で×だったモデルが収まる」ことが実際にあります。

ただ削るのではなく、重要な重みを守る

IQ系の要は imatrix(importance matrix、重要度行列)です。事前に実際のテキストを流してどの重みが出力に効いているかを測り、効いている重みの誤差を小さく、効いていない重みの誤差を大きく配分します。全部を一律に丸めるより、同じビット数でも品質の落ち方が穏やかになります。IQ4_XSは256要素のスーパーブロック構造を持ち、32要素ごとのブロックスケールと組み合わせてこの配分を実現しています。

当サイトの判定を、あえて Q4_K_M 基準にしている理由

当サイトの必要VRAM表はQ4_K_Mを最小の量子化として計算しています。より小さいIQ系を基準にすれば「動く」と判定できるモデルは増えますが、動くと言って動かないのが、この種のツールにとって最悪の失敗だからです。判定は保守側に倒し、そのうえで取りこぼしをこのページで補います。

どれだけ取りこぼしているのか(実数)

共通ラダーを使う収録モデル全数について、量子化をIQ4_XS相当(4.25ビット)に置き換えると判定が1段上がるものを数えました。

VRAM 8GB — 7モデルが△から◎へ(8Bクラスに余裕が出る)
VRAM 12GB — 1モデル。Qwen3 14B が△から◎へ(14Bクラスがこの帯で常用しやすくなる)
VRAM 16GB — 3モデル。うち Gemma 4 26B A4B と Mistral Small 3.2 24B は×から△に変わります
VRAM 24GB — 14モデルが△から◎へ(30〜35Bクラスが常用域に入る)

Gemma 4 26B A4B で具体的に見ると、Q4_K_Mの重みが約17.0GB(ミラーの実ファイルからの実測)、IQ4_XS相当なら約14.1GB。この約3GBの差が、16GBのGPUで×か△かを分けます。実際、国内企業が2026年春に公開した業務検証記事では、このモデルのIQ4_XS版を使って16GBのRTX 5070 Tiに収め、実用になったと報告されています。当サイトが×を出すモデルでも、△に近い×なら試す価値があります。

代償と確認すべきこと

品質は落ちます。 imatrixで緩和されるとはいえ、ビット数を削れば劣化します。「小さいほうが得」ではなく、収まらないときの手段です。
imatrixの作り方で品質が変わります。 どんなテキストで重要度を測ったかに依存するため、配布元によって出来が違います。この性質を逆手に取った配布もあり、有限会社GIPU(日本)の「UD Japanese iMatrix」シリーズは、imatrixの校正工程で日本語を重視したGGUF群(Gemma 4 12B・Qwen3.5等)を公開しています——日本語主体の用途なら、同じIQ量子化でもどのimatrixで作られたかが選ぶ軸になります。
対応状況を確認してください。 llama.cpp系では扱えますが、非線形なぶん環境によっては速度面で不利になることがあります。
KVキャッシュは小さくなりません。 量子化が効くのは重みだけです。長い文脈を使うなら、KVキャッシュの分は別途必要です。

参考資料(出典)

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)

📚 ローカルLLMの入門書・ムックをAmazonで探す

上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。