QAT(量子化認識学習)

QAT(Quantization-Aware Training / 量子化認識学習)は、学習の段階から「低bitで動かすこと」を織り込んで訓練する方式です。出来上がったモデルを後から圧縮するPTQ(事後量子化)に対して、QATは重みが最初から低bitの制約に適応するため、三値や1-bitのような極端な圧縮でも品質が保てます。

PTQとQAT — 「後から潰す」か「最初から前提にする」か

普段目にするQ4_K_MなどのGGUF量子化はPTQです: 完成したFP16の重みを、学習なしで低bitに丸めます。4bit前後までは品質低下がわずかで済みますが、それより下げると劣化が急になります。QATは学習ループの中で「量子化された状態」を疑似的に再現しながら訓練するため、重みの側が丸めに耐える形に育ちます——極端な低bitで品質を出すための、実質的な前提技術です。

実例 — 1-bit・三値の世界はQATでできている

• BitNet b1.58(Microsoft): 最初から三値{-1, 0, +1}で事前学習する方式の代表。「三値でもFP16と同等にスケールする」という主張の根拠は、この“ネイティブ学習”にあります
• Bonsai(PrismML・当サイト収録): 既存のQwenモデルをQATで1-bit級に変換した系統。1bit量子化のページで詳述
• Gemmaの公式QAT版(Google): 通常学習したモデルにQATを追加で施し、4bit配布時の品質低下を抑えたGGUFを開発元自身が配布する例

トレードオフ

PTQは誰でも数時間で作れますが、QATは学習と同種の計算資源が必要です。個人が気軽に施せるものではなく、開発元や資金のあるチームの仕事になります——三値モデルの供給が「作れる組織」に限られている理由でもあります(既存モデルを学習なしの事後処理だけで三値化する試みも登場していますが、品質の実証はこれからです)。

関連用語

• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• 1bit量子化(BitNet・三値) — 重みを-1/0/+1の三値まで削る極端な量子化。8Bクラスが約1.15GBに収まる
• 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
• LoRAとQLoRA — モデル全体でなく小さな「差分」だけを追加学習するFT手法。派生モデル量産の原動力

参考資料(出典)

• https://arxiv.org/abs/2402.17764
• https://pytorch.org/docs/stable/quantization.html
• https://huggingface.co/collections/google/gemma-3-qat-67ee61ccacbf2be4195c265b

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)