NVFP4

NVFP4は、NVIDIAが定義した4bit浮動小数点フォーマットです。重み1個が E2M1 である点は MXFP4 と同じですが、ブロックを32個から16個に縮め、共有スケールを E8M0 から E4M3 に変え、さらにテンソル全体のFP32スケールを重ねた二段構えになっています。狙いは一点、同じ4bitでも精度の劣化を減らすことです。

MXFP4との違いは2つだけ、しかし効き方が違う

ブロックが半分(32→16)。 1つのスケールを共有する重みの数が減るので、グループ内の値の幅が狭くなります。極端な値(外れ値)が1つ混じったときに巻き添えを食う重みが減り、量子化の誤差が局所化します。

スケールが E8M0 から E4M3 へ。 MXFP4のスケールは指数のみで、倍率は2の冪乗しか取れません。実際に必要な倍率が2の冪乗からずれていれば、その分がまるごと丸め誤差になります。E4M3は指数を削って仮数を持たせた形式なので、2の冪乗の間の値も表現できます。表せる倍率の範囲は狭まりますが、そこはテンソル単位のFP32スケールが補います。

代償は0.25bit

8bitのスケールを16個ごとに持つので、1重みあたりは 4 + 8 ÷ 16 = 4.5 bit。MXFP4の4.25bitより0.25bit重い計算です(テンソル単位のFP32スケールは重み数で割ると無視できる大きさです)。

Llama 3.3 70B(70.6B)の重みだけで比べると、NVFP4が約39.7GB、MXFP4が約37.5GB、当サイトのラダーの Q4_K_M(4.85bit)が約42.8GBです。「4bit量子化」と一括りに言っても、実効サイズは1割前後ぶれます。必要VRAMを見積もるときは、量子化の名前ではなくビット数を確認するのが確実です。

ハードウェア前提があるフォーマット

NVFP4はBlackwell世代のTensor Coreによる支援を前提に設計されており、NVIDIAは4bitでの学習(事前学習)までを射程に入れて提案しています。単に推論時にモデルを小さくする手法ではなく、計算そのものを4bitで回すための形式である点がGGUFのK-quant系と発想が異なります。

ローカルで動かす側から見た現在地

当サイト収録モデルのうち、公式配布形式として確認できている4bit系はMXFP4が先行しています(gpt-oss、Kimi K3)。llama.cpp や Ollama といった一般的なローカル実行系で流通しているのは、依然として GGUF のQ4_K_M系です。NVFP4対応のGPUを持っていることと、手元のランタイムがその形式を読めることは別の話なので、フォーマット名だけで動作可否を判断しないでください。当サイトの判定表は共通ラダーによる理論換算であり、公式配布が単一精度のモデルにはその旨の注記を出しています。

関連用語

• MXFP4 — 32個ごとに共有スケールを持つ4bit形式。実効4.25bitでQ4_K_Mより軽い
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• GPUアーキテクチャ世代(Ampere・Blackwellなど) — Pascal→Turing→Ampere→Ada→Blackwellなど、GPUの「世代」の系譜とローカルLLMでの意味

参考資料(出典)

• https://developer.nvidia.com/blog/nvfp4-trains-with-precision-of-16-bit-and-speed-and-efficiency-of-4-bit/
• https://arxiv.org/abs/2509.25149

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)