MLA(Multi-head Latent Attention)

MLA(Multi-head Latent Attention)は、KVキャッシュを低次元の「潜在ベクトル」に圧縮して持つ注意機構です。DeepSeek-V2で導入され、DeepSeek・Kimi系の大型モデルが採用しています。長い文脈を扱ってもKVキャッシュが小さく済むため、同規模のモデルより長文時のVRAM負担が桁違いに軽いのが特徴です。

GQAとの違い — 圧縮の方向が違う

KVキャッシュを減らす主流の手法GQAは、KVヘッドの「数」を減らして節約します(旧来型MHAの1/8など)。MLAは別の方向で、各トークンのK・Vをそのまま保存せず、低ランクに圧縮した1本の潜在ベクトルとして保存し、使うときに展開します。この圧縮が効くため、GQAよりさらに大幅にKVを削減できます。実在モデルでの削減量はKVキャッシュの項に実数で載せています。

当サイトの判定への反映

MLAはKVの計算式そのものがGQAと異なります。当サイトは kv_lora_rank(潜在ベクトルの次元)を持つモデルをMLA専用の式で計算しています — GQAの式をそのまま当てると、MLAモデルのKVを7〜25倍も過大に見積もってしまうためです(実際にその修正を行いました)。DeepSeek-V4-Pro・Kimi K2/K3 などの必要VRAMが「巨大な割に長文に強い」判定になるのは、この構造を正しく反映した結果です。ただしこれらは総パラメータが大きく、多くはサーバー級で単一のコンシューマGPUには収まりません(トップの判定参照)。

MoE・ハイブリッドアテンションとの関係

MLA(KVの圧縮)、MoE(実働パラメータの削減)、ハイブリッドアテンション(フル注意層の削減)は、いずれも「大きな能力を、少ないメモリ・計算で」目指す別々の工夫です。現行のフロンティア級モデルは、これらを組み合わせて設計されています。

関連用語

• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
• ハイブリッドアテンション(Hybrid Attention) — フルアテンションの層を一部だけにして、残りを軽量方式にする設計。長文でもKVキャッシュが軽い
• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる

参考資料(出典)

• https://arxiv.org/abs/2405.04434
• https://arxiv.org/abs/2412.19437

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)