ハイブリッドアテンション(Hybrid Attention)

ハイブリッドアテンションは、Transformerの中核であるアテンション(Attention)——次の1語を作るときに文中のどこに注目するかを計算する仕組み——を「全部の層でフルに使う」のをやめ、一部の層だけフルアテンション、残りは軽量方式にする折衷設計です。

なぜ「フルアテンションを減らす」のか

ふつうのフルアテンションは、どの層でも過去の全トークンを参照できます。強力ですが、その分「過去の内容のメモ」であるKVキャッシュがコンテキスト長×層数に比例して膨らみ、長文チャットや長文書の読み込みでVRAMを圧迫します。ハイブリッドアテンションは「全層フルは過剰では?」という問いへの答えで、文脈全体を見渡す能力を一部の層に集約し、残りの層を軽くします。

軽量側の2方式

• Sliding Window(窓型) — 軽量層は直近Nトークンの「窓」しか見ません。窓の外は、フルアテンション層が要点を引き継ぎます(Mistral 7B論文で広まった方式)。当サイト収録ではGemma 4系やgpt-ossがこのタイプです。
• 線形アテンション(Linear Attention) — 軽量層はコンテキスト長に依存しない固定サイズの状態だけを持ちます(「Transformers are RNNs」系の方式)。文脈をどれだけ伸ばしても、この層のメモリは一定です。収録ではQwen3.5/3.6系と、それを骨格とするBonsai 27Bがこのタイプです。

実用上の意味 — 長文に強い

KVキャッシュが文脈長に比例して増えるのはフルアテンションの層の分だけになるため、同じサイズのモデルでも長文時の必要VRAMが大きく変わります。例えばQwen3.6 27Bでは全層のうちフルアテンションは一部だけで、大半は線形アテンションです — 各モデルの正確な層数と8K/32K時のKV実数は、それぞれのモデルページの「必要スペックを読み解く」に自動計算で載せています。方式ごとの実数比較はKVキャッシュの項をどうぞ。

当サイトの判定への反映

当サイトの必要VRAM計算は、ハイブリッドアテンションのモデルではフルアテンションの層だけにコンテキスト比例のKVキャッシュを計上します(sliding層は窓の分だけ、線形層はゼロ)。全層をフル扱いで計算すると必要量を数倍に過大評価してしまうためで、ハイブリッド系モデルの判定が「サイズの割に長文に強い」結果になるのはこの構造を正しく反映した数字です。モデルページの「ハイブリッドアテンション採用」の注記が、この設計のサインです。

関連用語

• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
• Transformer — 現代のLLMほぼ全ての土台となるアーキテクチャ。アテンション(Attention)で文脈を読む
• コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック

参考資料(出典)

• https://arxiv.org/abs/2310.06825
• https://arxiv.org/abs/2006.16236

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)