Ornith 1.0 9B の必要VRAM

DeepReinforce TeamがQwen3.5-9Bをエージェント型コーディング向けに事後学習した9B。MITライセンス。開発元自身がGGUFを配布しており手元のGPUで動かしやすい。

9.41B / 32層 / GQA 4ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

この表は Q4_K_M を最小の量子化として計算しています。×でも、IQ4_XS のようにさらに小さい量子化なら収まることがあります(品質低下と、使うランタイムの対応状況の確認が要ります)。 このモデルは実際にその境界にあります: IQ4_XS相当(4.25bit)に置き換えると必要VRAMが約7.4GB→約6.8GBになり、8GB級で「△ ぎりぎり」→「◎ 快適」に一段上がります。

Ornith 1.0 9Bとは

Ornith 1.0 9Bは、ornith-aiが公開するQwen系の入門〜標準クラス(9.41Bパラメータ)オープンモデルです。8GB級GPUで扱える定番サイズで、日常的な対話・文章作成の実用ラインです。コーディング・開発支援に特化したチューニングが施されています。

Ornith 1.0 9Bの必要スペックを読み解く

Q4_K_M量子化での内訳は、重み(モデル本体)が約5.6GB、8Kトークン分のKVキャッシュが約0.3GB、システム予約と合わせて合計約7.4GBです。 ◎(快適)判定の最小ラインは、VRAM 12GBクラスのGPUです。 迷ったらQ4_K_M(合計約7.4GB)が基準です。VRAMに余裕があればQ8_0(約11.3GB)で品質の上積みが狙えます。 Mac(ユニファイドメモリ)での判定は、トップページでチップと搭載メモリを選ぶと計算できます。

ハイブリッドアテンション(線形)採用: 全32層のうちフルアテンションは8層のみで、残りの層はコンテキスト長に依存しない固定サイズの状態を持ちます。長文に強い設計です。

コンテキスト長とメモリの伸び方

このモデルのKVキャッシュは、2Kトークンで約0.1GB、8Kで約0.3GB、32Kまで広げると約1.1GBになります。KVキャッシュはコンテキスト長にほぼ比例して増えるため、長文用途ではその分のVRAM余白を見込んでください。

速度の目安(理論上限)

生成速度はメモリ帯域律速です。Q4_K_Mの重み5.6GBに対する理論上限は、RTX 3060 12GB(360GB/s)で約64 tokens/秒、RTX 4090(1008GB/s)で約179 tokens/秒 — 実効はオーバーヘッドの分これより下がります。

動かすには

OllamaやLM Studioに対応しています。導入手順は用語集のOllamaページにまとめています。

同クラスの選択肢

Qwen3.5 9B(9.65B) / Granite 4.1 8B(8.79B) / Qwen3-VL 8B(8.77B)

▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)