Medical-GPT-OSS-Swallow 120B の必要VRAM

Swallowチームによる医療ドメイン特化の日本語継続学習版(gpt-oss-120bベース)。オープン重みの国産医療特化モデルとして希少な存在。総117B級のため80GB級GPUやクラウド向き。医療での利用は専門家による確認と、所属機関の規程の確認を前提としてください。

116.83B / 36層 / GQA 8ヘッド / 既定コンテキスト 8,192 トークン(HuggingFace)

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

この表は Q4_K_M を最小の量子化として計算しています。×でも、IQ4_XS のようにさらに小さい量子化なら収まることがあります(品質低下と、使うランタイムの対応状況の確認が要ります)。

Medical-GPT-OSS-Swallow 120Bとは

Medical-GPT-OSS-Swallow 120Bは、東京科学大 Swallowチームが公開するTransformer系のデータセンター級(116.83Bパラメータ)オープンモデルです。数百B〜1T規模のフラッグシップで、個人のローカル実行は対象外です(参考収載)。日本語データで開発・強化された国産モデルで、日本語の自然さに重点があります。

Medical-GPT-OSS-Swallow 120Bの必要スペックを読み解く

Q4_K_M量子化での内訳は、重み(モデル本体)が約70.8GB、8Kトークン分のKVキャッシュが約0.3GB、システム予約と合わせて合計約72.6GBです。 単一のコンシューマGPUに◎(快適)となるクラスはなく、実行はクラウドGPUが現実的です。 迷ったらQ4_K_M(合計約72.6GB)が基準です。VRAMに余裕があればQ8_0(約125.9GB)で品質の上積みが狙えます。 Mac(ユニファイドメモリ)での判定は、トップページでチップと搭載メモリを選ぶと計算できます。

MoE構成: 総116.83B・実効5.1B。メモリは総量116.83B分が必要ですが、生成速度は5.1B級の軽さです。

ハイブリッドアテンション採用: 全36層のうちフルアテンションは18層のみで、残りの層は直近128トークンの窓しか参照しません。長文時のKVキャッシュ増加が緩やかです。

コンテキスト長とメモリの伸び方

このモデルのKVキャッシュは、2Kトークンで約0.1GB、8Kで約0.3GB、32Kまで広げると約1.2GBになります。KVキャッシュはコンテキスト長にほぼ比例して増えるため、長文用途ではその分のVRAM余白を見込んでください。

速度の目安(理論上限)

MoEのため速度は実効5.1B相当(Q4で約3.1GB)で決まり、理論上限はRTX 3060 12GBで約116 tokens/秒、RTX 4090で約326 tokens/秒です(実効はこれ以下)。

動かすには

この規模はコンシューマ環境の外なので、クラウドGPUでの実行が入口になります。 RunPodでの始め方(手順ガイド)

同クラスの選択肢

Laguna S 2.1(117.56B) / gpt-oss 120B(120.41B) / Qwen3-Coder-Next 80B-A3B(79.7B)

▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)