NVIDIA GeForce RTX 4070 で動くローカルLLM

NVIDIA GeForce RTX 4070 を搭載したグラフィックボード製品の写真
写真: 2023 Gigabyte GeForce RTX 4070 Aero OC 12GB (6)(Jacek Halicki, CC BY-SA 4.0, Wikimedia Commons経由・縮小等の加工あり。実際の製品はメーカー・型番により外観が異なります)

RTX 4070(12GB)は主要47モデル中◎17件です。16GB級にすると◎20件に増えます。

🛒 RTX 5070 Ti をAmazonで見る

先に RTX 5070 Ti の判定を見る

RTX 4070 本体をAmazonで探す(中古・在庫)

🛒 カードだけ替えられないなら、PCごと選び直す(BTOの選び方)

上記はアフィリエイトリンクです。経由して購入・課金された場合、当サイトに紹介料が入ります(判定結果には影響しません)。

VRAM: 12 GB ・ メモリ帯域: 504 GB/s ・ TDP: 200 W ・ 区分: デスクトップGPU

量子化レベル別の動作判定(12GB VRAM 基準)。モデル名を押すと必要VRAMの詳細が見られます。

モデルQ4_K_MQ5_K_MQ6_KQ8_0FP16
Llama 3.2 1B 1.24B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
MiniCPM5 1B 1.08B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
LFM2.5 2.6B 2.7B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
LFM2.5 8B-A1B 8.47B◎ 快適◎ 快適◎ 快適◎ 快適× 不可
Sarashina 2.2 3B 3.36B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
Qwen3.5 4B 4.66B◎ 快適◎ 快適◎ 快適◎ 快適△ ぎりぎり
Nemotron-3 Nano 4B 3.97B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
Llama 3.1 8B 8.03B◎ 快適◎ 快適◎ 快適△ ぎりぎり× 不可
Llama 3.1 Swallow 8B 8.03B◎ 快適◎ 快適◎ 快適△ ぎりぎり× 不可
Bonsai 8B (1-bit) 8.19B◎ 快適 Q1_0のみ
Ternary-Bonsai 8B (三値) 8.19B◎ 快適 Q2_0のみ
MiniCPM-V 4.6 1.3B◎ 快適◎ 快適◎ 快適◎ 快適◎ 快適
Qwen3.5 9B 9.65B◎ 快適◎ 快適◎ 快適△ ぎりぎり× 不可
Ornith 1.0 9B 9.41B◎ 快適◎ 快適◎ 快適△ ぎりぎり× 不可
Gemma 4 12B 12B◎ 快適△ ぎりぎり× 不可× 不可× 不可
Qwen2.5 14B 14.8B△ ぎりぎり× 不可× 不可× 不可× 不可
DeepSeek R1 Distill Qwen 14B 14.8B△ ぎりぎり× 不可× 不可× 不可× 不可
gpt-oss 20B 21.51B× 不可× 不可× 不可× 不可× 不可
Mistral Small 3.2 24B 23.6B× 不可× 不可× 不可× 不可× 不可
Gemma 4 26B-A4B 26.54B× 不可× 不可× 不可× 不可× 不可
Gemma 4 31B 31.27B× 不可× 不可× 不可× 不可× 不可
Qwen3.6 27B 27.78B× 不可× 不可× 不可× 不可× 不可
Fara 1.5 27B 27.36B× 不可× 不可× 不可× 不可× 不可
Bonsai 27B (1-bit) 27.78B◎ 快適 Q1_0のみ
Ternary-Bonsai 27B (三値) 27.78B◎ 快適 Q2_0のみ
EXAONE 4.5 33B 34.35B× 不可× 不可× 不可× 不可× 不可
GLM-4.7-Flash 31B-A3B 31.2B× 不可× 不可× 不可× 不可× 不可
Qwen2.5 32B 32.8B× 不可× 不可× 不可× 不可× 不可
Qwen3 Swallow 32B 32.8B× 不可× 不可× 不可× 不可× 不可
Qwen3.5 35B-A3B 35.95B× 不可× 不可× 不可× 不可× 不可
Qwen3.6 35B-A3B 35.95B× 不可× 不可× 不可× 不可× 不可
Muse Glimmer 30B 29.78B× 不可× 不可× 不可× 不可× 不可
Nemotron-3.5 Lightning 30B-A3B 31.58B× 不可× 不可× 不可× 不可× 不可
Llama 3.3 70B 70.6B× 不可× 不可× 不可× 不可× 不可
Qwen3-Coder-Next 80B-A3B 79.7B× 不可× 不可× 不可× 不可× 不可
GLM-5.2 753B× 不可× 不可× 不可× 不可× 不可
DeepSeek-R1 684.53B× 不可× 不可× 不可× 不可× 不可
Solar Open 2 250B 250.29B× 不可× 不可× 不可× 不可× 不可
DeepSeek-V4-Flash 304.18B× 不可× 不可× 不可× 不可× 不可
Step-3.7-Flash 201.37B× 不可× 不可× 不可× 不可× 不可
MiniMax-M2.7 228.7B× 不可× 不可× 不可× 不可× 不可
Qwen3.5 397B-A17B 403.4B× 不可× 不可× 不可× 不可× 不可
Nemotron-3 Super 120B-A12B 123.61B× 不可× 不可× 不可× 不可× 不可
DeepSeek-V4-Pro 1598.84B× 不可× 不可× 不可× 不可× 不可
Qwen3.8 2.4T-A95B 2446B× 不可× 不可× 不可× 不可× 不可
Kimi K3 2779.93B× 不可× 不可× 不可× 不可× 不可
Kimi K2.6 1058B× 不可× 不可× 不可× 不可× 不可

必要VRAM = 重み + KVキャッシュ(既定コンテキスト時) + 1.5GB(OS/表示)。△は量子化を下げるかコンテキストを絞れば動作します。

NVIDIA GeForce RTX 4070とは

NVIDIA GeForce RTX 4070はNVIDIAのAda Lovelace世代(2022年)のGPUです。VRAM 12GB・メモリ帯域504GB/sで、当サイトが判定に対応する単体GPU 78機種(2016年以降に発売された主要なコンシューマ向け・ノートPC向けGPU)の中で帯域は上位41%に位置します。発売は2023年4月です。TDPは200Wです。この78機種のうち12GBクラスは11機種で、メモリ帯域はその中で4位です。

12GBと高効率のバランスから「無難な正解」と評されることが多いミドル上位。ゲームとローカルLLMの兼用機として定番の位置にあります。

NVIDIA GeForce RTX 4070でローカルLLMはどこまで動く?

VRAM 12GB・メモリ帯域504GB/sのGPUです。Q4_K_M量子化で◎(快適)判定になる最大クラスはGemma 4 12B(12B)です。

当サイトの主要31モデル(Q4_K_M)に対する判定は、◎快適 13件・△ぎりぎり 2件・×不可 16件です。

このGPUで何ができるようになる?

8B級はローカルLLMの主力サイズです。チャット・要約・翻訳・コード補完といった日常用途を十分にこなし、コミュニティの層(量子化版・日本語特化などの派生モデル)も最も厚いゾーンです。新しいモデルが出るたびに手元で試せるのは、このクラスが快適に動く環境ならではの楽しみです。

◎で動く代表例: Gemma 4 12B / Qwen3.5 9B / Ornith 1.0 9B。

理論上の生成速度の目安

生成速度はメモリ帯域(このGPUは504GB/s)でほぼ頭打ちになります。◎判定モデルでの理論上限は次のとおりです。

モデルQ4_K_M重み理論上限
MiniCPM5 1B0.7GB~720 tokens/秒
Qwen3.5 4B3GB~168 tokens/秒
Gemma 4 12B7.7GB~65 tokens/秒

理論上限=メモリ帯域÷重みサイズの単純計算です。実際のスループットはオーバーヘッドの分これより下がります。

ただしこれは上限です。同じベンダーのGPU6機種の実測では、理論値の 62〜80% に収まっていました(この機種自体の計測とは限りません)。実現できる割合はソフトウェア環境によって差があるため、別ベンダーのGPUと理論値だけで比較しないでください(詳しくはメモリ帯域の項)。

足りないときの3つの選択肢

どんな人に向いているか

12GB帯はローカルLLM入門の定番です。8B級の主力モデルが快適に動き、コミュニティの情報も豊富なので、最初の1枚として選ばれることが多い容量です。

同じVRAM容量の他のGPU

NVIDIA GeForce RTX 3060 12GB / NVIDIA GeForce RTX 3080 Ti / NVIDIA GeForce RTX 4070 SUPER / NVIDIA GeForce RTX 4070 Ti

スペック(VRAM・帯域・TDP)の出典: TechPowerUp GPU Database: techpowerup.com/gpu-specs

▶ あなたのPCを自動判定する(スペック送信なし・ブラウザ内完結)

またはこのGPU(NVIDIA GeForce RTX 4070)を選択した状態で判定ツールを開く

このGPUで動かないモデルはクラウドで試す(RunPod)

📚 ローカルLLMの入門書・ムックをAmazonで探す

上記はアフィリエイトリンクです。経由して購入・課金された場合、当サイトに紹介料が入ります(判定結果には影響しません)。