OpenRouter

GPUを買わずに、大きいモデルを動かす — クラウドGPUという選択肢(仕組みと手順の解説へ)

OpenRouterは、多数のモデルとプロバイダを1本のAPIキーとOpenAI互換の窓口にまとめる中継サービスです。当サイトはローカル実行を前提にしていますが、これは「そもそも借りたほうが良いのでは」という最有力の対抗馬なので、正面から比べます。先に結論を書くと、分かれ目は使用時間ではなく「機材を新しく買うかどうか」です。

料金の仕組み

推論の単価に上乗せはありません。各プロバイダの価格がそのまま通ります。手数料が乗るのはクレジットを購入するときで、Stripe決済で5.5%(最低$0.80)、暗号通貨(USDC)で5%です。最低額があるため、少額を頻繁にチャージするほど実効負担率は上がります。自分のAPIキーを持ち込む場合(BYOK)は月100万リクエストまで無料、以降5%。無料枠のモデルもありますが、1日50リクエスト(クレジットを$10以上購入すると1日1000)という制限があり、公式にも本番用途には向かないとされています。なお課金単位はテキストのトークンだけでなく、モデルによってリクエスト単位・画像・reasoningトークンなどが別に加算されます。

「何時間使うか」で比べると間違える

よくある比較の仕方は「月◯時間使うといくら」ですが、これでは判断できません。電気代もAPI料金も使った分に比例して増えるので、時間を増やしても大小関係は入れ替わらないからです。片方が安ければ、何時間使ってもそちらが安いままです。

さらに厄介なのは、同じ「1時間」でも中身が違うことです。人がチャットで読んだり打ったりしている間、GPUはほとんど遊んでいます。一方でAPI側は実際に流したトークンにしか課金されません。つまり「対話1時間」を突き合わせると、ローカル側だけ待ち時間ぶんの電力を計上することになり、比較が歪みます。

正しい共通の単位はトークンです。

トークンあたりで比べる

ローカル側は実測のスループット(llama.cpp公式の計測表)と当サイトの電力モデル(TDPの70%+システム80W、31円/kWh)から、出力100万トークンを生成するのにかかる電気代を出せます。

方式出力100万トークンあたり
ローカル: RTX 4090(実測186.21トークン/秒)約18.2円
ローカル: RTX 3090(実測158.16トークン/秒)約17.7円
API: 仮定出力単価 $0.575円
API: 仮定出力単価 $1.2180円
API: 仮定出力単価 $3.0450円

API側の単価は実価格ではなく比較用に置いた仮定値です(モデルとプロバイダで大きく変わります)。またこの表はテキスト推論のクレジット消費額のみで、クレジット購入手数料・画像・ツール利用・Web検索などの料金を含みません。為替は150円/$換算。

すでにGPUを持っているなら、電気代は仮定したどのAPI単価より安くなります。 生成そのものにかかる電力は、100万トークンで20円に届きません。ここだけ見ればローカルの圧勝です。

本当の分かれ目は「買うかどうか」

問題は機材代です。電気代は使った分だけですが、購入費は使わなくてもかかります。 中古のRTX 3090を10万円で買い、3年後に4万円で売れると仮定すると、月あたりの負担は約1,667円。これを仮定したAPI単価との差で埋めるには、次の量を毎月生成する必要があります。

仮定API出力単価損益分岐連続生成に換算すると
$0.5 / 100万トークン2,910万トークン約51時間
$1.2 / 100万トークン1,030万トークン約18時間
$3.0 / 100万トークン390万トークン約7時間

つまり、安いAPIで済む用途のために機材を新しく買うのは、コスト面では割に合いません(月51時間ぶっ通しで生成し続けて、ようやく中古3090の元が取れる計算です)。逆に高単価のモデルを常用するなら、月7時間ぶんの生成で分岐します。すでにGPUを持っている人にとっては、そもそもこの表は関係ありません — 電気代しかかからないからです。

コスト以外の判断材料

金額で決まらない部分にこそ、選択の実質があります。

API・クラウドGPU・ローカルの使い分け

当サイトの判定との関係

当サイトが出す◎△×は「手元のハードで動くか」であって、「ローカルで動かすべきか」ではありません。×が出たモデルをまずAPIで試して、常用すると決まってから機材を検討する——という順序は合理的です。

関連用語

参考資料(出典)

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)

📚 ローカルLLMの入門書・ムックをAmazonで探す

上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。