vLLM

vLLM(ブイエルエルエム)は、オープンモデルをAPIサーバーとして動かすための無料の推論エンジンです(UC Berkeley発のOSS)。1人で使うチャットの快適さではなく、多数の同時リクエストを捌くスループットに特化しており、企業がオープンモデルを自前ホストするときの事実上の標準になっています。

何が新しかったのか — PagedAttention

LLMサーバーの隠れたコストはKVキャッシュです。従来は会話ごとに「最大長ぶんの連続領域」を先取りで確保していたため、VRAMの大半が「まだ使っていない予約席」で埋まっていました。vLLMのPagedAttentionは、OSの仮想メモリと同じ発想でKVキャッシュを小さなページに分割して必要な分だけ割り当てます。無駄が消えた分だけ同時に載せられる会話数が増え、同じGPUで数倍のリクエストを捌けるようになりました(SOSP 2023論文)。

もう一つの柱が連続バッチングです。バッチ内の全員が書き終わるのを待たず、終わったリクエストの席に次のリクエストを即座に入れ替えます。この2つの合わせ技がスループットの源泉です。

Ollama / LM Studioとの住み分け

vLLMは起動時にVRAMの約9割を確保する設計(既定値)で、複数GPUへの分散(テンソル並列)も標準機能です。「手元のPCで1人で使う」ならOllama系が、「チームや社内アプリに提供する」ならvLLMが適材です。

HFで「AWQ」「FP8」「W8A8」派生を見かけたら

Hugging Faceでモデルを探すと、同じモデルにGGUF版とは別に AWQ・GPTQ・FP8・W8A8 といった量子化派生がぶら下がっていることがあります。これらは主にvLLMなどのサーバー系エンジン向けの形式です。手元のOllama / LM Studioで動かしたい人がダウンロードすべきはGGUF版のほうで、サーバー系形式は(対応が進んでいるNVFP4やMXFP4も含めて)vLLM側の世界だと覚えておくと迷いません。

当サイトとの関係

当サイトの判定はGGUF量子化を前提にした「1人で動かす」基準です。vLLMでのサービング(同時接続数×コンテキスト長でKVキャッシュが膨らむ世界)は別の計算になるため、判定表の◎△×はそのまま流用できません。大きめのモデルをvLLMで試したい場合は、クラウドGPUを時間貸しで借りるのが手っ取り早い経路です。

関連用語

• Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• NVFP4 — NVIDIA版のFP4。ブロック16・E4M3スケールで精度を取り、実効4.5bit

参考資料(出典)

• https://github.com/vllm-project/vllm
• https://docs.vllm.ai/en/latest/
• https://arxiv.org/abs/2309.06180

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)