LMDeploy

LMDeploy(エルエム・デプロイ)は、オープンモデルを動かすための無料の推論エンジンの一つです(上海AI研究所発)。当サイトの文脈で覚えておきたいのは、新しいアーキテクチャのモデルがllama.cppやOllamaでまだ動かないとき、その受け皿になるランタイムだという点です。

なぜ「対応ランタイム」が要るのか

モデルの重みをダウンロードしても、それだけでは動きません。その構造(アーキテクチャ)を理解して計算を実行するソフト=推論ランタイムが対応している必要があります。llama.cpp(とその中身を使うOllama・LM Studio)は普及していますが、新型のアーキテクチャが出た直後は未対応のことが多く、その間は「重みはあるのに手元で動かせない」状態になります。

LMDeployやvLLMのような、モデルを作る側に近いランタイムは、こうした新アーキに早く対応する傾向があります。たとえばInternLMのIntern-S2-Mobiusのような独自構造のモデルは、公開直後はllama.cppで動かず、LMDeploy等が実行の前提になります。

当サイトとの関係

当サイトの読者の多くはOllama・LM Studio(=llama.cpp系)を使います。そのため、新アーキのモデルには「llama.cppでは動かず、LMDeploy等が必要」という実行環境の注記を付けています。必要VRAMの判定が◎でも、手元のランタイムが対応していなければ動かせないからです。時間が経てばllama.cppが追いつくことも多いので、その時点で注記は外れます。vLLMと同じく、これは「1人でチャット」より「サーバー・研究用途」寄りのエンジンでもあります。

関連用語

• llama.cpp — ローカルLLM実行の土台エンジン。GGUFの本家で、OllamaやLM Studioの中身
• vLLM — 多数の同時リクエストを捌くサーバー向け推論エンジン。AWQ/FP8系派生の受け皿
• MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる

参考資料(出典)

• https://github.com/InternLM/lmdeploy
• https://lmdeploy.readthedocs.io/en/latest/

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)