VLM(画像対応モデル)

VLM(Vision Language Model)は、画像を「見て」テキストで答えられるLLMです。スクリーンショットの説明、紙の書類の読み取り、グラフの解釈——ローカルで動けば機密書類も外に出さずに処理できるため、実用度の高いジャンルです。当サイトのカタログでは「画像対応」タグで示しています。

仕組み — 視覚エンコーダ+LLM本体

VLMは、画像をトークン列に変換する視覚エンコーダと、それを言葉として理解するLLM本体の2部構成です。多くのVLMは既存のテキストLLMを基幹に、視覚部分を付けて追加学習して作られます(例: Qwen2.5-VL)。llama.cpp系で見かけるmmprojファイルは、この視覚部分だけを分離したもの——本体のGGUFとセットで読み込んで使います。

メモリの読み方 — 判定との関係

当サイトのパラメータ数(params)は視覚エンコーダ込みの実測値なので、重みの必要量は通常どおり判定表で読めます。注意が2つ: ①画像の処理には判定値に上乗せの作業メモリがかかること、②画像はトークンに変換されてコンテキストを消費するため(1枚で数百〜数千トークン)、複数枚や高解像度ではKVキャッシュも膨らむこと。ぎりぎりの構成では画像1枚から試すのが安全です。

選び方

テキスト性能と視覚性能は別物で、ベンチも別系統(OCR・図表理解など)です。用途が読み取り中心なら、汎用VLMより軽量なOCR特化モデルが速くて正確なこともあります。ローカルでの実行はランタイムの対応(llama.cppのマルチモーダル対応)が前提になる点も、テキストモデルと同じです。

関連用語

• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
• コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
• ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。構成次第で会話を外部に出さずに使える

参考資料(出典)

• https://huggingface.co/blog/vlms
• https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)