llama.cpp

llama.cpp(ラマ・シーピーピー)は、ローカルLLM実行の土台となるオープンソースの推論エンジンです。GGUF形式の本家であり、OllamaやLM Studioの内部でも(派生・組み込みの形で)このエンジン系が動いています。「あのモデルはローカルで動くか」は、実質llama.cppが対応しているかで決まります。

何がすごいのか

C/C++で書かれた依存の少ない実装で、NVIDIA・AMD・Apple Silicon・CPUのみまで同じモデルファイル(GGUF)で動きます。VRAMに載りきらない分をメインメモリに逃がすCPUオフロード、量子化形式の豊富さ(Q4_K_M、IQ系、三値のQ2_0まで)も特徴で、「手元の機材でなんとか動かす」ための機能が最も厚いエンジンです。

ソフトの階層関係

ローカルLLMのソフトはおおよそ3層です: ①エンジン(llama.cpp本体。コマンドラインで直接使える)②使いやすいラッパー(Ollama=CLI、LM Studio=GUI)③その上のアプリ。ラッパーは楽な代わりに、エンジンの新機能が届くまで時間差があります——たとえば新しい量子化形式や新アーキテクチャは、llama.cpp本体が対応→数日〜数週間後にOllama等へという順で降りてきます。

「対応」がすべてを決める

新モデルのアーキテクチャや新形式は、llama.cppに実装がマージされて初めてローカルの選択肢になります。当サイトの収録判断でも「GGUFがあるか・llama.cppが対応済みか」を実行経路として確認しています(対応前のモデルは、判定表が出せても読者が動かせないため)。ツール呼び出し用の--jinjaフラグなど実用の詳細はチャットテンプレートのページへ。

関連用語

• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
• LM Studio — GUIでモデル検索からチャットまで完結する定番ソフト。CLIが苦手ならまずこれ
• チャットテンプレート(Jinja形式) — 会話をモデル固有のトークン列へ組み立てる規則。ずれると出力が壊れる定番原因

参考資料(出典)

• https://github.com/ggml-org/llama.cpp
• https://huggingface.co/docs/hub/gguf

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)