ローカルLLMとは

ローカルLLMとは、ChatGPTのようなインターネット越しのAIサービスと違い、自分のPCやスマートフォンの中で直接動かすAIのことです。誰でもダウンロードできる形で公開された「オープンモデル」(Llama、Qwen、Gemmaなど)を使い、会話の内容を外部に送らずに使えるのが特徴です。

クラウド型AI(ChatGPTなど)との違い

何がうれしいのか

• プライバシー — 推論・検索・保存先をすべてローカルに構成すれば、社外秘の文書や個人的な相談を外部に送らずにAIへ渡せます(Web検索・クラウドの埋め込みAPI・テレメトリを併用する構成では、その経路にデータが出ます)。
• コスト — モデル自体は無料で、使うたびの従量課金がありません(機材費・電気代・保存領域は別途かかります)。
• 自由度 — モデルの差し替え、無検閲系や特化型の選択、細かいパラメータ調整が可能です。

必要なもの: 結局は「メモリ」

ローカルLLMの可否はほぼ一点、VRAM(ビデオメモリ)の量で決まります。モデルは数GB〜数十GBの「重み」をメモリに載せて動くため、GPUのVRAM(またはMacのユニファイドメモリ)に収まるかどうかがすべての出発点です。足りない場合も量子化で圧縮したモデルを選べば動く範囲が大きく広がります。

あなたのPCで何が動くかは、当サイトのトップページが自動判定します — スペックの送信なし・ブラウザ内で完結です。

始め方(3ステップ)

1. 判定ツールで自分のPCで動くモデルを確認
2. Ollama か LM Studio をインストール(無料)
3. 判定で◎だったモデルを実行 — 例: ollama run llama3.2

PCの性能が足りない場合も、クラウドGPUを秒課金で借りるという選択肢があります。モデルの公開場所については Hugging Face を参照してください。

関連用語

• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
• ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない

参考資料(出典)

• https://ollama.com
• https://huggingface.co/docs/hub/models-the-hub

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)