ローカルLLMとは

ローカルLLMとは、ChatGPTのようなクラウド上のAIサービスではなく、自分のPCやスマートフォンの中で直接動かす大規模言語モデル(LLM)のことです。Llama、Qwen、Gemma など、誰でもダウンロードできる形で公開された「オープンモデル」を使います。

クラウド型AI(ChatGPTなど)との違い

何がうれしいのか

• プライバシー — 社外秘の文書や個人的な相談を、外部に送らずにAIへ渡せます。
• コスト — モデル自体は無料。使い放題で従量課金がありません。
• 自由度 — モデルの差し替え、無検閲系や特化型の選択、細かいパラメータ調整が可能です。

必要なもの: 結局は「メモリ」

ローカルLLMの可否はほぼ一点、VRAM(ビデオメモリ)の量で決まります。モデルは数GB〜数十GBの「重み」をメモリに載せて動くため、GPUのVRAM(またはMacのユニファイドメモリ)に収まるかどうかがすべての出発点です。足りない場合も量子化で圧縮したモデルを選べば動く範囲が大きく広がります。

あなたのPCで何が動くかは、当サイトのトップページが自動判定します — スペックの送信なし・ブラウザ内で完結です。

始め方(3ステップ)

1. 判定ツールで自分のPCで動くモデルを確認
2. Ollama か LM Studio をインストール(無料)
3. 判定で◎だったモデルを実行 — 例: ollama run llama3.2

PCの性能が足りない場合も、クラウドGPUを秒課金で借りるという選択肢があります。モデルの公開場所については Hugging Face を参照してください。

関連用語

• VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
• ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない

参考資料(出典)

• https://ollama.com
• https://huggingface.co/docs/hub/models-the-hub

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)