Ollama

Ollama(オラマ)は、ローカルLLMをコマンド1つで動かせる無料ソフトです。モデルのダウンロード・量子化版の管理・実行をすべて肩代わりしてくれるため、ローカルLLM入門の事実上の標準になっています。Windows / Mac / Linux 対応。

インストールと最初の1回

ollama.com からインストーラをダウンロードして実行
ターミナル(コマンドプロンプト)で:
```
ollama run llama3.2
```
初回はモデルのダウンロードが走り、終わるとそのまま対話が始まります

どのモデルを選ぶべきかは、先に当サイトの判定ツールで◎が付いたものから選ぶと失敗しません。

覚えるコマンドは実質3つ

コマンド	働き
`ollama run モデル名`	実行(無ければ自動ダウンロード)
`ollama list`	手元にあるモデル一覧
`ollama rm モデル名`	削除(ディスク解放)

モデル名とタグの読み方

llama3.1:8b のように「名前:タグ」で指定します。タグにはサイズ(8b/70b)や量子化レベル(q4_K_M/q8_0)が入り、タグ省略時は標準版(多くはQ4系)が選ばれます。例:

ollama run qwen3.5:9b          # 標準の量子化で9B版
ollama run llama3.1:8b-instruct-q8_0   # 高精度版を明示指定

自分のVRAMにどのタグが収まるかは、各モデルページの量子化別判定(例: Qwen3.5 9B)が対応表になっています。

Ollamaで足りなくなったら

GUIが欲しい → LM Studio(同じGGUFを使うGUIアプリ)
もっと大きいモデルを動かしたい → クラウドGPU上でOllamaを動かす手順をRunPodガイドにまとめています

関連用語

ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。会話が外部に送信されない
量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック

参考資料(出典)

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)

📚 ローカルLLMの入門書・ムックをAmazonで探す

上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。