ローカルLLM用語集
ローカルLLMを始めるうえで押さえておきたい用語を、当サイトの判定と結びつけて解説します。
- ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。会話が外部に送信されない
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
- Hugging Face — オープンなAIモデルの配布ハブ。ほぼ全てのローカルLLMはここで公開される
- Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
- CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
- コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
- KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッド注意でサイズが数十倍変わる
- MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる
- ユニファイドメモリ — CPUとGPUがメモリを共有する方式。Macが大型モデルに強い理由と、スマホ・内蔵GPUの注意点
- ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない
- 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
- トークンとトークナイザー — LLMが文章を数える単位。日本語は英語よりトークン効率が悪く、体感速度にも効く
- Transformer — 現代のLLMほぼ全ての土台となるアーキテクチャ。注意機構(Attention)で文脈を読む