ローカルLLM用語集
ローカルLLMを始めるうえで押さえておきたい用語を、当サイトの判定と結びつけて解説します。
- ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。構成次第で会話を外部に出さずに使える
- ローカルLLMの始め方 — 何も知らなくても大丈夫。3ステップで、自分のPCでAIを動かす入門ガイド
- クラウドとローカル、どっちで始める? — AIを自分のPCで動かすか、借りて動かすか。手軽さ・費用・プライバシーで選ぶ
- はじめてのGPU選び(ローカルLLM用) — 鍵はVRAMの容量。8/12/16/24GBで動くモデルの目安と、失敗しない選び方
- VRAM(ビデオメモリ) — GPUに載っている専用メモリ。ローカルLLMで動くモデルの大きさを決める最重要スペック
- 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
- Hugging Face — オープンなAIモデルの配布ハブ。ほぼ全てのローカルLLMはここで公開される
- Ollama — ローカルLLMを1コマンドで動かせる定番の無料ソフト
- vLLM — 多数の同時リクエストを捌くサーバー向け推論エンジン。AWQ/FP8系派生の受け皿
- KTransformers — 巨大MoEを少VRAM+大容量RAMで動かすオフロード特化エンジン。24GBで671Bの先駆け
- LMDeploy — 新アーキのモデルを動かすための対応ランタイム。llama.cpp非対応の新型で出番
- llama.cpp — ローカルLLM実行の土台エンジン。GGUFの本家で、OllamaやLM Studioの中身
- LM Studio — GUIでモデル検索からチャットまで完結する定番ソフト。CLIが苦手ならまずこれ
- CPUオフロード — VRAMに載りきらない分をメインメモリへ逃がして動かす技術。動くが遅くなる
- コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
- KVキャッシュ — 会話の文脈を保持する作業メモリ。GQA・MLA・ハイブリッドアテンションでサイズが数十倍変わる
- MLA(Multi-head Latent Attention) — KVキャッシュを低次元に圧縮する注意機構。DeepSeek系が採用し、長文でもVRAMが軽い
- MoE(Mixture of Experts) — 「総パラメータは大きいが、毎回動くのは一部だけ」という設計。容量は総量・速度は実効で決まる
- Dense(デンス) — MoEの対義。全パラメータが毎回動く従来型。総量=実効なので挙動が読みやすい
- VLM(画像対応モデル) — 画像を「見て」答えるLLM。視覚エンコーダの分だけメモリと手順が増える
- ユニファイドメモリ — CPUとGPUがメモリを共有する方式。Macが大型モデルに強い理由と、スマホ・内蔵GPUの注意点
- ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない
- 推論モデル(reasoning / thinking) — 答える前に「考えるトークン」を吐くモデル。賢いが、時間とKVキャッシュを二重に食う
- 事前学習とファインチューニング — LLMの育ち方: 大量テキストでの事前学習→指示チューニング→(継続事前学習・蒸留などの派生)
- 継続事前学習 — 既存モデルに大量テキストを追加で事前学習し、言語や分野の力を足す工程。国産の主流
- スケーリング則と学習トークン数 — 「15Tトークンで学習」の読み方。小型が賢くなった理由は学習量の増加にある
- トークンとトークナイザー — LLMが文章を数える単位。日本語は英語よりトークン効率が悪く、体感速度にも効く
- チャットテンプレート(Jinja形式) — 会話をモデル固有のトークン列へ組み立てる規則。ずれると出力が壊れる定番原因
- サンプリング設定(temperature / top-p) — 出力のランダムさを決めるつまみ。おかしな出力の多くは設定とモデル推奨値の不一致
- Transformer — 現代のLLMほぼ全ての土台となるアーキテクチャ。アテンション(Attention)で文脈を読む
- TDP(熱設計電力) — GPUの発熱・電力の設計枠。LLM推論の実消費との関係と電源選びの読み方
- メモリ帯域(メモリバンド幅) — メモリを毎秒何GB読み書きできるか。ローカルLLMの生成速度を事実上決めるスペック
- プリフィルとデコード(TTFT) — 長い文書を貼ると最初の返事だけ遅い理由。推論は「一括処理」と「一字ずつ生成」の2段階
- 投機的デコード(draft / EAGLE / MTP) — 小さいモデルに下書きさせて出力を変えずに速くする技術。リポジトリ名のdraftの正体
- GDDR・HBM・LPDDR(GPUメモリの種類) — GPUに載るメモリの3系統。速さ・容量・省電力のどれを取るかで住み分けが決まる
- GPUアーキテクチャ世代(Ampere・Blackwellなど) — Pascal→Turing→Ampere→Ada→Blackwellなど、GPUの「世代」の系譜とローカルLLMでの意味
- ハイブリッドアテンション(Hybrid Attention) — フルアテンションの層を一部だけにして、残りを軽量方式にする設計。長文でもKVキャッシュが軽い
- RAG(検索拡張生成) — モデルに手元の最新文書を参照させる仕組み。ファインチューンなしで知識を足せる
- 埋め込みモデル(embedding) — 文章を「意味の座標」に変換する検索専用モデル。RAGの心臓部で、軽くてCPUでも動く
- ツール利用(function calling / MCP / スキル) — 汎用モデルに検索・コード実行・API操作などの「手順」を外付けする仕組み。ローカル小型は苦手
- AIエージェント — LLMが自分で次の手を決め、道具を使い、繰り返して目標に達する使い方。必要VRAMが変わる
- SFT(指示チューニング) — 事前学習済みモデルに「指示への従い方」を教える工程。-Instruct 版はこれを経ている
- LoRAとQLoRA — モデル全体でなく小さな「差分」だけを追加学習するFT手法。派生モデル量産の原動力
- RLHF・DPO(選好チューニング) — 人間の好みに沿うようモデルを微調整する工程。RLHFとその簡略版DPOがある
- 脱検閲モデル(uncensored / abliterated) — 安全対応の拒否挙動を取り除いた改造版。ランキング頻出だが品質・安全の保証はない
- 蒸留(Distillation) — 大きな『教師』モデルの振る舞いを小さなモデルに写し取る技術。R1-Distill 等が該当
- 制御周期(リアルタイム推論) — ロボットが動き続けるために『毎秒N回、締切内に推論を返す』要件。テキストLLMと判定軸が違う
- ベンチマーク(LLMの性能評価) — モデルの能力を数値化する試験。ただし自己申告値は宣伝で、実使用と乖離しやすい
- MMLU(総合知識ベンチマーク) — 57分野の多肢選択で総合知識を測る定番。飽和・汚染が指摘される代表例でもある
- SWE-bench(コーディング実力の指標) — 実際のGitHub Issueを解けるかで測るコード評価。HumanEvalより実務に近い
- Chatbot Arena(人間投票のEloレート) — 匿名対戦で人が優劣を投票し順位付け。利用者の選好に最も近い第三者指標
- BFCL(ツール利用の実力を測る) — モデルが正しく関数=ツールを呼べるかを測るリーダーボード。エージェント適性の目安
- Nejumi Leaderboard(日本語LLM評価) — 日本語能力を横断的に測るリーダーボードの一つ。日本語評価はまだ標準未確立で分散
- MXFP4 — 32個ごとに共有スケールを持つ4bit形式。実効4.25bitでQ4_K_Mより軽い
- NVFP4 — NVIDIA版のFP4。ブロック16・E4M3スケールで精度を取り、実効4.5bit
- Tensor Core — 行列積専用の演算ユニット。ただし1人ぶんの生成速度は帯域で決まる
- B300 (Blackwell Ultra) — 288GB・8TB/sのデータセンターGPU。借りて使う側の桁を知るための基準
- 1bit量子化(BitNet・三値) — 重みを-1/0/+1の三値まで削る極端な量子化。8Bクラスが約1.15GBに収まる
- QAT(量子化認識学習) — 学習の段階から低bit前提で訓練する方式。後から潰すPTQより極端な低bitに耐える
- IQ量子化(IQ4_XS・imatrix) — Q4_K_Mより小さい非線形量子化。×判定のモデルが収まることがある
- CUDA — NVIDIA GPUの標準的な計算基盤。当サイト収録の実測では理論上限の62〜80%
- ROCm — AMD GPUの計算基盤。当サイト収録の実測では達成率がCUDAより低かった
- OpenRouter — 多数のモデルを1つのAPIでまとめる中継。ローカルとの分かれ目は機材購入の有無
- E2M1(FP4) — 4bitで表せる値はたった16通り。MXFP4/NVFP4の重み1個の中身
- E8M0 — 符号も仮数もない指数だけの8bit。倍率は2の冪乗のみ — MXFP4の共有スケール
- E4M3(FP8) — 8bit浮動小数点の主役。最大±448、KVキャッシュを半分にできる形式
- 量子化ミラー(bartowski・mradermacherなど) — 新モデルのGGUFを公開直後から配る専門アップローダー。ローカル実需はここに現れる
- Unsloth — FT高速化ライブラリと大手量子化ミラーの二つの顔。UD動的量子化の作り手
- 国産基盤モデル(国産LLM) — フルスクラッチ組と継続事前学習組、オープンウェイトとクローズドウェイト — 「国産」の中身を2軸で整理