RAG(検索拡張生成)

RAG(Retrieval-Augmented Generation/検索拡張生成)は、モデルに手元の文書を検索させ、その内容を根拠に回答させる仕組みです。モデル自体は書き換えず、参照する資料を外から与えるのがポイントで、ローカルLLMで「専門知識・最新情報・機密文書」を扱うときの現実的な最適解になります。

ファインチューンとの違い — 知識を焼き付けない

モデルに知識を足す方法は大きく2つあります。ファインチューンはモデルの重みに知識を焼き付けますが、内容を変えるたびに再学習が要り、古くなれば作り直しです。RAGは参照する文書を差し替えるだけで最新の内容を反映でき、しかも文書はモデルの外に置いたまま——つまり機密資料を学習データにせず、外部にも出さずに使えます。医療のガイドラインや法令のように「改定される・秘匿性が高い」情報ほど、RAGの利点がはっきりします。

仕組み(ざっくり)

1. 手元の文書を細かく分割し、埋め込みモデルで「意味のベクトル」に変換して保存しておく(この検索用インデックスもローカルに置けます)。
2. 質問が来たら、意味の近い文書片をインデックスから探し出す。
3. 見つけた文書片を質問と一緒にLLMへ渡し、「この資料に基づいて答えて」と生成させる。

LLM本体とは別に、この埋め込みモデル(こちらも小さなローカルモデルで済みます)が必要になる、というのがRAG構成の実務的なポイントです。

ローカルLLMでのRAGとVRAM

RAGは「渡された文書を読んで答える」だけなので、複雑な計画や行動は要らず、小型モデルでも実用になります。医療・法務・社内文書のQAが8Bクラスでも回るのはこのためです。ただし参照した文書はそのぶんコンテキストを消費し、長い資料を大量に渡すとKVキャッシュが増えてVRAMを圧迫します。「大きなモデルを無理に載せる」より「収まるモデル+必要な文書だけ渡す」方が、RAGでは筋の良い構成です。分野別の目安は医療・法務などの分野ページに、必要VRAMはトップの判定にまとめています。

RAGとツール利用の関係

RAGが「汎用モデルに知識を足す」のに対し、ツール利用(function calling / MCP)は「汎用モデルに行動(検索・計算・API操作)を足す」仕組みです。実務では両方を組み合わせることも多く、「専用モデルに作り替える」より「汎用モデル+RAG+ツール」で必要な能力を外付けする方が、更新も機密保持も効きます。

関連用語

• ツール利用(function calling / MCP / スキル) — 汎用モデルに検索・コード実行・API操作などの「手順」を外付けする仕組み。ローカル小型は苦手
• ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。会話が外部に送信されない
• コンテキスト長 — モデルが一度に覚えていられる会話・文書の長さ。長いほどKVキャッシュがVRAMを食う
• ベースモデルとInstructモデル — 「-Instruct」が付く方が対話用。素のベースモデルは指示に従わない

参考資料(出典)

• https://arxiv.org/abs/2005.11401
• https://huggingface.co/docs/transformers/model_doc/rag

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)