埋め込みモデル(embedding)

埋め込みモデル(embeddingモデル)は、文章を生成する代わりに「意味の座標」(数値ベクトル)に変換する専用モデルです。意味が近い文章はベクトルも近くなるため、キーワードが一致しなくても「言い換え」を探せる——RAGの検索部分の心臓部です。

何をするモデルか

「請求書の支払期限」と「インボイスの入金締切」のような表現違いの文を、近い座標に写します。手元の文書を全部ベクトル化して保存しておき、質問文も同じモデルでベクトル化して近いものを探す——これがベクトル検索で、見つけた文書をLLMに渡して答えさせるのがRAGです。つまりRAGの検索品質は、LLM本体ではなく埋め込みモデルの質で決まります。

サイズ感 — 軽くてCPUでも動く

生成モデルと違い、埋め込みモデルは0.1〜8B程度と小さく、CPUでも実用速度で動きます。VRAMの心配はほぼ不要で、生成用LLMと同居させても負担は小さめ。選ぶときの定番はMTEBという埋め込み専用ベンチのリーダーボードです。

注意点

①日本語対応は必ず確認——英語専用モデルに日本語を入れると検索品質が大きく落ちます(多言語対応モデルか日本語特化を選ぶ)。②モデルを替えたら全文書の再ベクトル化が必要——ベクトルはモデル固有の座標系だからです。③当サイトのカタログ・判定は生成モデルが対象のため埋め込みモデルは収録していませんが、RAGを組むなら生成モデルとは別にこれを1つ選ぶ、と覚えておいてください。

関連用語

• RAG(検索拡張生成) — モデルに手元の最新文書を参照させる仕組み。ファインチューンなしで知識を足せる
• トークンとトークナイザー — LLMが文章を数える単位。日本語は英語よりトークン効率が悪く、体感速度にも効く
• ローカルLLMとは — 自分のPCやスマホの中で動かす大規模言語モデル。構成次第で会話を外部に出さずに使える

参考資料(出典)

• https://huggingface.co/blog/getting-started-with-embeddings
• https://huggingface.co/spaces/mteb/leaderboard

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)