Unsloth

Unslothは、ローカルLLM界隈で2つの顔を持つ存在です。ひとつはファインチューニングを高速化するオープンソースライブラリの開発元(Unsloth AI)、もうひとつはHugging Face上で新モデルのGGUFを公開直後から配る大手量子化ミラー(unsloth org)。文脈によって指すものが違うので、両方を知っておくと会話が読めます。

顔① — ファインチューニングを速く・軽くするライブラリ

ライブラリとしてのunslothは、LoRA/QLoRA学習を独自の最適化カーネルで高速化・省メモリ化するPythonパッケージです。同じGPUでより大きなモデル・より長い文脈のファインチューニングが現実的になるため、個人がローカルGPUでモデルを調教する場面の定番ツールの一つになっています。ここは推論ではなく学習側の話で、当サイトの判定(推論に必要なVRAM)とは別の世界です。

顔② — 公開直後にGGUFを配るミラー

unsloth orgは、話題のモデルが出ると数時間〜数日でGGUF一式と4bit版を配ることで知られます。当サイトの実需計測ではミラー4組織の一角で、トレンド上位に本体とそのunslothミラーが並んで顔を出すことも珍しくありません——「ローカルで動かしたい人」の量が、ミラーのダウンロードとして直接観測できる瞬間です。

UD(Unsloth Dynamic)量子化と、その限界の実例

UDは層ごとの重要度に応じてビット配分を変える独自の量子化方式で、DeepSeek-R1の「1.58bit動的量子化」で一躍有名になりました。全層を均一に潰すより品質が残るとされています。ただし魔法ではありません。総2.8TパラメータのKimi K3の場合、最小のUD-IQ1_S構成でも配布ファイル合計594GB(2026-07-31時点の実測)——1bit級まで潰しても、巨大MoEはサーバー級のままです。「GGUFが出た=ローカルで動く」ではないことの、いちばん極端な教材です。

当サイトとの関係と、名前の読み方の注意

当サイトはunsloth製ミラーを個別のモデルとしては掲載せず、そのダウンロードを本体モデルのミラー実需として合算しています。もう一つ注意: unsloth/○○-GGUF という名前はあくまで「unslothが変換・量子化した」という意味で、モデルの中身を作ったのは開発元です。リポジトリ名の先頭のorgと、モデルの作者は別のことがある——量子化ミラー全般に通じる読み方です。

関連用語

• 量子化ミラー(bartowski・mradermacherなど) — 新モデルのGGUFを公開直後から配る専門アップローダー。ローカル実需はここに現れる
• 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
• 1bit量子化(BitNet・三値) — 重みを-1/0/+1の三値まで削る極端な量子化。8Bクラスが約1.15GBに収まる

参考資料(出典)

• https://github.com/unslothai/unsloth
• https://unsloth.ai/blog/deepseekr1-dynamic
• https://huggingface.co/unsloth/Kimi-K3-GGUF

▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)