量子化ミラー(bartowski・mradermacherなど)
新しいモデルが公開されると、数時間〜数日でGGUF量子化の一式を配り始める専門のアップローダーがいます。ローカルでモデルを動かす人の多くは、開発元の公式リポジトリではなくこの「量子化ミラー」からファイルを取得します。当サイトが実需の計測に使っているのは主要4組織——bartowski・unsloth・mradermacher・lmstudio-community です。
なぜミラーが要るのか
開発元の公式配布はsafetensors形式(FP16/BF16)が基本で、llama.cppやOllamaでそのまま動くGGUFにするには、変換と量子化を誰かがやる必要があります。ミラーはこれを引き受け、Q2からQ8まで各量子化レベルを一括で用意し、多くの場合imatrix(重要度行列)による校正まで施します。公式が出さない中間サイズの選択肢が揃うので、「手元のVRAMに合うファイルを選ぶ」という行為は実質ミラーの棚の前で起きています。
主要4組織の性格
| 組織 | 正体 | 持ち味 |
|---|---|---|
| bartowski | 個人発 | K-quant+imatrix量子化の事実上の定番。主要モデルはほぼ即日で全レベルが揃う |
| unsloth | 企業(Unsloth AI) | UD(動的)量子化で巨大MoEを1bit級まで潰すのが得意。詳細は別項 |
| mradermacher | 個人 | 圧倒的な網羅型。他が手を出さない無名モデルや旧モデルまで拾う |
| lmstudio-community | LM Studio公式 | デスクトップアプリLM Studioのアプリ内検索が参照する公式コミュニティ配布 |
当サイトの計測との関係 — ミラー比率は実需シグナル
当サイトは毎朝、収録モデルごとに開発元公式のダウンロード数とこの4組織のミラー分を別々に数えています。照合は「org限定・モデル名の厳密一致・GGUF接尾辞・派生ファインチューン除外」——初期に使っていたあいまい一致は有志の改造版まで拾って2.5倍過大な値を出したため、締めた経緯があります。分けて数える理由は読み方にあります。公式DLはCI・チュートリアル等の機械的な取得を色濃く含む一方、ミラー比率の高さは「いま人間がローカルで動かそうとしている」シグナルに近い——これが運用して見えた使い分けです。日々の値はランキングページに出しています。
使う側の注意
同じ「Q4_K_M」でも、ミラーごとにimatrixの校正データや変換時点のllama.cppバージョンが違うため、中身が完全に同一とは限りません。また、公式がMXFP4のような独自精度で配るモデルは、GGUF化の過程で性格が変わることがあります。そして「GGUFがある=手元で動く」ではありません——量子化しても巨大モデルはサーバー級のままです(極端な実例はUnslothの項を参照)。動くかどうかは、ファイルサイズと手元のVRAMの突き合わせ、つまり当サイトの判定がやっていることそのものです。
関連用語
- 量子化とGGUF — モデルを小さく圧縮して少ないVRAMで動かす技術。Q4_K_M などの記号の読み方
- Unsloth — FT高速化ライブラリと大手量子化ミラーの二つの顔。UD動的量子化の作り手
- Hugging Face — オープンなAIモデルの配布ハブ。ほぼ全てのローカルLLMはここで公開される
参考資料(出典)
- https://huggingface.co/bartowski
- https://huggingface.co/mradermacher
- https://huggingface.co/lmstudio-community
- https://huggingface.co/unsloth
▶ あなたのPCで動くモデルを自動判定する(スペック送信なし・ブラウザ内完結)
上記はアフィリエイトリンクです。経由して課金された場合、当サイトに紹介料が入ります。