Scribble at 2026-06-07 10:48:03 Last modified: unmodified

どういう LLM が自分のローカル・マシンで動くかを評価するツールだというのだが、なんでこんなものが必要なのか、よく分からない。

まず、大雑把に言って拡散モデルの本体（diffusion model）がグラフィック・カードのメモリ（VRAM）の容量に収まれば動くと考えていい。したがって、僕のマシンは VRAM が 16 GB だから、誰がリリースしていようと量子化などのファイル・サイズを減らすチューニングなしで 7 GB ていどの SDXL の拡散モデルは、なんであろうと使える。こういうものはスペックを確認するだけで判断できるから、こんなツールは全くいらない。

テキストを扱う場合でも、LM Studio のようなフロント・エンドを使っていれば、モデル検索の画面で自分のパソコンで扱える許容度が（オフロード込みだが）表示されているから目安になるし、モデルのカタログでも３種類の評価で表示されるから、部分的なオフロードで動くか、完全にオフロードなしで動作するようなモデルを選べばいいだけだ。

逆に、ツールだろうとなんだろうと自分のマシンで単に動くだけではなく、特定の処理性能の目標とかが精密に決められているような状況でモデルを探すような専門家であれば、なおさらこんなツールは不要だろう（自分で計算できないような人間が、そういう精密な条件で生成 AI を使えるわけがない）。なので、こういうツールは誰でも使えるけれど、同時に誰の役にも立たないと思う。