Scribble at 2024-10-20 18:59:55 Last modified: unmodified

LM Studio で使える拡散モデルには数多くの種類があるけれど、実は複数の言語に対応するテキスト入出力の汎用的なモデルとしては、ほぼ Meta の Llama と Goole の Gemma の二つしかない。それ以外は、実はプログラミングか STEM 系の対話に特化したモデルだ。したがって、LM Studio でテキストを使った業務全般に使うというなら、Llama か Gemma のどちらかを選ぶのが望ましい。いまのところ、最も性能が高いのは Llama 3.1 8B だ（データの容量が最大だ）。最新の Llama 3.2 は容量が 3B なので、最適化の度合いは洗練されているとは思うが、データの量が少ないことに変わりはない。

ただし、Llama 3.1 8B だと僕のマシンではフル・スケールで動かせない。十分な性能で使うなら、やはりグラフィック・カードかメインのメモリが多い環境を勧める。まぁ、一般的なサラリーマンの家庭で GPU のメモリが 12 GB のマシンなんて、子供がゲーマーか YouTuber ならともかく、ふつうは持ってるわけ無いと思うが。