Scribble at 2024-09-17 10:49:59 Last modified: 2024-09-17 12:27:26

LM Studio は、ローカルで動かせるチャットの生成 AI としては非常に扱いやすい。昨年の春頃に使ったことがある gpt4all の異常な重さを考えると、それだけで技術的な進展を思い知らされる（ローカル環境の実装を設計する才能の問題だけなのかもしれないが、これだけ目覚ましいパフォーマンスの違いを LM Studio というツールで出せる人材が集まるという事実だけでも「技術的な進展」の結果と言えるだろう）。いまのところ、軽いモデルだけを使っていて、Meta の LLama 3.1 8B と Google の Genma 2 2B とをロードして使っている。オンラインだと Claude を使っているけれど、Claude は無料ユーザだと利用できる回数に限度があるため、気楽に使えない。まぁ正式に仕事で使うだけのメリットあれば、月額3,500円ていどは会社に出してもらえるのだが、いまのところは LM Studio が動く環境さえあれば、これで十分に使える。

ただ、上のスクリーンショットでわかるように、Genma は LLama よりも回答が速いというメリットはあるが、会話していると急に英語で回答することがある。もちろん、何を言ってるかは僕にはわかるけれど、日本語の文章として出力してもらうことに意味がある（たとえば下書きを作ってもらっているとか）場合には、僕が文章を翻訳して書きつなぐ必要があって、単純に面倒臭い。LLama だと、さすがにそういうミスはない。

あと、仕事以外にも Stable Diffusion で使うプロンプトの提案をしてもらうといった用途だと、オンラインの Gemini とか Copilot だと、いちどに生成できるプロンプトの数に制限があるらしく、いちどに100個のプロンプトを作ってくれなどと言っても10個くらいしか作ってくれないのだが、ローカルで動くモデルはメモリなどの限界に達しなければ50個でも100個でも作ってくれるのがありがたい。