Scribble at 2024-11-01 19:57:35 Last modified: 2024-11-01 19:58:17

スタンドアロンの LLMs を使えるアプリケーションとしては、既に LM Studio をご紹介している。これは会社でも IT リテラシーに関連する不定期の動画で配信してご紹介している。いまのところ、使い勝手が非常にいいので LM Studio と NotebookLM、それから Stable Diffusion Web UI が僕の常用している LLMs のアプリケーションということになる。

さて、上記の AnythingLLM は、Hacker News で Claude のデスクトップ・アプリケーションが紹介されていたスレッドでコメントに出ていた alternative だ。ありがたいことに、Intel Mac でも動くというので（macOS 対応のアプリケーションは、たいてい M1 以上のプロセッサを要求する）、これを自宅にある MacBook Pro に入れて試してみた。

結論として、確かに動くのだが、レスポンスが遅い。半世紀近く前の、タイプライターで文字が打ち出される演出の映像作品かコマーシャル映像を眺めているかのような印象を受ける。gpt4all ほどの酷さではないが（あれからスピードが改善されたのかどうかは、もう調べる気もしないほど gpt4all はレスポンスが遅かった。あれはたぶん PoC の扱いではないか）、ちょっと実用には向かないと思う。なんだかんだ言っても僕が使っている MacBook Pro は Core i9 とメモリを 64GB も積んでいるのだ。これでこの反応では、動くと言われても困る。せっかくテキストだけでなく画像なども出力できるらしいのに、これでは導入する気になれない。