Scribble at 2024-08-24 19:21:08 Last modified: 2024-08-24 19:22:27

ローカルで LLMs を動かすというのは、やはり素人にとっては敷居の高いことだ。まず何よりも、まともに動くスペックのマシンを持っていない人が多いという理由もあるし、それに手順として面倒臭いという理由もある。僕らのように、なんならソース・コードからコンパイルしてソフトウェアをインストールして使うような経験を積んでいる者にとっては、素人や未熟な利用者にとっての煩わしさや不安というものは、やはり適切に想像して対応しなくてはいけない。当サイトにアクセスしている方々の多くにとっては問題なくても、企業で研修などを実施している立場や経験から言って、そういう想像が欠けていると表面的な説明や受け答えに終わってしまい、それなりにマネジメントとしては上滑りなリスクが蓄積してしまう。かといって、それを確かめたり改めさせるために、プライバシーマークの監査でもよく言われるが頻繁にテストを実施するというのは、僕は awareness にとっては逆効果だと思っている。しょせんは紙の上でものごとを確認している小役人にすぎないプライバシーマークの審査員にはわからないと思うが、現実のマネジメントにおいては、そういう施策は勉強で応用力がない子を育ててしまう育て方と同じ愚策であり、試験対策の範囲でしかものごとを学んだり考えなくなる人を作り出してしまう。子供はそれでいいが、ベンチャーの社員はそういう姿勢では困る。

で、余談はともかくとして、こういうローカルで動かす LLMs が簡単に使えると業務での応用についても説明しやすくなる。なぜなら、やはりオンラインのサービスで生成 AI を使うとなると、入力できる情報が限られてくるからだ。当たり前だが、顧客や取引先の情報や個人情報や会社の機密情報は入力できないわけなので、喫茶店で友人と茶飲み話したり会議室で取引先の営業と一般論を語りあうようなことでは、はっきり言って仕事の役には立たない。仕事の役に立てるために生成 AI を解説するなら、入力データを厳しく制限せよと言いながらオンラインのサービスを使わせるか、あるいは入力データを制限しないまま（もちろん個人情報の場合は、情報を本人から取得する際に同意された利用目的を超えるような使い方はできないので、生成 AI に入力して何かを処理することも事前に同意してもらう必要がある）利用方法だけを解説するしかなく、後者の方がリスクは少ない。

そうすると、LM Studio のようにグラフィック・カードがないノート・パソコンでも動く（その「動く」というのがどのていどのパフォーマンスなのかは分からないが）環境を簡単に構築できるシステムは、非常にありがたい。これは、チャンスがあれば実際に試してみよう。ただ、いまのは Windows の64ビット版がないし、Mac も Intel Mac に対応していないので、僕の環境では使えない（32ビット版はエミュレータ・モードで使おうと思えば使えるが、いまさらそんなの困るよなぁ）。