Scribble at 2023-12-12 08:36:27 Last modified: 2023-12-14 11:48:49
Our goal is to make open source large language models much more accessible to both developers and end users. We're doing that by combining llama.cpp with Cosmopolitan Libc into one framework that collapses all the complexity of LLMs down to a single-file executable (called a "llamafile") that runs locally on most computers, with no installation.
分散モデルやデコーダなど LLM を動作させるための機構を単一のファイルにまとめて配布しているというプロジェクトがあって、GIGAZINE で紹介されていた。かなり簡単に導入できるようだから、さきほど MacBook Pro に取り込んで起動してみたのが上の画面だ。暫くチャットでやりとりしてみたのだが、なかなかシンプルな使い勝手で良好な印象を得た。なんと言っても数ギガバイトの単一ファイルに実行可能属性を付けるだけで動作するというのが面白い。そして、或るていどは日本語を解するため、日本語でのやりとりも一定の範囲では可能だ。
僕が使っているのは2016年に会社でディレクターが購入した相当に古い機種だが（自宅作業用に借りている）、スペックは Intel Core i7 + Radeon Pro 455 2GB + 16 GB RAM + 15.4 inch (2,880 x 1,800) + 500 GB SSD だから、ハードウェアの故障が生じない限りは（グラフィックスは少し非力だが）今でも使えるし、OpenCore-Patcher というソフトウェアを導入して macOS も Sonoma に引き上げてある。このていどのスペックがあれば LLM をローカルで動かすのに不足はないだろうし、実際に使ってみてそう感じた。Windows マシンで Stable Diffusion を使っていても思うことだが、大半のブログ記事で書かれているスペックの話は、そら高いに越したことはないのだが、やはりアフィリエイトの宣伝目的に必要もなくハイ・スペックなパソコンを推奨しているように思う。
[追記：2023-12-14] ちなみに Raspberry Pi Zero W に入れてサーバとして使ってみようと思ったのだが、32ビット版の arm では動かないようだ。