Scribble at 2024-05-26 00:03:13 Last modified: 2024-05-26 00:29:09
これは、Raspberry Pi Pico Wに最新のGPT-4が搭載されていることを示しています。
なにが「示しています」なんだろうなぁ。本人がちゃんと API を使ってるって言ってるのに、それを無視して長文の解説を書いてインプ稼ぎかよ…
あのね、これ一昨年あたりから Hacker News でも、LLMs を搭載したの実装したのと叫んでは新プロジェクトを宣伝するやつがたくさん出てきて、そのたびに「おまえ、これ API で生成 AI とのやりとりを表示してるフロントエンドにすぎないじゃないか」というツッコミを何度も浴びせられてるんだよね。英語で情報を読んでる人間なら、最初に Pico W を使ったと紹介してる人がミスリードの意図をもっていないとしても、この手の話は既に見飽きてるんだよな。これは、LLM を Raspberry Pi に「搭載した」事例なんかではない。最初にツイートした当人が GPT-4o を「使える」と書いているのを、ちゃんと正確に理解しよう。
ちなみにだけど、ChatGPT に限らず、僕らが報道で知ってるほぼすべての生成 AI の分散モデルや PyTorch なんかは、Raspberry Pi のしょぼいローカル環境では実行不能だと思ったほうがいい。Raspberry Pi にローカルで LLMs を処理できるスペックなんて最初から無いんだよ。ゲーム用のデスクトップ・コンピュータですら快適なレスポンスで gpt4all みたいなローカル実装を動かせないんだから。実際に調べてみても、Pico W だけでなく、Raspberry Pi で GPT を動かすなんてタイトルのページは、ぜんぶ MicroPython で API 接続するようなフロントエンドの話しかないんだよな。逆に、Raspberry Pi の環境なんかで動く LLM の実装は使い物にならないと思う