Scribble at 2025-08-19 19:55:15 Last modified: unmodified

つまり、

・LLM は、欠けている脈絡を見つけるのが苦手である。

・LLM は、与えられた状況で得た情報が新しいほど正しいと錯覚する。

・LLM は、あり得ないことを詳しく説明しようとする幻覚を頻繁に起こす。

というのが LLM 単独の処理だけでソフトウェアを開発できない理由だという。でも、いつもこの手の話題について思うのは、それがいまの技術で実現している性能ではという但し書きのついた議論なのかどうかが、実ははっきりしないということだ。将来の技術的な進展や、アーキテクチャなり理論の進展によって、そういう課題が解決される見込みまで否定しているのかどうかが、こういう批評を書いている当人にもよく分かっていないという場合が多い。

その理由としてよくあるのは、こういう議論をしているのが、得てして叩き上げの野良プログラマだったり、コンピュータ・サイエンスの数学的な素養を欠いたベンチャーの経営者やエンジニアだったりするので、そもそも原理的な観点で議論する数学的な知識を欠いていることがあるからだ。

たとえば、AI が脈絡を見つけられないという問題は、正直なところコンピュータ・サイエンスの学部生でも「フレーム問題」のことだと分かるはずだ。このように、半世紀以上も前に AI の研究者が理解して議論してきた原理的な困難を、いまさら新発見のように指摘されても困るのだ。そして、実は二つ目の問題も　LLM なり AI が脈絡を適切に扱えないからこそ情報をオーバーライドする他に原則がないという事情で起きるし、最後の問題も隠れた脈絡や前提という常識をわきまえていれば出てこないはずの「ありえない説明」をしてしまうから起きるのだとも言える。要するに、初等レベルのコンピュータ・サイエンスなり機械学習を（真面目に）学んだ人間なら知っているはずの制約を、いまになって議論すること自体、アメリカのソフトウェア・エンジニアや IT 技術者を育てると称する STEM 教育が、結局は無知無教養な IT ブルーカラーを量産する育成プログラムでしかない証拠だろう。