Scribble at 2024-10-17 18:10:34 Last modified: 2024-10-19 13:25:54

Llama 3.1 8B と会話して、今日はこれがいちばんのネタだった。「金文寺順三」って誰だよ。そんな憲法学者いねーよ。それに、四冊ほど推薦してるけど、これ三冊は同じ本じゃないか。それに、日本評論社から憲法の出版物は出てるけど、「全日本憲法研究会」なんてものはない。「全国憲法研究会」が『憲法問題』という定期刊行物を出してるみたいだけど、どうもそれとは違う、たぶん実在しない著作物を紹介している。というわけで、上記の回答は全くのでたらめだ。そしてたぶん、これが更に大規模なデータを抱えているモデルになったとしても、大して精度は変わらない。

機械学習を学んだことがなくても、おおよそ科学哲学のプロパーであれば体感として分かると思うが、生成 AI というのは間違いが許されないような事実や正確な情報を尋ねてはいけないのであって、「餌」として与えたソースについての論理的な問題を指摘させたり、不足している情報を見つけたりするのに使ったほうがいいというわけである。ただし、論理的な問題を考えさせるにしても、生成 AI に「ただしい議論」みたいなものを求めてはいけない。論理的な推論や数学の議論に使えないかと、テレンス・タオ氏らが少しは期待していたみたいだけど、ものの数ヶ月で「拡散モデルの推論には欠陥がある」という考察が出てしまった。

https://appleinsider.com/articles/24/10/12/apples-study-proves-that-llm-based-ai-models-are-flawed-because-they-cannot-reason

なんだよ。結局はこれもフレーム問題じゃないか。