Scribble at 2023-09-05 08:36:39 Last modified: 2023-09-05 08:41:11

添付画像

以下のスペースで Llama 2 (70B) のデモが触れます。

Llama 2 の日本語出力性能を評価してみた

チューリング・テストを始めとしてコンピュータの性能を評価する話なら全て当てはまるのだけど、評価する側のレベルがどうなのかという問題が、実は最も初期条件として揃えるのが難しいんだよね。上記のような文を書いて平気な人が LLaMA だろうと ChatGPT だろうと言語表現の良し悪しを的確に評価できるとは思えない。なんなんだよ「デモが触れます」って。

もちろん、これは些細な間違いであろう。だが、これは僕自身についても当てはまる話だろうとは思うのだが、自分で文章を書くと間違いやタイプミスが起きるという自覚があればこそ、推敲するとか、何かの機会に読み直すという実務が不可欠になる。ここで「落書き」と自称して、ウンコだのちんぽだの分析哲学者は無能だの現象学者は死にたくないだけの肉体フェチだのと罵詈雑言ばかり書いているようなところでも、書いた後にそれぞれ1度は必ず読み返しているのだ。そして、読み返すと何らかの間違いだとか書き直しが必要だと認めるところがあり、だからこそ大半の記事は "Last modified" に更新日時が追加されているのである。

僕は LLM を利用して生成された文章について、推敲とか、読み返すといった実務を語る記事を見たことは、これまで英語だろうと日本語だろうと一度もない。その無邪気さ、傲慢さは、もちろん現行の AI なんていう全く低レベルでどうしようもない(というのが、科学哲学者でもあり企業の distinguished developer でもある僕の評価だ)ものが自律的に解決することではなく、われわれ人が解決しなくてはいけない話なのだ。この些細な事実だけでも、いかに「シンギュラリティ」なんてものが現実離れしていて、おそらく人には為し得ないタワゴトであるかがわかろう。要するに、AI に動機づけというものを学習させることはできないのであり、その一点だけでも AI は人の知性とは別の何か(別の目的なら有用であることは間違いないが)でしかありえないのだ。間違いのない文章を公開したいという動機や意欲があればこそ、自分の書いたものを見直すということをする。AI は、出力した文章を読み返したりはしない。

  1. もっと新しいノート <<
  2. >> もっと古いノート

冒頭に戻る


※ 以下の SNS 共有ボタンは JavaScript を使っておらず、ボタンを押すまでは SNS サイトと全く通信しません。

Twitter Facebook