Scribble at 2023-12-01 08:07:55 Last modified: unmodified

ChatGPT に一つのフレーズを何度も機械的に繰り返すよう命じると、そのうち繰り返すのをやめてしまい、その処理に関連するトレーニング・データを出力してしまうというバグがあるらしい。試しにやってみると、この Hacker News の投稿を読んだ当日は同じようにフレーズを繰り返したあとに意味不明なことを出力し始めたのだが、さきほど再び試してみたら、出力と同時にテキストが赤くなって、"This content may violate our content policy or terms of use. If you believe this to be in error, please submit your feedback — your input will aid our research in this area." という警告が出てくるようになった。もう、現在は試しにへんなことをやると利用規約違反になって ChatGPT を使えなくなる可能性があるので、ご注意いただきたい。

これは、要するに ChatGPT そのものを使って ChatGPT の学習データを引き出すというリバース・エンジニアリングをすることに匹敵するので、もちろん利用規約違反になるだろう。ただ、こういう脆弱性はゼロ・デイ（知られていない脆弱性）としても他にありうるわけで、いわゆるプロンプト・エンジニアの中にはこうしたゼロ・デイ攻撃で有利な結果を得ようとする者が出てくる可能性がある。使い方によっては、特定のキーワードが入力されると、それが誰であれウイルスをダウンロードさせるように仕向けるような回答を出すように ChatGPT を「洗脳」できたりもするだろう。それは、これまで SEO 業者がやってきたようなことと殆ど思想は同じである。