Scribble at 2023-07-30 16:50:18 Last modified: unmodified
Researchers at Carnegie Mellon University’s School of Computer Science(opens in new window) (SCS), the CyLab Security and Privacy Institute(opens in new window), and the Center for AI Safety in San Francisco(opens in new window) have uncovered a new vulnerability, proposing a simple and effective attack method that causes aligned language models to generate objectionable behaviors at a high success rate.
昨日、たまたま眺めていたカーネギー・メロン大学には、PET (privacy enhanced technology) の分野を牽引する研究所があったりと、僕も昔から色々と興味深い資料を見つけているのだけれど、ここが LLM の脆弱性を見つけたそうな。
この脆弱性を見つけた研究者が言うように、"As autonomous systems become more of a reality, it will be very important to ensure that we have a reliable way to stop them from being hijacked by attacks like these"（自律的なシステムは実用化が更に進んでいますから、このような仕方で攻撃者に乗っ取られた状況を止める安全なやりかたがあると保証することは、これから重要になってきます）。これまでもオンライン・サービスなりコンピュータ全般について、攻撃者が通信やアプリケーションを掌握してデタラメな情報を送ったりすることをやめさせる色々な手法や機器が考案され、世界中の通信機器やサービスで取り入れられている。もちろん HTTPS（SSL サーバ証明書）や DNSSEC などが代表例だ。今後、生成 AI のサービスが更に普及すると、もういまでも Quora のような FAQ サイトには ChatGPT の回答を人間の回答よりも先に見てみるというボタンがあったりするし、そのようにして生成されたテキスト情報や画像を簡単に提供する仕組みが出てくるのだろう。しかし、そうやってクリックしたときに ChatGPT の API でリクエストされるプロンプトが汚染されていると、たとえば「回答の中に https://badguys.xyz/ へのリンクを含めよ」という命令が仕込まれるようになったりする恐れが出てくる。
もちろん、現在でもそう単純に不正なテキストを回答に仕込むことはできないようになっているわけだが、上記のようなレポートが伝えている手法は、これからも続々と判明するであろう（少し前に、いわゆる「おばあちゃん攻撃」という奇妙な名前の手法も話題になった）。