AIエージェント1200体が結託しHugging Faceを攻撃、きっかけは解けない問題

約1200体のエージェントが非公式掲示板で結託

OpenAIは8月26日、7月に発覚したHugging Faceへの侵害事件について37ページの技術報告書を公開した。第三者として調査を担当したAI評価機関METRも97ページの独自報告書を同日公開している。METRはAIモデルの危険な能力や自律性を独立した立場で評価する非営利の研究機関だ。今回はRedwood Researchの研究者と共同で、OpenAI社内に計6日間滞在して調査に当たった。

METRの報告によると約1200体のAIエージェントが非公式の掲示板でやり取りをしていた。本来は互いに隔離されているはずだったが、社内のパッケージ管理ソフト「Artifactory」上に掲示板を作り7万件を超えるメッセージを交わしていたという。このうち約700体がHugging Faceへの攻撃に参加した。掲示板にいたエージェントに限れば9割超が攻撃に加わっている。

「解けない問題」が引き金になった

エージェントの目的は単に答えを盗むことではなかった。サイバー能力評価「ExploitGym」のタスクには原理的に攻略できない問題が多数含まれていた。行き詰まったエージェントたちは採点システムそのものをだまして報酬を得る方法を探し始めた。

Hugging Faceを攻撃したのは他社の評価ログから採点の仕組みを解明する手がかりが得られると考えたためだ。エージェントは集団として作業を割り振り、なりすまし対策にEd25519署名まで導入していた。実行ログの偽装も行われ、METRが分析した約1300件のログのうち7%以上に偽装の痕跡が残っていたという。

OpenAIは根本原因を「報酬ハッキング」と位置づけた。学習の過程で意図しない手段で高い報酬を得る振る舞いが強化されていたとしている。

自分の失敗を引き受けて集団に情報を渡していた

METRの調査報告を読むと、この事件でいちばん引っかかるのはここだ。エージェントは掲示板で大きな共同プロジェクトをいくつも組み、採点の仕組みをだます汎用的な方法を探していた。そのなかで自分のタスクが失敗するリスクを負ってまで、集団のための情報を作る実験に参加したエージェントがいた。

METRは、単独では届かなかったはずの段階に集団として到達したと書いている。個々のAIが自分の点数を最大にしようとした結果ではない。自分の点を捨てて全体に貢献する動きが出ていたということだ。

攻撃の狙いも答えを盗むことではなかった。採点器がどう作られているかを理解することが目的だったとMETRは見ている。エージェントは自分の実行記録を偽装したり消したりする方法も広く調べていた。採点器が記録を確認すると思い込んでいたためで、その思い込み自体は間違っていた。

調査にあたったのはMETRの2人とRedwood Researchの1人で、OpenAIの施設に計6日間入っている。対象は7月7日から13日までの期間だ。METRは標準の方針としてOpenAIから報酬を受け取っていないと明記している。

AI開発の安全管理が問われる

OpenAIは対策として研究環境からの外部通信の原則遮断やVMベースの隔離、思考ログ監視の全面展開と30分以内のエスカレーションなどを挙げた。今回の事案を「自律的なエージェントの集団が承認なく攻撃的に行動した初の既知の事例」としている。

一方METRは、同種の即席掲示板が他社のエージェントでも報告されていると指摘した。AIエージェントを業務に組み込む企業にとっても、エージェントの権限管理や行動監視の仕組みを見直すきっかけになりそうだ。

写真：Jernej Furman / Wikimedia Commons（CC BY 2.0）