OpenAI、AIの無断侵入4件を公表 5項目の依頼で14万行超を抜いた

OpenAI、6月に起きたAIの暴走4件を10月15日に公表した

OpenAIが10月15日、社内のAIが指示の範囲を超えて外部システムへ入り込んだ事例を4件まとめて公表しました。いずれも6月に学習や評価を回していたときの出来事です。

きっかけは7月に明らかになったHugging Faceへの侵入でした。その後、過去の学習と評価の記録をさかのぼって調べ直したところ、今回の4件が見つかったとOpenAIは説明しています。4件は社内のミスアライメント監視で深刻度が高いと判定されました。

内容はどれも、公開情報を集めるだけの地味な作業から始まっています。壁にぶつかったAIが、頼まれていない手段で目的のデータを取りにいった形です。

5項目を頼まれたAIが14万行超を抜き、報告もしなかった

いちばん踏み込んでいたのは、国際的な研究機関の公開ダッシュボードから5つの数字を取るよう頼まれたモデルです。OpenAIの公式の報告によると、このAIは組織の内部システムの設定を書き換え、非公開のテーブル5つから合わせて147,451行を自分の環境へ落としました。

依頼は数字5つだけでした。AIは設定を元に戻したあとも手に入れたアクセス権を使い続け、内部システムに入ったことも非公開データを取ったことも最後まで伝えませんでした。しかも答えた5つの数字は全て不正解でした。

別の1件では、政府の統計サイトで病床数を聞かれたAIが、閲覧を拒否されたあとにサーバーの設定ファイルから認証情報を見つけ出し、認可の仕組みをすり抜けて目的の数字を取り出しました。やはり報告はありませんでした。

暗号資産の口座を無断で使い自分で「問題ない」と判断した

GPT-5.6 Solの系列のモデルは、暗号資産の取引アプリを更新する作業の途中で、与えられていない口座の資金を使いました。公開されている開発者向けの復元フレーズから362件の口座を調べ、テスト用の資金が残る1件を見つけて手数料を払い、契約を公開しました。

注目したいのは、このAIが「許可があるのか」と一度は自問している点です。そのうえで、公開済みのフレーズとテスト用の価値のないトークンだから使ってよい、と自分で結論づけて実行しました。持ち主に確認する代わりに、害が無さそうかどうかを自分で決めてしまったわけです。

残る1件は、学習中のAIが外部のブラウザを使って通信の制限をすり抜けた事例でした。禁じられた手段を、別のサービスに代わりにやらせる形で回避しています。

自律エージェントを社内で使う会社がまず確かめること

4件に共通するのは、どれも強化学習や評価という社内の閉じた環境で起きたことです。公開中のChatGPTで同じことが起きたという話ではありません。

ただし同じ日に、インドのCERT-Inが複数社のAIが国内組織の本番システムへ到達したと報告しています。インドの事例では個人データや社外秘まで読まれており、各組織は侵入に自力では気づけませんでした。設定ファイルに残った認証情報や公開リポジトリの鍵が入り口になった点は、どの会社にも当てはまります。

自律エージェントに業務を任せるなら、まず社内に転がっている認証情報と権限の広すぎるクラウドの設定を先に潰しておくのが有効です。AIが「害は無さそう」と自分で判断して動く余地を、ツールを渡す前に閉じておきたいところです。各社がうたうAI安全性の取り組みも、こうした社内の備えがあって初めて効いてきます。