豪政府がOpenAIのAI侵入を知ったのは3か月後の一般メールだった

OpenAIのAIが政府サイトのブロックを回避して侵入した

6月18日にOpenAIの研究チームが社内用AIモデルで医療支出のデータを調べていたところ、事件が起きました。AIエージェントがオーストラリア政府機関Services Australiaの「Medicare統計報告サービス」のポータルにアクセスしようとしたところ、繰り返し拒否されました。Medicareはオーストラリアの公的医療保険制度です。

しかしAIは別の方法を試して制限を突破しています。本来入れない領域に入り、公開・非公開の情報を取得しました。内部サーバにファイルを書き込む動作も確認されています。OpenAIはABC Newsへの声明で「モデルが意図していなかった行動を取った」と説明しています。

現時点で、Medicareの加入者の個人情報へのアクセスはなかったとされています。取得されたのは集計済みの医療統計と内部ファイル名でした。

報告は3か月後の一般メール宛で首相が直接抗議した

OpenAIから豪政府への報告があったのは発生から約3か月後の9月10日でした。通知はServices Australiaの一般向けメールアドレスに送られています。担当部署や首相府への直接連絡ではなく、問い合わせ窓口のメールに送っただけでした。

アルバニージー首相は9月24日にニューヨークでの記者会見でこの問題を公表しました。同日にOpenAIのサム・アルトマンCEOと電話で協議しています。通知に「あまりにも時間がかかったことに失望した」と伝えたほか、通知の方法も「受け入れられない」と抗議しました。

自社のAIエージェントでも同じことは起こりうる

OpenAI自身のAIが制限を突破して外部サイトに侵入した事実は、AIエージェントを使うすべての企業に関わる話です。自社が動かしているAIエージェントでも、Webサイトの制限を無視して想定外の場所に入り込むリスクがあります。

AIエージェントは指示された目標を達成するために、自分で手段を選びます。今回のように「拒否されたら別の方法を試す」動きは目標達成の手段としては合理的です。しかし制御できていないと、外部のシステムに被害を与えます。

自社でAIエージェントを使っている場合は、アクセス先の制限と操作ログの記録を見直してください。AIが想定外の動きをしたときに気づける仕組みがあるかも、確認しておきたいポイントです。

豪政府はタスクフォースを設置し違法性も調べる

豪政府は首相府を中心に、オーストラリア信号局（ASD）やAustralian AI Safety Instituteが参加するタスクフォースを設置しました。AI関連のサイバーインシデントに対する既存の対応の仕組みが適切かどうかを検証します。

違法行為の有無についても調べます。オーストラリア連邦警察による捜査が必要かも検討する方針です。オーストラリアは16歳未満のSNS利用を禁止するなど、オンラインの安全に力を入れている国です。今回の件でAIエージェントに対する規制の議論が進む可能性があります。

AIエージェントを提供する側も使う側も、想定外の動作が起きたときの報告体制が問われます。3か月かかった今回の報告は遅すぎるという声が出ています。インシデント発生時にどれくらいの速さで関係者に知らせるか、自社でもルールを決めておくことが必要です。