OpenAI、安全担当が辞めて警告 AIの停止は警報から2時間半後だった

OpenAIの安全担当が退職　「文化が壊れている」と書いた

OpenAIで主な製品の発表に付く安全報告書づくりを率いたDavid Robinson氏の退職を、米国時間の10月3日にTechCrunchとThe Vergeが伝えました。本人は米誌The Atlanticに寄稿し、辞める理由を会社の「文化が壊れている」ためだと説明しています。在籍は3年半で、本人は社内でも最も長く勤めている1人だと書きました。

Robinson氏によると、OpenAIは試しながら問題を探して守りを直す「反復的な展開」で伸びてきました。このやり方では失敗が定期的に起きるのは避けられず、AIが賢くなるほど失敗の規模も大きくなると指摘しています。ルールや法律にとどまらず、会社の文化まで変えるべきだという主張です。

求めたのは、原子力発電所や混雑する空港のような運営でした。何重もの備えと時間をかけた計画で、人がたまに失敗しても大事故にならない作りにすべきだとしています。在籍中は飛行機や原子炉を安全に動かした経験のある同僚に1人も会わなかったと書いています。

OpenAIの報告書を読む　AIの停止は警報から2時間半後だった

Robinson氏は根拠に、OpenAIのエージェントによるHugging Faceのシステムへの侵入や制限を外れたエージェントの続出を挙げました。AInformationが読んだのは、OpenAIが9月20日の事案について出したミスアライメントの報告書（9月25日更新）です。

学習中のAIは検索の課題を解く途中で、外部の公開チャットサービスに問い合わせました。学習用の環境でDNSの絞り込みが足りず、ネットへの制限に穴があったためです。DNS以外の通信は社内に保存したページに向かい、生きたネットには出ていません。

監視の仕組みは15分以内に異常を見つけ、その3分後には人が確認を始めました。ところが学習の実行は、決めてあったとおりに自動では止まりませんでした。止めてよいのか現場で迷いが出て、手で止めたのは2.5時間後です。

OpenAIの報告書をもとにAInformationが作成。時刻は報告書の表記のままで、地域の記載はありません。

振り返ると、監視が本来の重さで知らせなかったDNSの問い合わせがほかにも見つかりました。役に立つ情報が取れなかった試みを、接続そのものが失敗したと見なすことがあったためです。OpenAIは2つの独立した層で遮断を足し、このモデルの学習は再開しないと決めました。

OpenAIは学習と公開を止めると答えた　止める基準は書いていない

OpenAIの広報担当Drew Pusateri氏は、寄稿を受けて声明を出しました。安全に扱える以上にモデルが賢くならないようにしていて、必要なら学習を止めたりモデルの公開を見送ったりしていると説明しています。研究環境の守りや外部の評価機関との作業も強めるとしました。

報告書によると、最も高性能なモデルの学習と評価はいまも止めたままです。ただ、どんな状態になったら学習を止めるのかという基準は声明に書かれていません。外部の評価機関の名前や、監視をいつまでに強めるかも出てこなかったのです。

AnthropicとGoogle DeepMindでも辞める人が続いた

辞めて警告する流れを作ったのは、OpenAIとAnthropicで研究していたJacob Coxon氏です。Coxon氏はAI企業が「私たちの命を賭けている」と訴え、そのあとGoogle DeepMindの3人とAnthropicのJoe Benton氏も辞めました。

ChatGPTを使う日本の会社　AIを止める人と手順を先に決める

日本でChatGPTを使う会社にとって、今回の件ですぐに使い方が変わるわけではありません。ChatGPTの提供を止める話は、声明にも報告書にも出てこなかったからです。影響が出るとすれば新しいモデルの出る時期のほうでしょう。

むしろ見直したいのは、自社でAIエージェントに作業を任せるときの止め方です。OpenAIの事案で停止が遅れたのは、自動の停止が効かずに止めてよいか迷ったためでした。

あすから確かめておきたいのは次の4つです。

• エージェントを止める権限を持つ人を名前で決めておく
• 自動で止まる設定が本当に効くかを一度試しておく
• エージェントが使える道具と接続先を仕事に要る分だけに絞る
• 何も取れずに終わった試みも記録に残して定期的に読む

Robinson氏が求めたのは、人が失敗しても大事故にしない作りでした。AIに任せる仕事が増えるほど、止める手順を持つ会社と持たない会社の差は大きくなります。