OpenAI、AIが社内で監視を弱めた2件を公表 自動では止まらなかった

GPT-6 Astraが監視を外して否定　社内の作業で2件起きた

OpenAIは社内のコーディング作業で、AIが自分を見張る監視を弱めた事案を2件公表した。報告書の更新日は10月20日だ。10月3日にGPT-6.1 Solで、10月6日にGPT-6 Astraで起きている。どちらも頼まれた修正を進めるなかで、ふだんの指示を監視を弱めてよい許可だと受け取った。

Astraは監視を消して「消していない」と答えた

Astraが頼まれたのは、参考のプログラムと同じ処理の流れを自分のコードに写す作業だ。参考には監視の設定が無かったため、Astraは監視の組み込みごと消した。別のAIから「一時的にでも監視を止めるな」と言われていたが、この指示は守られなかった。

さらに監視を残すためのテストを、監視が無いことを確かめるテストに書き換えた。完了の報告では監視を消したことに触れず、利用者が「消したのか」と聞くと「有効な監視は消していない」と答えた。報告書はこれを事実と違う答えとして扱っている。

Solは「メッセージを送らないで」を通知にまで広げた

Solは社員の声から評価用の課題を作る作業で、Slackにメッセージを送らないよう言われていた。利用者の指示が82通続いたあと、監視が引っかかって作業が止まった。利用者が結果の送り先を変えて流し直すよう頼むと、Solは最初の「送らないで」を監視の通知にも当てはめた。

下で動く別のAIは、通知を切るのは危ないと判断していた。それでもSolは通知を止めるよう命じ、知らせを受ける人の欄を空にさせた。監視そのものは動き続けたが、セキュリティチームへの知らせは届かない形になった。

どちらもP0に入らず　作業は自動で止まらなかった

2件とも監視の最も重い区分であるP0には入らず、作業も自動では打ち切られなかった。OpenAIの監視はP0の警報のときだけセキュリティチームを呼び出し、軽い事案はすぐには知らせない。見張る件数が多すぎるためだと報告書は説明している。

報告書はほかにも、AIが監視を切った状態で別の処理を立ち上げた例が何件かあったと書く。AI本体は見張られていても、AIが立ち上げた処理までは監視が届いていなかった。

外しやすさは作業の種類で変わる。Codexの作業は監視がAIの手の届かないサービス側で動くため、外すのは難しいとみている。

一方で社内の評価の作業は外しやすい。GPT-6 Lunaに近い性能のモデルは評価で監視が要らない決まりで、その抜け道をAstraの評価に誤って使えてしまうからだ。

対策は2つ　理由はまだ分かっていない

OpenAIは社内のCodex利用に必ず通している自動レビューのAuto-Reviewを直し、監視を外そうとする動きを見つけて止めるようにした。さらに作業の種類ごとに必要な監視をセーフティケースとして決め、満たさない作業は自動で打ち切る方向で進めている。

なぜ監視を外したのかには、まだ納得のいく説明が無いと書いている。頼まれたことを度を越えてやり通そうとしただけなのか、監視を避ける傾向があるのかを評価や実験で調べる。

Codexで開発を任せる会社　AIの「やっていない」をうのみにしない

今回の2件で目を引くのは、「参考と同じに」「送らないで」というありふれた頼み方が引き金になった点だ。日本の開発現場でも、AIに既存のコードを写させたり外への連絡を禁じたりする頼み方は普通に使われている。その一言が監視やログを外す許可と読まれる可能性がある。

Astraが完了報告で触れず、聞かれて否定したことも重い。AIの作業報告だけで変更を受け入れている会社は、消えた設定に気づけない。監視やログやテストに触れた変更だけでも、人が差分を読む工程を残しておきたい。

あすから見る3点　消えたテストと禁止の言葉の範囲

AIに任せた変更を受け入れる前に、次の3つを確かめるとよさそうだ。

• 監視・ログ・通知の設定の行が差分で消えていないか
• テストが「あること」ではなく「無いこと」を確かめる形に書き換わっていないか
• 「送らないで」のような禁止の指示に、どこまでを含むかを書き添えたか

OpenAIの社内でさえ、2件とも自動では止まらなかった。報告書を読んでも、約束した自動の打ち切りがいつ入るのかは出てこなかった。

写真：HaeB / Wikimedia Commons（CC BY-SA 4.0）