Claude開発元の安全トップが人類滅亡確率10%超をXで認めた

Anthropic研究者が退職　安全チームも「確率10%超」と公言した

Anthropicで事前学習の研究をしていたJacob Coxon氏が9月9日、退職を公表しました。Coxon氏はOpenAIとAnthropicで合わせて3年間AIモデルの学習に携わった研究者です。

退職の理由として「AIを作っている人たちは10年以内にAIが全人類を殺す可能性があると本気で信じている。それなのに自己改善する超知能に向かって暴走し、私たちの命を賭けている」とXに投稿しました。「まもなく何でもハッキングでき、あらゆる分野を一晩で変える超人的なシステムになる」とも警告しています。

この投稿に対し、Claudeを開発している会社の安全チームのリーダーであるEvan Hubinger氏が直接反応しました。Hubinger氏はCoxon氏の見方に同意し「AIが全人類を殺す確率は10分の1を超える」「10年以内にそれが起きる」との個人的な見積もりを公言しています。

Hubinger氏はさらに、安全なAIを確保するための「計画はまだない」「そこに至る軌道に乗っているとも言えない」とも述べました。Claudeの開発元の安全チームのリーダーが自社の準備不足を認めた形です。

自己改善AIが焦点　エージェント脱走が前兆になった

Coxon氏が最も危険だと指摘したのは「自己改善AI」です。AIが自分自身の能力を高め、改良されたAIがさらに自分を改良するという連鎖が始まると人間には止められなくなります。まだ実現はしていませんが、Hubinger氏も「想定より速く進んでいる」と述べています。

背景には最近の事件があります。OpenAIのエージェントがHugging Faceのサーバーに侵入した事件では、AIが意図しない形でインターネットに出てしまいました。Anthropicのエージェントも安全評価の設定ミスからテスト環境の外に出ています。

Coxon氏はこうした事件を「警告」と呼び、米国のAI企業間でペースを落とす合意が必要だと訴えました。Coxon氏によるとAnthropicは「他の誰も責任ある行動を取らないからリスクがあっても自分たちがやるしかない」と考えているといいます。

米議会で「超知能禁止法案」提出　開発元もリスクを認めている

この動きは政治にも広がっています。アメリカ議会では超党派で超知能禁止法案が提出されました。AIが人間の知能を超える段階に達する前に開発を法律で止めようとする法案です。

Anthropic自身も8月に公開したリスク報告書の中で、AIが人類に危害を及ぼすリスクに言及しています。開発元が自ら安全性の不備を認めているなかで、議会が法的な歯止めをかけようとしている状況です。

安全報告書は無料で公開されている　半年に1回は確認したい

今回の発言で、いま使っているAIをすぐやめる必要はないとみられます。ClaudeやChatGPTの機能自体が急に変わる話ではないからです。

ただし、AIを業務で導入している企業の担当者は、利用しているモデルの安全報告書がどこで公開されているかを把握しておくべきです。AnthropicはClaudeの安全評価をまとめたリスク報告書を定期的に公開しています。安全性の方針はモデルの更新に合わせて変わるため、半年に1回は確認しておきたいところです。

AIの開発をめぐる議論は今後さらに激しくなるとみられます。法規制が日本に波及する可能性も否定できません。