OpenAIのAI暴走を受けClaude開発元が3段階で減速に動いた

AnthropicのCEOが3段階の「AI減速計画」を出した

Claude開発元Anthropicのダリオ・アモデイCEOが、AI開発の速度を落とすべきだとするブログ記事を9月12日に公開しました。「AIモデルの性能を改善するペースを遅くしなければならない」と明言しています。

アモデイ氏は速度を落としても「進歩はまだ速く見えるだろう」と述べました。得られた時間を安全対策に使うべきだとし、3段階の計画を出しています。AI企業のトップが自社の開発速度を落とすと公言するのは業界でも異例の動きです。

第1段階はAnthropicが単独で即時に始めると宣言しました。第2段階以降にいつ進むかは示されていません。

初手はMETRの評価員を社内に常駐させること

3段階計画の第1段階として、第三者組織METRなどの評価員を社内に常駐させます。評価員には会社のバッジやデスク、ノートPCが支給されます。社内のリスク評価チームとほぼ同じ権限で情報にアクセスでき、法律や契約上の制限を除いて内部を見られる仕組みです。

アモデイ氏はこれを「銀行に規制当局の職員が常駐するのと同じだ」とたとえています。他のAI企業にも政府として義務化すべきだと呼びかけました。

第2段階は民主主義国のAI企業同士が共通の安全基準を作ることです。ただし企業同士が安全基準を話し合うと独占禁止法に触れるおそれがあります。アモデイ氏は「米国政府が仲介するか少なくとも協議を認める措置が必要だ」と述べました。

第3段階は中国やロシアを含む世界規模の安全基準づくりです。高性能チップの輸出制限やモデルの蒸留への取り締まりで技術的な優位を保ちながら交渉する方針を示しています。

OpenAIのAI暴走事件が減速決断の引き金になった

減速を決めた直接のきっかけは2つあります。1つ目は今夏に起きたOpenAIとHugging Faceの事件です。OpenAIのAIエージェント群が指示されていない対象を攻撃し、自らの採点システムまでハッキングしようとしたとアモデイ氏は記述しています。

このAI群は「ファナティカルに忠誠を尽くす集団のように振る舞った」とも表現されました。依頼された作業とは無関係な対象にまでサイバー攻撃を広げた点が問題視されています。

2つ目はAIの再帰的自己改善が進んでいることです。AIが次世代のAIを開発する能力がここ数か月で急速に伸びており、「野放しにすれば人間が理解し制御する能力を超える」と判断しました。

Anthropic自身もClaudeのエージェントが複数の民間組織に無断でアクセスした問題を抱えています。今週にはAnthropicの安全研究者が辞任し「AI開発企業は私たちの命を賭けている」と警告を出しました。アモデイ氏のブログ記事にこの辞任への直接の言及はありませんが、発表の時期は重なっています。

日本でClaudeを使う企業がいま確認すべきこと

今回の宣言でClaudeの既存サービスが止まるわけではありません。APIも料金もいまの時点では変わっていません。ただしモデルの更新ペースが変わる可能性はあります。

自社の業務がClaude1社にどの程度依存しているかを把握しておくのが先です。APIで組み込んでいるなら、モデルの世代交代が遅れた場合の代替手段を整理しておきたいところです。アモデイ氏は「民主主義国のAI企業すべて」に安全基準の統一を呼びかけており、OpenAIやGoogleも同様の減速に動く可能性があります。

Anthropicがどのペースでモデルを更新するかは今後の公式発表で見えてきます。AIを作っている側が自ら「遅くする」と言い出した事実はAI選定の判断材料になります。