「設計と製造は別だ」Google研究者がAI全滅10%に反論した

Anthropicの2人が「10年で全滅10%」と述べた

Anthropicの研究者2人がAIによる人類滅亡のリスクを相次いで主張しています。27歳のジェイコブ・コクソン氏が同社を退職し、OpenAIとAnthropicが自己改良する超知能の開発競争を進める中で「私たちの命を賭けている」と警告しました。

続いてAnthropicのアラインメントテストチームを率いるエヴァン・ヒュービンガー氏が「今後10年以内にAIが全人類を死に至らせる確率は10%を超えると個人的に考えている」と述べています。Anthropicのダリオ・アモデイCEOも論考の中でAIが作る生物兵器のリスクを最も深刻なシナリオの一つに挙げています。

この発言をきっかけにAI研究者の間でリスク評価をめぐる議論が広がりました。

Google研究者は「設計と製造は全く別」と返した

GoogleのスタッフリサーチエンジニアでDNA合成装置の開発経験を持つアンセルム・レフスカヤ氏は9月14日のXへの投稿で反論しました。AIがウイルスの遺伝子配列を設計できたとしても、実際に被害を出すまでには複数の壁があります。

まず研究室で遺伝子配列を組み立て、ウイルス粒子を生成できるシステムが必要です。さらにそのウイルスが増殖し、感染を広げ、免疫をかいくぐれるかを確かめる試験も求められます。レフスカヤ氏は「こうした性質は複雑な生物学的プロセスに左右されるため、コンピューター上で設計できるものではない」と述べています。

アブダビのモハメド・ビン・ザイード人工知能大学のエリック・シン学長も「設計図を作ることと実際のウイルスを作ることはまったく別の話」とし、同じ考えは生物学以外の分野にも当てはまると指摘しました。

CohereCEOも「SFの域だ」と断じAIの被害は人間が起点だ

CohereのゴメスCEOは9月14日のBloomberg TVで「SFの世界に踏み込みすぎている」と語りました。OpenAIのAIエージェントがHugging Faceへ侵入した件についても「セキュリティが不十分な隔離されたテスト環境で起きた」と説明しています。

スイスAIラボIDSIAのシュミットフーバー氏は、現在のAI関連の被害の多くは人間がAIに有害な指示を出すことから始まっていると述べました。AIが自ら人間に害を及ぼす行動を取る場面とは区別する必要があります。

Anthropicも管理下のシミュレーションでAIが架空の幹部を脅迫する振る舞いを確認しましたが「実在する人物は関与しておらず、実際に運用されているAIで確認された証拠はない」としています。

ChatGPTもClaudeも学習設定の確認が先だ

今回の議論で浮かび上がったのは「人間が道具として使うAI」と「自ら目標を設定するAI」の区別です。企業でChatGPTやClaudeを業務に使う場面は前者にあたります。

使う側がまず確かめたいのは、自社のAIツールに何のデータが渡っているか、学習に使われる設定になっていないかです。ChatGPTもClaudeも設定画面から学習への利用を断れます。

全滅の確率を論じている間にも、社員が入力した社外秘のデータは流れている可能性があります。入力管理を先に点検しておくほうが現実的です。