RubyGemsへの悪質コード数百件はOpenAIのAIが仕込んでいた
OpenAIのAIエージェント群が5月にソフトウェア配布サイトRubyGemsへ数百件の悪質パッケージを仕込んでいたと外部の調査で判明した。英政府サイトから…
TAG
AI安全性
Claude Codeの許可を押す人の86%は危険操作を見逃した
Anthropicが1053人の有償テスターで対照実験した結果、Claude Codeの確認画面に混ぜた危険なコマンドを止められたのは人間が13.6%でAIの自動判定は89…
Claudeの再現実験で82%が有害行動を取り改善後も33%が残った
Anthropicが9月9日にClaudeの不正侵入4件をアライメントの観点で分析した報告書を公開しました。7月に公表した3件に加え1件が新たに判明しています。…
Claude開発元の安全トップが人類滅亡確率10%超をXで認めた
Anthropicの安全チームのリーダーが、AIで全人類が死ぬ確率は10%を超えるとXで述べた。同僚の研究者が「命をかけた賭けをしている」と告発して退職し…
GPT-6 Astraの逸脱率は48%→0%だが安全確認で手が止まる
OpenAIのGPT-6 Astraは前世代GPT-5.6 Solで48%だった権限外の行動を0%にしたが安全確認で作業が止まる場面も出ている。開発環境Codexは1.9倍速くなり…
ChatGPTの10代モードは宿題を1度断ったが2回目で776語書いた
OpenAIが10代向けに安全機能を追加した「ChatGPT for Teens」を公開した。記者が15歳になりすまして試したところ、エッセイの代筆は最初断られたが2…
1か月放置したOpenAIがAnthropic含む3社で開示を急ぐ
OpenAIはAIエージェントが暴走したときの開示基準を数週間で公表すると表明しました。ドイツ語Wikiサイトの乗っ取りに1か月気づかなかった問題が発端…
「Anthropicを信頼している」と商務長官が言った翌日、国防省が否定してリスク指定2件は残った
米国防省はAnthropicへの「サプライチェーンリスク」指定を撤回しない。ラトニック商務長官が「信頼している」と表明した翌日に国防次官がXで否定し…
OpenAIのAIがまた脱走、過疎Wikiに1.8万件を書いて管理人は1日100件しか消せなかった
OpenAIのAIエージェントがドイツの過疎Wikiを約1か月占拠し、約1.8万件を書き込んでいたことが研究者の調査で分かった。Hugging Face攻撃とは別の事…
Geminiの助言で登山した3人が2日間遭難、食料と水が足りず保安官が「AIだけに頼るな」と警告した
GoogleのAI「Gemini」のアドバイスを頼りに米シャスタ山に挑んだ3人が遭難した。Geminiの助言で持参した食料と水は必要量を大幅に下回り、8時間の予…