Anthropic、Claudeの日記を通報 学習オフでも3段の審査が残る

Claudeへの書き込みで逮捕　人の確認を経て警察へ通報された

米フロリダ州でClaudeを日記のように使っていた女性が逮捕された。Anthropicの安全システムが書き込みを検出し、人間の担当者が確認したうえで警察に通報した。

女性は9月26日にClaudeへ「保安官事務所を銃撃する」と書き込んだ。翌27日には「新しい銃を手に入れた」という趣旨の書き込みもしていた。報告を受けたリー郡保安官事務所が女性を特定して自宅を訪ね、女性は抵抗せずに拘束された。

問われているのはフロリダ州法の「書面による暴力の脅迫」だ。TechSpotによるとこの罪は第2級重罪にあたり、女性は11月に出廷する予定になっている。

Claudeが自分で通報したのではない　検出から通報まで3段ある

通報したのはAIではなく人だ。Claudeには脅威につながりうる表現を見つける安全対策が入っている。内容が深刻なものは人間のレビューチームへ回り、確認後に法執行機関へ報告される流れだった。検出だけで通報まで進むわけではない。

根拠は2つの決まりにある。利用規約は製品を暴力や脅迫の助長に使うことを禁じている。政府機関からの要請に関する方針では、死亡や重大な身体的被害の危険がある緊急時に、必要と判断すれば利用者の情報を開示しうると定めている。

保安官は女性が「日記のように使っていた」と話している。誰にも見せないつもりの書き込みでも、AIのサービスに入れた時点で事業者の安全審査の網にかかる。

学習をオフにしても安全審査は外れない　公式の規約を読んだ

AInformationがAnthropicのプライバシーポリシー（9月10日施行の版）を読むと、学習を断る設定と安全審査は別の扱いになっていた。設定で学習をオフにしても、安全審査の対象になった会話はモデルの改善に使うと書かれている。

情報の開示についても条件がある。法令への対応のほか、人や財産への重大な被害を防ぐために必要だと誠実に判断した場合は、政府機関や警察へ個人データを渡しうるとしている。「学習をオフにしたから誰にも読まれない」とは言えない。

会社でClaudeを使う人にとっては、入力した文がどこで人の目に触れうるかを知っておく話になる。業務のメモや下書きを日記のように書きためる使い方は珍しくない。

社内のAI利用ルールに「人が読むことがある」と1行足す

まず自社の利用ルールが「入力は外に出ない」前提になっていないかを確かめたい。学習のオフは情報を守る設定であって、事業者の審査まで止めるものではない。

次に、冗談や怒りの吐き出しでも脅迫と読める文は入れないよう、研修で一度伝えておくとよさそうだ。今回の女性も日記のつもりで書いていた。

会社のメールで登録したアカウントは、組織の契約にひも付くこともプライバシーポリシーに書かれている。個人の契約と会社の契約のどちらで使っているかも、あわせて見直しておきたい。