出会い系の相手の75%がClaudeだと2万5000人は気づけなかった

出会い系20本超でClaudeの偽人格4700体が使われていた

Anthropicは9月10日、人間との出会いをうたう20本超のアプリで同社のAI「Claude」が架空の相手として利用者と会話していたと公表しました。いずれも人間同士の出会いを前面に打ち出したサービスで、利用者はAIと話していることを知らなかったといいます。4月の2週間で4700超のAI偽人格が作られ、少なくとも2万5000人とやり取りしていました。

これらのアプリを運営していたのは中国拠点のアプリ開発企業です。AIとの会話サービスとして提供するのではなく「相手は人間だ」と宣伝し、利用者をだましていたとAnthropicは指摘しています。

Claudeが送ったメッセージの総数は観測した2週間だけで約236万件に上ります。ただしAnthropicはこの数字について、今回のアプリ群に限った話であり出会い系サービス全体のAI利用率を示すものではないと注記しています。

偽人格と本物を3対1で混ぜてビデオ通話で信用させていた

会話相手の一覧にはAIの偽人格と運営側が雇った実在の人間が混在しており、その比率は約3対1でした。4人のうち3人がClaudeの偽人格で、残り1人だけが本物の人間だったことになります。

本物の人間にはビデオ通話などの役割が割り当てられていました。利用者が実際に顔を見て話せる相手がいることで、テキストでやり取りしている相手も全員人間だと思い込んでしまいます。AI単体では成り立たない手口を、人間を囮として使うことで成立させていました。

AIの偽人格だけであれば「返事が速すぎる」「話がかみ合わない」といった不自然さに気づく利用者もいるでしょう。しかし本物の人間との体験を挟むことでサービス全体への信頼が底上げされ、この仕組みが大規模な偽装を支えていました。

Anthropicはアカウントを停止しAppleとGoogleにも報告した

Anthropicは関連するアカウントをすべて停止したと説明しています。AppleやGoogleにはアプリの情報を提供し、悪用されていた別のAI開発企業にも調査結果を共有しました。

今回はAnthropicが自社のAIが第三者に悪用されたケースを自ら調査して公表した形です。AI提供元が悪用の実態をここまで具体的に明らかにするのはまだ珍しく、ほかのAI企業のサービスが同じように使われていても表に出ていない可能性があります。

別のAI企業にも調査結果を共有したということは、Claude以外のAIサービスも同じアプリ群で使われていた可能性を示しています。Anthropicは先日AI開発のペースを抑える3段階の計画も公表しており、自社の製品が悪用された今回の事案は技術の使われ方にどう向き合うかという問題をAI企業に突きつけています。

テキストだけでAIを見抜くのは難しく利用者にできる確認は限られる

今回の手口で厄介なのは本物の人間をあえて混ぜている点です。「ビデオ通話で話した相手がいるから安心」と考えていた利用者にとって、テキスト相手だけがAIだったという事実は想定外だったはずです。

テキストだけのやり取りで相手がAIかどうかを見分けるのは年々難しくなっています。利用者にまずできることとして、自分が使っているアプリがAIの利用について明示しているかを確かめておきたいところです。アプリの運営元や利用規約にAIの使用に関する記載があるかも事前に確認できます。

この観測データは4月の2週間だけにすぎず、同じ手口がほかの時期やほかのアプリで使われていた可能性も残ります。AIを提供する側が悪用を検知し止め続けられるかが、オンラインサービス全体の信頼に関わってきます。