AIが作った架空の病名を医師の44%が採用、経験6か月を境に結果が分かれた

架空の病名をAIが提示し医師がどう反応したか

フランスのリール大学病院などの研究チームが論文を発表した。題名は「Hallucination by proxy in LLM-assisted differential diagnosis」。大規模言語モデル（LLM）を使った診断支援で、AIがもっともらしく提示した架空の病名が医師の判断にどう影響するかを調べた研究だ。

実験ではLLMベースの診断支援システムのプロンプトを意図的に操作し、「ニューロカドミウム症」という実在しない疾患を鑑別診断のリストに混ぜ込んだ。最も確からしい診断として提示する仕掛けだ。41人の医師に脳MRI画像の診断をLLM支援つきで行わせ、架空の病名への反応を観察した。

経験の差が明暗を分けた

結果は明確だった。全体の44%にあたる18人の医師が自身の鑑別診断リストに架空の疾患を組み込んだ。ただし18人中15人は正解を第1位に置いたまま、架空の病名を2位か3位に挙げている。

経験年数による差はさらにはっきりしていた。神経放射線のトレーニング歴が6か月以下の医師では69%（26人中18人）が架空の病名を採用した。一方でトレーニング歴が6か月を超える医師15人のうち騙された人はゼロだった。

架空の病名を受け入れた医師でも、その疾患に対する確信度の中央値は37%にとどまった。自分が第1位に挙げた診断への確信度80%と比べると低い水準だ。またLLM支援自体は参加者全体の診断精度を52%から61%に引き上げており、架空の病名を受け入れたグループと拒否したグループで精度向上の幅に差はなかった。

研究チームはこの現象を「代理ハルシネーション」（Hallucination by proxy）と名付けた。AIが生成した誤情報が人間の判断に間接的に取り込まれるという意味だ。

論文が指しているのは訓練の不足だ

論文の結論は、若い医師を責めるものではない。研究チームが書いているのは、AIが出したものを批判的に見る訓練が体系立てて足りていないということだ。代理ハルシネーションは経験の限られた医師にだけ起きた。裏を返せば、経験を積めば防げるものでもある。

数字にもそれが出ている。架空の病名を受け入れた18人のうち15人は、正解を第1位に置いたまま架空の病名を2位か3位に挙げていた。完全に置き換わったわけではない。その疾患への確信度の中央値は37%で、自分が1位に挙げた診断への80%とは開きがある。疑いながらも消せなかったという形だ。

この構図は業務のAI利用にそのまま重なる。おかしいと思いながらAIの出力を消しきれず、資料の片隅に残す。それが誰かの判断材料になる。研究はその過程を数字で見せた。

日本の現場ではどう効いてくるか

この研究は医療分野だが、示唆するところは広い。AIの出力を参考にして判断を下す場面は法務の契約チェックや財務の数値分析など多くの業務に広がっている。経験が浅い担当者ほどAIの出力を疑わずに受け入れやすいという傾向は、どの業界でも起こりうる。

とくに気をつけたいのは、AIが「もっともらしい嘘」を出したときだ。聞いたことのない専門用語を提示されたとき、経験豊富な人は違和感に気づける。しかし業務に慣れていない人はそのまま採用してしまう。この研究はその構図を数字で裏付けた。

いま確認しておくこと

AIの出力を業務に使う場面では、とくに経験の浅いメンバーが単独で最終判断しない仕組みを入れておきたい。AIが出した専門用語や固有名詞は必ず原典にあたるルールを設けるのが有効だ。AIを業務に組み込む企業が増えるほど、「代理ハルシネーション」への備えは医療以外の領域でも避けて通れなくなる。