Claude、ハルシネーションが1行で0回に なしでは3社で最多の9回だ

「推測しないで」の1行　作り話は70.7%から20.2%に減った

AIにWebページから値を抜き出させるとき「ページにない値にはnullを使ってください。推測しないでください」と足すと、存在しない値を作る割合が70.7%から20.2%に下がりました。AIエージェント向けの市場を運営するEarn an Honest Dollarの実験です。試した16モデルすべてで、指示を足したほうが作り話は減っています。

AIは値がページに無いと、古い価格や別の商品の数字で穴を埋めることがあります。もっともらしい作り話を出すハルシネーションの1つです。

用意したのは7種類の形式で42組のテストページです。指示が無いと存在しない項目573件のうち405件に何かの値が入り、指示を足すと574件のうち116件まで減りました。

旧価格493ドルのおとり　指示なしでは16モデル全部が拾った

いちばん差が出たのは、今の価格を書かずに「以前は493ドル」とだけ載せた商品ページです。指示が無いと16モデルすべてが493ドルを今の価格として返しました。指示を足すと、同じ間違いをしたのは1モデルだけになっています。

著者名の無い記事に「ファクトチェック担当：オマー・タム」と書いたおとりもありました。ページにある別の名前を、AIが著者と思い込むかを見るためです。

抜き出した値を別の安いAIに確かめさせる方法も試しています。チェック役のGPT-6 Lunaは架空の値49件のうち38件を見つけ、正しい値47件を架空と判定した例は1件もありません。ただし対象はWebからの抜き出しだけで、ほかの使い方でも同じ傾向になるかは追加の検証が要るとしています。

日本語でも同じ結果になるのか、AInformationで試しました。

日本語で3社を90回試した　Claudeの作り話は0回になった

9月29日に3社のAIへ日本語のページを読ませました。使ったのはGPT-6 Luna（OpenAI）・Claude Sonnet 5（Anthropic）・Gemini 3.7 Flash（Google）です。値を1つ抜いてそれらしいおとりを置いたページを3種類作り、1行の有無で5回ずつ聞いています。足した1行は元の実験と同じ文面です。

AInformation独自検証。9月29日に3社のAPIから既定の設定のまま呼び、同じ文面で各5回聞きました。数字は抜いた欄にnull以外の値を入れた回数で、左が1行なし・右が1行ありです。断り書きだけの回は数えていません。

1行が無いとき一番作り話が多かったのはClaude Sonnet 5です。商品ページでは5回とも値上げ前の12,800円を価格の欄に入れ、記事では5回中4回ファクトチェック担当を著者にしました。1行を足すと3種類とも15回すべてでnullを返しています。

Gemini 3.7 Flashも1行を足すと0回になりました。1行が無くても商品ページの5回中2回は、今の価格が無いと断りを添えています。

GPT-6 Lunaは1行を足しても2回残った

GPT-6 Lunaだけは1行を足しても、商品ページの5回中2回で12,800円を価格の欄に入れました。値上げ前の価格を今の価格と取り違えるのを、指示だけでは防ぐことができなかった形です。

元の実験でチェック役だったGPT-6 Lunaが、抜き出す側ではすり抜けたことになります。1ページ5回ずつの小さな試験なので、差の大きさまでは言い切れません。GPT-6 Astraなどほかのモデルでは試していません。

営業リストも同じ1行で守る　nullの欄は人が確かめる

AIに会社の電話番号や商品の価格を集めさせるなら、頼む文に同じ1行を足しておきたいところです。今回の試験では3社を合わせた作り話が45回中16回から2回に減りました。1行を足したせいで、ページにある商品名や発売日まで空にした回もありません。

GPT-6 Lunaのように指示をすり抜ける回もあるので、価格や電話番号のように間違うと困る欄は人が元のページを開いて確かめる流れにしておくと安心です。元の実験のように、別のAIに「元のページに根拠があるか」を確かめさせる手もあります。

まずは自社でよく読ませるページを1枚選び、1行の有無で5回ずつ聞き比べてみてください。どのAIなら表づくりを任せられるかが見えてきます。