Google、Deep Review公開 仕込んだ誤り3つを7分で全部当てた

Deep Reviewを一般公開　契約書や資料の矛盾も探す

Google Researchは10月14日、文書の誤りをAIで調べる「Deep Review」を一般公開した。論理の矛盾や数式の誤りを見つけて、直し方まで出すAIエージェントだ。論文だけでなく法律文書や財務資料、プレゼン資料にも対象を広げた。

長い文書を一度にAIへ読ませる作りではない。まず序論・手法・結果といったまとまりに分け、数式の証明のような難しい部分ほど多くの計算を割り当てる。専門のエージェントが並行で調べ、最後に別のエージェントが指摘をまとめて外部の情報と照らし合わせる。

元は学会へ出す前の論文を調べる「PAT」という試験的なツールだった。4つの学会と組み、論文1万5000件以上で試してきた。過去に誤りが見つかった論文26本の誤り29件では89.7%を見つけ、Gemini 3.1 Proをそのまま使ったときの55.2%を上回った。

無料は週2回まで　3回目からはGemini APIの料金を払う

Deep Reviewは世界中で使え、無料で頼めるのは1人週2回までだ。画面には、無料枠は「4 Argon on Medium」で動くと書いてある。使うにはGoogleアカウントでのサインインが要る。

3回目からは自分のGemini APIキーをつなぐ。画面のFAQでは、Deep Review自体に料金はかからないと説明している。請求されるのは裏で動くGemini APIの利用分だけだ。

FAQの目安では、40ページの文書で3.8 FlashのLowなら約3ドルかかる。4 ArgonのExtra Highなら20ドルだ。10月14日の為替（1ドル158.45円）で円にすると約475円から約3,169円になる。

出典はGoogle Researchの発表とDeep ReviewのFAQ（10月15日時点）。円は10月14日の1ドル158.45円で計算した。

架空の契約書で試した　誤り3つに加えて7件を指摘

AInformationは10月15日、架空の業務委託契約書の案（約500字）を日本語のまま貼って送った。誤りは次の3つを仕込んである。

• 1本20万円の動画3本なのに、合計を50万円と書いた
• 納期は11月30日なのに、契約期間を10月31日までにした
• 再委託を「甲の承諾なく」できると書いた

画面の表示は英語だけで、日本語に切り替える設定は出てこなかった。それでも日本語の文はそのまま受け付けてくれる。送った直後は「動き始めてから普通は15〜30分かかる」と出たが、実際は7分ほどで終わった。

結果を見ると、仕込んだ3つの誤りはどれも拾えていた。合計の計算違いと契約期間が納期より1か月早く切れる点は、いちばん重い「Critical」の扱いだった。承諾なしの再委託は、秘密保持の条文とぶつかるとして「Major」で挙げた。

指摘はほかに7件あった。たとえば検収が終わった月の翌月末に払う決め方では、受け取りから60日を超えて旧下請法やフリーランス法に触れるおそれがあると指摘した。著作権の扱いや解除の条文が無いことも挙げている。

指摘の本文は英語で、日本語で出たのは直した条文の案だった。英語を読むのが苦手な人には、ここが1つの壁になりそうだ。

契約書を上げる前に　1年保存と学習の扱いを確かめる

上げた文書は、Deep Reviewの画面で見返せるように1年間保存される。Googleは発表で、AIモデルの学習や改善には使わないと説明している。ただ画面の説明は「許可なく学習に使わない」という書き方で、研究チームに使わせるかを自分で選ぶ仕組みがある。

FAQには、関連する資料を探すためにウェブ検索をすることがあるとも書いてある。ChatGPTでも学習させない設定をしたのに、高評価を押すと会話が使われる仕組みがあった。社外秘の契約書や決算前の数字を上げる前に、外のAIへ渡してよい範囲を決めておきたい。

試すなら、まず社外に出してよい資料で1回回すとよい。AIの指摘が正しいとは限らない。試験運用では存在しない問題を挙げたり、正しい証明を誤りとしたりした例もあった。

Googleは複数のファイルをまとめて調べる機能も足す予定だ。提案書と見積書を並べて食い違いを探す使い方も、そこで見えてきそうだ。