| 首位モデルの合格率 | 10.8% |
|---|---|
| AIに渡された資料 | 1789ファイル |
DAYJOB: Tax 首位のClaudeでも合格は10.8%
米国の税務の仕事を再現したDAYJOB: Taxで、首位のClaude Sonnet 5.5でも合格は10.8%でした。250回の試行のうち合格は27回です。結果はSurge AIが2026年10月27日に公開しました。
課題は個人の確定申告や相続など8分野の50件です。AIは依頼人の相談と資料を受け取り、申告書や助言を作ります。資料は全部で1789ファイルあり、1課題の中央値は30ファイルでした。
採点は計算が合っているかだけではありません。次の4つの面で点を付けています。
- 正しく計算できたか
- 依頼に沿った申告書や助言を作れたか
- 判断の根拠になる資料を確かめたか
- 結論を左右する問題を見つけたか
各モデルで50件を5回ずつ解かせ、採点項目の95%以上を満たした回だけを合格にしました。2位はClaude Fable 5.1の9.6%で、3位はClaude Opus 5.5の9.2%です。

売却期限を伝えないGPT-6 Astra Opusは5回指摘
差がはっきり出たのは自宅マンションの売り時の相談です。相談者は2024年8月に引っ越していて、2026年10月と2027年1月のどちらで売るかを迷っています。
米国には自宅の売却益を一定額まで課税しない優遇があり、単独で申告する場合の上限は25万ドルです。条件の1つは、売る日から5年さかのぼって通算2年以上住んでいることです。
どちらの時期でも条件は満たせます。ただし2027年8月末ごろを過ぎて売ると、住んでいた期間が2年に届かず優遇を受けられない可能性があります。
- GPT-6 Astra:どちらの時期でも条件を満たすと正しく判断しました。ただ売却の期限は5回とも伝えていません
- Claude Opus 5.5:5回すべてで期限を指摘しました
老後資金の分け方の課題では、強弱が入れ替わりました。2人が法律上の夫婦かどうかで、退職口座の資産の分け方と税の扱いが変わる相談です。
資料には、届け出なしでも婚姻が成立しうるテキサス州で同居していた記録がありました。Claude Opus 5.5は5回とも「結婚していない」前提で助言しています。
GPT-6 Astraは5回中4回で、先に夫婦かどうかを確かめる必要があると指摘しました。
日本語で4モデルに試した 資料だけだとGPT-6 Lunaは0回
AInformationは売却時期の課題を日本語に直し、OpenAIとGoogleの4モデルに5回ずつ投げました。試験は2通りです。引っ越した日を相談文に書いた形と、日付を添付の賃貸借契約書の中だけに置いた形です。
| モデル | 試験1(相談文に日付) | 試験2(日付は資料の中だけ) | 試験2の秒数の中央値 |
|---|---|---|---|
| GPT-6 Astra | 5回中5回 | 5回中4回 | 33.45秒 |
| GPT-6 Luna | 5回中3回 | 5回中0回 | 25.88秒 |
| Gemini 4 Hydrogen | 5回中5回 | 5回中5回 | 46.11秒 |
| Gemini 3.8 Flash | 5回中5回 | 5回中5回 | 45.38秒 |
数えたのは「2027年7〜8月」の期限に触れた回数です。試したのは2026年11月15日で、APIは既定の設定のままです。Claudeの3モデルは今回の試験に入れていません。
いちばん崩れたのはGPT-6 Lunaです。日付が資料の中だけになると、5回とも期限に触れませんでした。1回目の答えには「売却時期による差は基本的にありません」とあります。
GPT-6 Astraは元の試験と違って日本語では期限を伝えました。試験1で5回、試験2で4回です。Gemini 4 HydrogenとGemini 3.8 Flashは2通りとも5回中5回です。
速さには差が出ました。資料つきの試験2で、Gemini 4 Hydrogenの中央値は46.11秒でした。GPT-6 Lunaは25.88秒で答えを返しています。
合格10.8%のAIに任せない所 期限と前提は人が見る
Surge AIは、計算はできても何を追加で確かめるかを見極めて助言に反映するのは難しいと結論づけています。今回の結果は米国の税制での話で、日本の確定申告を測ったものではありません。
それでも見落とし方の傾向は日本の税務にも当てはまりそうです。AIに相談するときは、次の3つを先に済ませておくと安心です。
- 期限が絡む条件(住んでいた期間や届け出の締め切り)を自分で書き出してから聞く
- 日付や住所は添付資料の中だけに置かず、相談文にも書く
- 「先に確かめるべき点を挙げて」と頼み、結論を左右する前提をAIに質問として返させる
税理士事務所が下書きにAIを使う場合も、答えの中身よりAIが聞かなかったことを見るほうが効きそうです。
- DAYJOB: Tax
- Surge AIが税務の専門家と作った試験。8分野50件の課題で、資料を調べて申告書や助言を作らせ、確かめるべき点を見つけたかまで採点する
※記事の事実とは分けて、筆者の考えを書いています。
分析・考察税務でAIがつまずくのは計算より聞き返しだと今回の結果は示しています。日本の会計事務所でも、AIの下書きが整っているほど見落としに気づきにくくなりそうです。
使う側で決めておきたいのは、結論を左右する前提をAIに質問として出させる手順です。顧客の資料を渡す前に期限と身分の確認項目を型にしておくと、AIの外れ方が読めるようになります。
- AIに確定申告や税務相談を任せても大丈夫?
- そのまま任せるのはまだ早い結果です。DAYJOB: Taxでは首位のClaude Sonnet 5.5でも250回中27回(10.8%)しか合格しませんでした。計算はできても、資料と相談を突き合わせて追加で確かめる点を見つけるところで外れます。下書きに使うなら、期限や前提の確認は人がやる前提で組むのが安全です。
- 税務に強いAIはどれ?ClaudeとGPT-6 Astraの違いは?
- 合格率の上位3つはどれもClaudeでした。1位はClaude Sonnet 5.5の10.8%です。2位はFable 5.1の9.6%で3位はOpus 5.5の9.2%でした。ただし課題ごとに強弱は入れ替わります。自宅の売却期限はOpus 5.5が5回とも指摘し、GPT-6 Astraは1回も伝えませんでした。婚姻の前提を確かめる課題では逆に、Astraが5回中4回で指摘しています。
- 日本の税金の相談でも同じ結果になる?
- この試験は米国の税務を題材にしたもので、日本の確定申告や相続税は測っていません。AInformationが同じ相談を日本語で試すと、日付が資料の中だけのときGPT-6 Lunaは5回とも期限に触れませんでした。日本語でも、大事な事実を資料に埋めると拾い漏れが出ることは確かめられています。
【この記事の出典】
- GIGAZINE(この記事の元にした報道)補助資料・2026年11月15日に確認
