納品が遅れるお詫びのメールを書く(4AI・6課題・各3回)
メール・ビジネス文書の課題を6問つくり、ChatGPT・Copilot・Claude・Gemini へ各3回ずつ投げました。採点はプログラムだけで行い、AIには採点させていません。
AIごとのスコアを見る →ChatGPT・Copilot 各18試行中18
2026年10月14日 測定
- 6問課題
- 3回1問あたりの試行
- 4つ測ったAI
- 72回有効な試行
- v1公開版
1回の検証の結果。日や課題が変われば順位は変わる
-
ChatGPT
100%
18試行中18が正解
1位
ChatGPT Pro
回答まで 中央値17.3秒 -
Copilot
100%
18試行中18が正解
2位
Microsoft 365 Personal
回答まで 中央値17.1秒 -
Claude
83.3%
18試行中15が正解
3位
Claude Max
回答まで 中央値18.7秒 -
Gemini
38.9%
18試行中7が正解
4位
Google AI Pro
回答まで 中央値98.6秒
当たるものがありませんでした。検索の言葉を消すと全部戻ります。
RESULT
この回で分かったこと
下の1行は、採点の結果からそのまま作ったものです。ページ側で足した言葉はありません。
- メール・ビジネス文書 6課題・各3回 6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPT・Copilotの100.0%で同率だった 有効な試行は72回。 1回の検証の結果。日や課題が変われば順位は変わる。 AIごとのスコアを見る
SCORES
AIごとのスコア
並びは正解率の高い順です。分母は、その指標を測れた試行の数です。 「—」は測っていないという意味で、0%ではありません。
| AI | 正解率正解 ÷ 有効な試行 | 再現率3回で結論が一致 | 出典の実在率URLが開けた割合 | 指示の遵守率字数・形式を守った | 所要時間中央値/幅 |
|---|---|---|---|---|---|
| 1ChatGPT | 100% 18試行中18 | 100% 6課題中 | — | 100% | 17.3秒 14.1〜23.7秒 |
| 2Copilot | 100% 18試行中18 | 100% 6課題中 | — | 83.3% | 17.1秒 14.1〜20.3秒 |
| 3Claude | 83.3% 18試行中15 | 88.9% 6課題中 | — | 50% | 18.7秒 13.9〜57.1秒 |
| 4Gemini | 38.9% 18試行中7 | 75% 6課題中 | — | 90% | 98.6秒 19.1〜234秒 |
出典の実在率は、答えと一緒にURLを挙げてもらう課題があった回だけ測っています。 ChatGPT・Copilot・Claude・Geminiの「—」は、この回ではその課題を出していないという意味です。0%ではありません。
答えが返らなかった試行
Gemini … 断られた 4回/時間切れ 4回
断られた・時間切れは分母に入れて不正解として数えています。上限・人間確認・AInformation側の操作の失敗は分母から外しています。
TASKS
課題ごとの結果
1つの課題を、4つのAIへ3回ずつ投げています。 ○が正解、×が不正解です。下の数字は、その試行にかかった秒数です。 課題の全文・先に決めた正解・なぜその判定になったかは、それぞれ開くと読めます。
次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。 決まり ・メールの本文だけを出す。前置きと解説は… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 17.3秒
- ChatGPT 第2回 正解 17.3秒
- ChatGPT 第3回 正解 20.7秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 20.2秒
- Copilot 第2回 正解 20.1秒
- Copilot 第3回 正解 20.3秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 20.3秒
- Claude 第2回 正解 26.3秒
- Claude 第3回 正解 26.3秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 19.1秒
- Gemini 第2回 不正解 19.1秒
- Gemini 第3回 不正解 断られた
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(427字)
次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。 決まり ・メールの本文だけを出す。前置きと解説は書かない ・感嘆符(!)は使わない ・メモにある日付・数量・電話番号は落とさずに入れる ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中3つが1回でも正解しました
(機械採点 contains_all)新しい納品日=11月3日または11/3/注文数=650または650/当初の納品日=10月27日または10/27/先に届ける数=325または325/お詫びの言葉=お詫びまたは申し訳または恐れ入り/電話番号=03-4590-5977
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中9が正解)
- ChatGPT 第1回 正解
- 6項目すべてあり (17.3秒) この回答の全文
- ChatGPT 第2回 正解
- 6項目すべてあり (17.3秒) この回答の全文
- ChatGPT 第3回 正解
- 6項目すべてあり (20.7秒) この回答の全文
- Copilot 第1回 正解
- 6項目すべてあり (20.2秒) この回答の全文
- Copilot 第2回 正解
- 6項目すべてあり (20.1秒) この回答の全文
- Copilot 第3回 正解
- 6項目すべてあり (20.3秒) この回答の全文
- Claude 第1回 正解
- 6項目すべてあり (20.3秒) この回答の全文
- Claude 第2回 正解
- 6項目すべてあり (26.3秒) この回答の全文
- Claude 第3回 正解
- 6項目すべてあり (26.3秒) この回答の全文
- Gemini 第1回 不正解
- 6項目中0項目あり・足りない 新しい納品日/注文数/当初の納品日/先に届ける数/お詫びの言葉/電話番号 (19.1秒) この回答の全文
- Gemini 第2回 不正解
- 6項目中0項目あり・足りない 新しい納品日/注文数/当初の納品日/先に届ける数/お詫びの言葉/電話番号 (19.1秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (22.4秒) この回答の全文
次の状況メモから、3つの数を書き出してください。 決まり ・答えはちょうど3行。注文数: ◯/先に届ける数: ◯/遅… 採点の型:exact_number 数値が正解と一致するか。丸めの幅も先に決めてある
-
ChatGPT
- ChatGPT 第1回 正解 14.3秒
- ChatGPT 第2回 正解 14.3秒
- ChatGPT 第3回 正解 14.1秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 17.1秒
- Copilot 第2回 正解 17秒
- Copilot 第3回 正解 17.1秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 14.9秒
- Claude 第2回 正解 14.1秒
- Claude 第3回 正解 13.9秒
3試行中3が正解
-
Gemini
- Gemini 第1回 正解 139.1秒
- Gemini 第2回 正解 37.3秒
- Gemini 第3回 正解 120秒
3試行中3が正解
課題の全文この文をそのまま4つのAIへ送りました(414字)
次の状況メモから、3つの数を書き出してください。 決まり ・答えはちょうど3行。注文数: ◯/先に届ける数: ◯/遅れる日数: ◯ の順で書く ・数は半角で書く。説明は書かない ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 exact_number)注文数=650(誤差±0)/先に届ける数=325(誤差±0)/遅れる日数=7(誤差±0)
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中12が正解)
- ChatGPT 第1回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (14.3秒) この回答の全文
- ChatGPT 第2回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (14.3秒) この回答の全文
- ChatGPT 第3回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (14.1秒) この回答の全文
- Copilot 第1回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (17.1秒) この回答の全文
- Copilot 第2回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (17秒) この回答の全文
- Copilot 第3回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (17.1秒) この回答の全文
- Claude 第1回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (14.9秒) この回答の全文
- Claude 第2回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (14.1秒) この回答の全文
- Claude 第3回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (13.9秒) この回答の全文
- Gemini 第1回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (139.1秒) この回答の全文
- Gemini 第2回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (37.3秒) この回答の全文
- Gemini 第3回 正解
- 数値すべて一致:注文数 ○(正解650)/先に届ける数 ○(正解325)/遅れる日数 ○(正解7) (120秒) この回答の全文
次の状況メモをもとに、取引先へ送るお詫びのメールの本文を200文字以内で書いてください。 決まり ・本文だけを出す。… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 14.2秒
- ChatGPT 第2回 正解 17.3秒
- ChatGPT 第3回 正解 17.4秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 17.3秒
- Copilot 第2回 正解 17.1秒
- Copilot 第3回 正解 17.1秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 14秒
- Claude 第2回 正解 17.1秒
- Claude 第3回 正解 17秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 時間切れ
- Gemini 第2回 不正解 断られた
- Gemini 第3回 正解 215秒
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(429字)
次の状況メモをもとに、取引先へ送るお詫びのメールの本文を200文字以内で書いてください。 決まり ・本文だけを出す。件名と署名は書かない ・200文字以内。新しい納品日・先に届ける数・遅れる日数は必ず入れる ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 contains_all)新しい納品日=11月3日または11/3/先に届ける数=325または325/遅れる日数=7または7日
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
- ChatGPT 第1回 正解
- 3項目すべてあり (14.2秒) この回答の全文
- ChatGPT 第2回 正解
- 3項目すべてあり (17.3秒) この回答の全文
- ChatGPT 第3回 正解
- 3項目すべてあり (17.4秒) この回答の全文
- Copilot 第1回 正解
- 3項目すべてあり (17.3秒) この回答の全文
- Copilot 第2回 正解
- 3項目すべてあり (17.1秒) この回答の全文
- Copilot 第3回 正解
- 3項目すべてあり (17.1秒) この回答の全文
- Claude 第1回 正解
- 3項目すべてあり (14秒) この回答の全文
- Claude 第2回 正解
- 3項目すべてあり (17.1秒) この回答の全文
- Claude 第3回 正解
- 3項目すべてあり (17秒) この回答の全文
- Gemini 第1回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (302.7秒)
- Gemini 第2回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (19.4秒) この回答の全文
- Gemini 第3回 正解
- 3項目すべてあり (215秒) この回答の全文
次の状況メモをもとに、取引先へ送るお詫びメールの件名だけを作ってください。 決まり ・答えはちょうど1行。件名の文字… 採点の型:format_check 字数・形式・件数の決まりを守ったか
-
ChatGPT
- ChatGPT 第1回 正解 14.2秒
- ChatGPT 第2回 正解 14.3秒
- ChatGPT 第3回 正解 14.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 16.9秒
- Copilot 第2回 正解 17.1秒
- Copilot 第3回 正解 14.1秒
3試行中3が正解
-
Claude
- Claude 第1回 不正解 13.9秒
- Claude 第2回 不正解 14秒
- Claude 第3回 不正解 14秒
3試行中0が正解
-
Gemini
- Gemini 第1回 正解 77.2秒
- Gemini 第2回 不正解 時間切れ
- Gemini 第3回 正解 208.7秒
3試行中2が正解
課題の全文この文をそのまま4つのAIへ送りました(430字)
次の状況メモをもとに、取引先へ送るお詫びメールの件名だけを作ってください。 決まり ・答えはちょうど1行。件名の文字だけを書く ・30文字以内。「納品」という語を必ず入れる ・「件名:」や「Re:」は付けない ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中3つが1回でも正解しました
(機械採点 format_check){'type': 'line_count', 'min': 1, 'max': 1}/{'type': 'max_chars', 'value': 30}/{'type': 'must_contain', 'values': ['納品']}/{'type': 'must_not_contain', 'values': ['Re:', '件名']}
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中8が正解)
- ChatGPT 第1回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 12/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14.2秒) この回答の全文
- ChatGPT 第2回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 24/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14.3秒) この回答の全文
- ChatGPT 第3回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 19/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14.2秒) この回答の全文
- Copilot 第1回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 19/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (16.9秒) この回答の全文
- Copilot 第2回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 17/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (17.1秒) この回答の全文
- Copilot 第3回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 17/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14.1秒) この回答の全文
- Claude 第1回 不正解
- 形式が違う:line_count ×(行数 7/1〜1行)/max_chars ○(文字数 30/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (13.9秒) この回答の全文
- Claude 第2回 不正解
- 形式が違う:line_count ×(行数 7/1〜1行)/max_chars ○(文字数 23/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14秒) この回答の全文
- Claude 第3回 不正解
- 形式が違う:line_count ×(行数 8/1〜1行)/max_chars ×(文字数 35/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (14秒) この回答の全文
- Gemini 第1回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 23/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (77.2秒) この回答の全文
- Gemini 第2回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (302.9秒)
- Gemini 第3回 正解
- 形式すべて合う:line_count ○(行数 1/1〜1行)/max_chars ○(文字数 29/上限30)/must_contain ○(すべてあり)/must_not_contain ○(入っていない) (208.7秒) この回答の全文
次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。 決まり ・宛名は 株式会社サンプル物産 購買部 … 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 23.6秒
- ChatGPT 第2回 正解 23.7秒
- ChatGPT 第3回 正解 20.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 20.1秒
- Copilot 第2回 正解 17.2秒
- Copilot 第3回 正解 17秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 41.7秒
- Claude 第2回 正解 51.2秒
- Claude 第3回 正解 57.1秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 28.2秒
- Gemini 第2回 正解 234秒
- Gemini 第3回 不正解 断られた
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(466字)
次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。 決まり ・宛名は 株式会社サンプル物産 購買部 ご担当者さま にする ・全体で400文字以内 ・感嘆符(!)は使わない ・メモにある日付・数量・電話番号は落とさずに入れる ・本文だけを出す。前置きと解説は書かない ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 contains_all)新しい納品日=11月3日または11/3/注文数=650または650/当初の納品日=10月27日または10/27/先に届ける数=325または325/お詫びの言葉=お詫びまたは申し訳または恐れ入り/電話番号=03-4590-5977
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
- ChatGPT 第1回 正解
- 6項目すべてあり (23.6秒) この回答の全文
- ChatGPT 第2回 正解
- 6項目すべてあり (23.7秒) この回答の全文
- ChatGPT 第3回 正解
- 6項目すべてあり (20.2秒) この回答の全文
- Copilot 第1回 正解
- 6項目すべてあり (20.1秒) この回答の全文
- Copilot 第2回 正解
- 6項目すべてあり (17.2秒) この回答の全文
- Copilot 第3回 正解
- 6項目すべてあり (17秒) この回答の全文
- Claude 第1回 正解
- 6項目すべてあり (41.7秒) この回答の全文
- Claude 第2回 正解
- 6項目すべてあり (51.2秒) この回答の全文
- Claude 第3回 正解
- 6項目すべてあり (57.1秒) この回答の全文
- Gemini 第1回 不正解
- 6項目中0項目あり・足りない 新しい納品日/注文数/当初の納品日/先に届ける数/お詫びの言葉/電話番号 (28.2秒) この回答の全文
- Gemini 第2回 正解
- 6項目すべてあり (234秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (144.4秒) この回答の全文
次の状況メモをもとに、取引先へ送るお詫びメールを作り、JSON だけを出力してください。 決まり ・出力は JSON… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 17.4秒
- ChatGPT 第2回 正解 20.7秒
- ChatGPT 第3回 正解 20.3秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 20.1秒
- Copilot 第2回 正解 20.3秒
- Copilot 第3回 正解 20.1秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 23.2秒
- Claude 第2回 正解 32.6秒
- Claude 第3回 正解 26.1秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 断られた
- Gemini 第2回 不正解 時間切れ
- Gemini 第3回 不正解 時間切れ
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(470字)
次の状況メモをもとに、取引先へ送るお詫びメールを作り、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・形は {"subject": "件名", "body": "本文"} にする ・body にはメモの日付・数量・電話番号を落とさずに入れる ---- 状況メモ ここから ---- ■ メールを書くための状況メモ(架空) 宛先:株式会社サンプル物産 購買部 ご担当者さま 差出人:株式会社サンプル商事 営業部 鈴木 電話:03-4590-5977 ・商品C(冷感タオル) を 650個 ご注文いただいている。 ・当初の納品予定は 2026年10月27日だった。 ・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。 ・遅れる期間は 7 日。 ・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。 ・代替品の用意は無い。値引きの話は今回はしない。 ・次の連絡は 10月17日 までに入れる。 ---- 状況メモ ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中3つが1回でも正解しました
(機械採点 contains_all)新しい納品日=11月3日または11/3/注文数=650または650/当初の納品日=10月27日または10/27/先に届ける数=325または325/お詫びの言葉=お詫びまたは申し訳または恐れ入り/電話番号=03-4590-5977
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中9が正解)
- ChatGPT 第1回 正解
- 6項目すべてあり (17.4秒) この回答の全文
- ChatGPT 第2回 正解
- 6項目すべてあり (20.7秒) この回答の全文
- ChatGPT 第3回 正解
- 6項目すべてあり (20.3秒) この回答の全文
- Copilot 第1回 正解
- 6項目すべてあり (20.1秒) この回答の全文
- Copilot 第2回 正解
- 6項目すべてあり (20.3秒) この回答の全文
- Copilot 第3回 正解
- 6項目すべてあり (20.1秒) この回答の全文
- Claude 第1回 正解
- 6項目すべてあり (23.2秒) この回答の全文
- Claude 第2回 正解
- 6項目すべてあり (32.6秒) この回答の全文
- Claude 第3回 正解
- 6項目すべてあり (26.1秒) この回答の全文
- Gemini 第1回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (37.4秒) この回答の全文
- Gemini 第2回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (301.9秒)
- Gemini 第3回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (301.7秒)
ANSWERS
4つのAIの回答の全文
採点のもとになった回答を、手を入れずにそのまま置いています。 読んだ人が同じように数え直せるようにするためです。
-
ChatGPT
18件の回答うち18件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 正解
- t2 第2回
- 全文(テキスト) 正解
- t2 第3回
- 全文(テキスト) 正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 正解
- t5 第2回
- 全文(テキスト) 正解
- t5 第3回
- 全文(テキスト) 正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Copilot
18件の回答うち18件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 正解
- t2 第2回
- 全文(テキスト) 正解
- t2 第3回
- 全文(テキスト) 正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 正解
- t5 第2回
- 全文(テキスト) 正解
- t5 第3回
- 全文(テキスト) 正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Claude
18件の回答うち15件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 正解
- t2 第2回
- 全文(テキスト) 正解
- t2 第3回
- 全文(テキスト) 正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 不正解
- t4 第2回
- 全文(テキスト) 不正解
- t4 第3回
- 全文(テキスト) 不正解
- t5 第1回
- 全文(テキスト) 正解
- t5 第2回
- 全文(テキスト) 正解
- t5 第3回
- 全文(テキスト) 正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
- Gemini
MATERIALS
課題に使った材料
架空の株式会社サンプル商事の「納品が遅れる」状況メモ。入れるべき要素は作るときに決めてある この回のために2026年10月13日に作り直したものです。 落として、同じことをやり直せます。
- mail_brief.txt 692B
METHOD
測り方
やり直せるように、この回の条件をそのまま書いています。
測ったAIと、そのときのモデル名
AIは中身が黙って変わります。画面に出ていたモデル名と、確認した時刻を残しています。
| AI | プラン | 画面に出ていたモデル名 | 確認した時刻 |
|---|---|---|---|
| ChatGPT | ChatGPT Pro | Medium | 2026-10-13 20:17 |
| Gemini | Google AI Pro | Flash 高値 | 2026-10-13 20:17 |
| Claude | Claude Max | Opus 4.8 高 | 2026-10-13 20:17 |
| Copilot | Microsoft 365 Personal | 2026-10-13 20:17 |
この回でやったこと
- 課題に使う材料を、この回のために作り直しました。架空の会社のデータで、実在の企業・人物は含みません。
- 課題を6問つくり、正解をこの時点で決めました。
- ChatGPT・Gemini・Claude・Copilotへ、同じ課題文と同じ材料を送りました。
- 1問につき3回、毎回あたらしい会話で投げました。
- 投げる順番は回ごとに入れ替えました。時間帯のかたよりが順位に出ないようにするためです。
- 待ち時間は300秒までとし、 過ぎたものは時間切れとして記録しました。
- 採点は機械採点のみ(AIに採点させていない)です。
- 送信した試行はのべ72回、 そのうち有効だったのは72回です。
答えが返らなかったときの数え方
- 断られた・時間切れ
分母に入れて、不正解として数えます。仕事では答えが返らないのと同じためです。
- プランの上限に当たった
分母から外します。その試行は測れなかったものとして扱います。
- 人間確認の画面が出た
そこで止めます。機械で押すことも、避けることもしません。
- AInformation側の操作の失敗
分母から外します。AIの欠点としては書きません。
LIMITS
この測定の限界
数字だけを見て判断されないように、測れていないことを書いています。
- 1日1回の測定である。日や課題が変われば順位は変わる
- プランは各AIの有料版(ChatGPT Pro/Google AI Pro/Claude Max/Microsoft 365 Personal)。無料版の結果ではない
- 既定のモデル・既定のモードだけで測っている(Deep Research などは使っていない)
- 課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない
- 機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない
- ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない
- 画面に出ているモデル名を読み取れないAIがある回は、その欄を空(null)にしている。読み取れた回はそのまま載せている
DATA
公開しているデータ
CSVは1行が1試行です。このページに出している数字は、そのCSVを数え直したものと一致します。 ライセンスは CC BY 4.0 です。
- 最新版(CSV) 1行=1試行 14KB
- 最新版(JSON) 42KB
- v1(公開時の版)(CSV) 1行=1試行 14KB
- v1(公開時の版)(JSON) 42KB
累積の順位表は /data/research/bench/leaderboard.json にあります。 版(v1)は消しません。引用したリンクが切れないようにするためです。
FAQ
よくある質問
- どうやって測っているのですか
- 4つのAIに、まったく同じ課題文と同じ材料を、同じ日のうちに投げています。毎回あたらしい会話を開いて、前の回答を引きずらせません。投げる順番は回ごとに入れ替えています。送信してから回答が止まるまでの秒数もあわせて記録しています。
- なぜ同じ課題を3回も投げるのですか
- AIは同じ質問でも答えが変わるためです。1回だけの結果では、それが実力なのか偶然なのかが分かりません。3回投げて、結論が一致した割合を再現率として出しています。
- 採点は誰がしているのですか
- プログラムだけで採点しています。AIには採点させていません。正解は課題を作る時点で決めてあり、数値の一致・語句の有無・形式の適合・URLが実際に開けるか・数式を実行した結果で決まります。好き嫌いは点にしていません。
- 課題に使っているデータは実在の会社のものですか
- いいえ。架空の会社のデータを毎回あたらしく作っています。実在の企業・人物・他社の文章は使っていません。使った材料はそのまま配っているので、同じことをやり直せます。
- AIが答えられなかったときはどう数えていますか
- 断られた・時間切れは分母に入れて不正解として数えます。プランの上限に当たった・人間確認の画面が出たときは分母から外し、その回は測れなかったものとして扱います。AInformation側の操作の失敗も分母から外し、AIの欠点としては書きません。
- 使っているのは無料版ですか、有料版ですか
- 各AIの有料プランを、ブラウザの画面から使っています。APIではありません。プラン名と、画面に出ていたモデル名・確認した時刻を回ごとに記録しています。
- この順位は、どのAIがいちばん賢いかを表していますか
- いいえ。測っているのは決まった仕事の課題での正解率・所要時間・再現率・出典の実在率・指示の遵守率の5つだけです。書き味や読みやすさ、長い会話でのふるまいは測っていません。課題が変われば順位も変わります。
- 引用してもいいですか
- はい。CC BY 4.0 です。出典として「AInformation調べ AI実務ベンチ」と、使ったページのURL・測定日を書いてください。集計はJSONとCSVでも取れます。1行1試行のCSVを見れば、載せている数字を数え直せます。
CITATION
この測定を引用する
出典:AInformation調べ「AI実務ベンチ 納品が遅れるお詫びのメールを書く(4AI・6課題・各3回)」(https://ainformation.jp/research/bench/mail-2026-10-14) 測定日 2026年10月14日 6課題・各3回・有効な試行72回
コピーしました
数字を引くときは、分母(何試行中いくつか)も一緒に書いてください。 出典として AInformation調べ と、使ったページのURL・測定日を書いてください。
関連するページ
AIの最新ニュースを週1回まとめてお届け
その週に出た主要なAIニュースと、編集部が実際に試したツールを1通にまとめます。