英語のプレスリリースを訳す(4AI・6課題・各3回)
英文・翻訳の課題を6問つくり、ChatGPT・Copilot・Claude・Gemini へ各3回ずつ投げました。採点はプログラムだけで行い、AIには採点させていません。
AIごとのスコアを見る →ChatGPT 18試行中15
2026年9月30日 測定
- 6問課題
- 3回1問あたりの試行
- 4つ測ったAI
- 72回有効な試行
- v3公開版
1回の検証の結果。日や課題が変われば順位は変わる
-
ChatGPT
83.3%
18試行中15が正解
1位
ChatGPT Pro
回答まで 中央値18.7秒 -
Copilot
55.6%
18試行中10が正解
2位
Microsoft 365 Personal
回答まで 中央値17.1秒 -
Claude
50%
18試行中9が正解
3位
Claude Max
回答まで 中央値23.1秒 -
Gemini
16.7%
18試行中3が正解
4位
Google AI Pro
回答まで 中央値39.4秒
当たるものがありませんでした。検索の言葉を消すと全部戻ります。
RESULT
この回で分かったこと
下の1行は、採点の結果からそのまま作ったものです。ページ側で足した言葉はありません。
- 英文・翻訳 6課題・各3回 6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPTで15/18試行の83.3%だった(2位はCopilotの55.6%) 有効な試行は72回。 1回の検証の結果。日や課題が変われば順位は変わる。 AIごとのスコアを見る
SCORES
AIごとのスコア
並びは正解率の高い順です。分母は、その指標を測れた試行の数です。 「—」は測っていないという意味で、0%ではありません。
| AI | 正解率正解 ÷ 有効な試行 | 再現率3回で結論が一致 | 出典の実在率URLが開けた割合 | 指示の遵守率字数・形式を守った | 所要時間中央値/幅 |
|---|---|---|---|---|---|
| 1ChatGPT | 83.3% 18試行中15 | 100% 6課題中 | — | 100% | 18.7秒 14〜32.8秒 |
| 2Copilot | 55.6% 18試行中10 | 83.3% 6課題中 | — | 55.6% | 17.1秒 14.3〜20.3秒 |
| 3Claude | 50% 18試行中9 | 88.9% 6課題中 | — | 100% | 23.1秒 14〜50.9秒 |
| 4Gemini | 16.7% 18試行中3 | 100% 6課題中 | — | 100% | 39.4秒 25.2〜56.5秒 |
出典の実在率は、答えと一緒にURLを挙げてもらう課題があった回だけ測っています。 ChatGPT・Copilot・Claude・Geminiの「—」は、この回ではその課題を出していないという意味です。0%ではありません。
答えが返らなかった試行
Claude … 時間切れ 1回 Gemini … 断られた 12回
断られた・時間切れは分母に入れて不正解として数えています。上限・人間確認・AInformation側の操作の失敗は分母から外しています。
TASKS
課題ごとの結果
1つの課題を、4つのAIへ3回ずつ投げています。 ○が正解、×が不正解です。下の数字は、その試行にかかった秒数です。 課題の全文・先に決めた正解・なぜその判定になったかは、それぞれ開くと読めます。
次の英語のプレスリリースから、3つを書き出してください。 決まり ・答えはちょうど3行。型番/生産する都市の名前/C… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 14秒
- ChatGPT 第2回 正解 14.1秒
- ChatGPT 第3回 正解 17.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 17.4秒
- Copilot 第2回 正解 14.4秒
- Copilot 第3回 正解 16.9秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 17.1秒
- Claude 第2回 正解 17秒
- Claude 第3回 正解 20秒
3試行中3が正解
-
Gemini
- Gemini 第1回 正解 25.5秒
- Gemini 第2回 不正解 断られた
- Gemini 第3回 正解 25.2秒
3試行中2が正解
課題の全文この文をそのまま4つのAIへ送りました(1,180字)
次の英語のプレスリリースから、3つを書き出してください。 決まり ・答えはちょうど3行。型番/生産する都市の名前/CEOの名前 の順で書く ・原文の書き方のまま写す。説明は書かない ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 contains_all)型番=SM-FSU693/都市名=Fukuoka/CEOの姓=Mizuno
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中11が正解)
- ChatGPT 第1回 正解
- 3項目すべてあり (14秒) この回答の全文
- ChatGPT 第2回 正解
- 3項目すべてあり (14.1秒) この回答の全文
- ChatGPT 第3回 正解
- 3項目すべてあり (17.2秒) この回答の全文
- Copilot 第1回 正解
- 3項目すべてあり (17.4秒) この回答の全文
- Copilot 第2回 正解
- 3項目すべてあり (14.4秒) この回答の全文
- Copilot 第3回 正解
- 3項目すべてあり (16.9秒) この回答の全文
- Claude 第1回 正解
- 3項目すべてあり (17.1秒) この回答の全文
- Claude 第2回 正解
- 3項目すべてあり (17秒) この回答の全文
- Claude 第3回 正解
- 3項目すべてあり (20秒) この回答の全文
- Gemini 第1回 正解
- 3項目すべてあり (25.5秒) この回答の全文
- Gemini 第2回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (251.4秒) この回答の全文
- Gemini 第3回 正解
- 3項目すべてあり (25.2秒) この回答の全文
次の英語のプレスリリースから、3つの数を書き出してください。 決まり ・答えはちょうど3行。前年度の出荷台数/希望小… 採点の型:exact_number 数値が正解と一致するか。丸めの幅も先に決めてある
-
ChatGPT
- ChatGPT 第1回 不正解 17.1秒
- ChatGPT 第2回 不正解 14.1秒
- ChatGPT 第3回 不正解 17.1秒
3試行中0が正解
-
Copilot
- Copilot 第1回 不正解 17.1秒
- Copilot 第2回 不正解 17秒
- Copilot 第3回 不正解 14.3秒
3試行中0が正解
-
Claude
- Claude 第1回 不正解 17秒
- Claude 第2回 不正解 14秒
- Claude 第3回 不正解 20秒
3試行中0が正解
-
Gemini
- Gemini 第1回 不正解 37.7秒
- Gemini 第2回 不正解 断られた
- Gemini 第3回 不正解 断られた
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,184字)
次の英語のプレスリリースから、3つの数を書き出してください。 決まり ・答えはちょうど3行。前年度の出荷台数/希望小売価格(円)/容量(ml) の順で書く ・数は半角で書く。説明は書かない ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中0つが1回でも正解しました
(機械採点 exact_number)出荷台数=80500(誤差±0)/価格=9140(誤差±0)/容量=500(誤差±0)
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中0が正解)
- ChatGPT 第1回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (17.1秒) この回答の全文
- ChatGPT 第2回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (14.1秒) この回答の全文
- ChatGPT 第3回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (17.1秒) この回答の全文
- Copilot 第1回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (17.1秒) この回答の全文
- Copilot 第2回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (17秒) この回答の全文
- Copilot 第3回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (14.3秒) この回答の全文
- Claude 第1回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (17秒) この回答の全文
- Claude 第2回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (14秒) この回答の全文
- Claude 第3回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (20秒) この回答の全文
- Gemini 第1回 不正解
- 数値が違う:出荷台数 ×(正解80500・台 の行が無い)/価格 ×(正解9140・円 の行が無い)/容量 ×(正解500・ml の行が無い) (37.7秒) この回答の全文
- Gemini 第2回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (47.1秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (28.5秒) この回答の全文
次の英語のプレスリリースを日本語に訳してください。 決まり ・型番・都市名・人名・数字は原文のまま落とさずに訳文へ入… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 23.4秒
- ChatGPT 第2回 正解 23.4秒
- ChatGPT 第3回 正解 29.5秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 20.1秒
- Copilot 第2回 不正解 20.1秒
- Copilot 第3回 不正解 17.1秒
3試行中1が正解
-
Claude
- Claude 第1回 不正解 50.9秒
- Claude 第2回 不正解 29.2秒
- Claude 第3回 不正解 26.1秒
3試行中0が正解
-
Gemini
- Gemini 第1回 不正解 断られた
- Gemini 第2回 不正解 断られた
- Gemini 第3回 不正解 56.5秒
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,171字)
次の英語のプレスリリースを日本語に訳してください。 決まり ・型番・都市名・人名・数字は原文のまま落とさずに訳文へ入れる ・訳文だけを出す。前置きと解説は書かない ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中2つが1回でも正解しました
(機械採点 contains_all)型番=SM-FSU693/都市名=Fukuoka/CEOの姓=Mizuno/出荷台数=80,500または80500/伸び率=27.3/価格=9,140または9140/容量=500/保温12時間=12/保冷24時間=24
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中4が正解)
- ChatGPT 第1回 正解
- 9項目すべてあり (23.4秒) この回答の全文
- ChatGPT 第2回 正解
- 9項目すべてあり (23.4秒) この回答の全文
- ChatGPT 第3回 正解
- 9項目すべてあり (29.5秒) この回答の全文
- Copilot 第1回 正解
- 9項目すべてあり (20.1秒) この回答の全文
- Copilot 第2回 不正解
- 9項目中8項目あり・足りない 都市名 (20.1秒) この回答の全文
- Copilot 第3回 不正解
- 9項目中0項目あり・足りない 型番/都市名/CEOの姓/出荷台数/伸び率/価格/容量/保温12時間/保冷24時間 (17.1秒) この回答の全文
- Claude 第1回 不正解
- 9項目中8項目あり・足りない 都市名 (50.9秒) この回答の全文
- Claude 第2回 不正解
- 9項目中7項目あり・足りない 都市名/CEOの姓 (29.2秒) この回答の全文
- Claude 第3回 不正解
- 9項目中7項目あり・足りない 都市名/CEOの姓 (26.1秒) この回答の全文
- Gemini 第1回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (31.5秒) この回答の全文
- Gemini 第2回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (37.7秒) この回答の全文
- Gemini 第3回 不正解
- 9項目中0項目あり・足りない 型番/都市名/CEOの姓/出荷台数/伸び率/価格/容量/保温12時間/保冷24時間 (56.5秒) この回答の全文
次の英語のプレスリリースに出てくる数字を、日本語で書き出してください。 決まり ・答えはちょうど4行。出荷台数/売上… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 14.2秒
- ChatGPT 第2回 正解 17秒
- ChatGPT 第3回 正解 14.1秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 17.1秒
- Copilot 第2回 正解 20.3秒
- Copilot 第3回 正解 17.3秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 17秒
- Claude 第2回 正解 19.9秒
- Claude 第3回 正解 23.1秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 断られた
- Gemini 第2回 不正解 断られた
- Gemini 第3回 不正解 断られた
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,187字)
次の英語のプレスリリースに出てくる数字を、日本語で書き出してください。 決まり ・答えはちょうど4行。出荷台数/売上の伸び率/希望小売価格/容量 の順で書く ・数は半角で、原文の値をそのまま書く ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中3つが1回でも正解しました
(機械採点 contains_all)出荷台数=80,500または80500/伸び率=27.3/価格=9,140または9140/容量=500
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中9が正解)
- ChatGPT 第1回 正解
- 4項目すべてあり (14.2秒) この回答の全文
- ChatGPT 第2回 正解
- 4項目すべてあり (17秒) この回答の全文
- ChatGPT 第3回 正解
- 4項目すべてあり (14.1秒) この回答の全文
- Copilot 第1回 正解
- 4項目すべてあり (17.1秒) この回答の全文
- Copilot 第2回 正解
- 4項目すべてあり (20.3秒) この回答の全文
- Copilot 第3回 正解
- 4項目すべてあり (17.3秒) この回答の全文
- Claude 第1回 正解
- 4項目すべてあり (17秒) この回答の全文
- Claude 第2回 正解
- 4項目すべてあり (19.9秒) この回答の全文
- Claude 第3回 正解
- 4項目すべてあり (23.1秒) この回答の全文
- Gemini 第1回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (196.3秒) この回答の全文
- Gemini 第2回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (49.6秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (77.8秒) この回答の全文
次の英語のプレスリリースを、日本語で300文字以内に要約してください。 決まり ・300文字以内 ・型番・都市名・C… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 26.5秒
- ChatGPT 第2回 正解 23.4秒
- ChatGPT 第3回 正解 32.8秒
3試行中3が正解
-
Copilot
- Copilot 第1回 不正解 17秒
- Copilot 第2回 不正解 16.9秒
- Copilot 第3回 不正解 17秒
3試行中0が正解
-
Claude
- Claude 第1回 不正解 26.2秒
- Claude 第2回 不正解 32.1秒
- Claude 第3回 不正解 時間切れ
3試行中0が正解
-
Gemini
- Gemini 第1回 不正解 断られた
- Gemini 第2回 不正解 46.9秒
- Gemini 第3回 不正解 断られた
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,186字)
次の英語のプレスリリースを、日本語で300文字以内に要約してください。 決まり ・300文字以内 ・型番・都市名・CEOの名前・数字は落とさずに入れる ・要約だけを出す。前置きと解説は書かない ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中1つが1回でも正解しました
(機械採点 contains_all)型番=SM-FSU693/都市名=Fukuoka/CEOの姓=Mizuno/出荷台数=80,500または80500/伸び率=27.3/価格=9,140または9140/容量=500/保温12時間=12/保冷24時間=24
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中3が正解)
- ChatGPT 第1回 正解
- 9項目すべてあり (26.5秒) この回答の全文
- ChatGPT 第2回 正解
- 9項目すべてあり (23.4秒) この回答の全文
- ChatGPT 第3回 正解
- 9項目すべてあり (32.8秒) この回答の全文
- Copilot 第1回 不正解
- 9項目中8項目あり・足りない 都市名 (17秒) この回答の全文
- Copilot 第2回 不正解
- 9項目中8項目あり・足りない 都市名 (16.9秒) この回答の全文
- Copilot 第3回 不正解
- 9項目中8項目あり・足りない 都市名 (17秒) この回答の全文
- Claude 第1回 不正解
- 9項目中8項目あり・足りない 都市名 (26.2秒) この回答の全文
- Claude 第2回 不正解
- 9項目中8項目あり・足りない 都市名 (32.1秒) この回答の全文
- Claude 第3回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (301.8秒)
- Gemini 第1回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (208.8秒) この回答の全文
- Gemini 第2回 不正解
- 9項目中8項目あり・足りない 都市名 (46.9秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (81.4秒) この回答の全文
次の英語のプレスリリースを読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 23.2秒
- ChatGPT 第2回 正解 23.4秒
- ChatGPT 第3回 正解 20.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 17.1秒
- Copilot 第2回 正解 17秒
- Copilot 第3回 正解 17.1秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 26.2秒
- Claude 第2回 正解 26.2秒
- Claude 第3回 正解 44.8秒
3試行中3が正解
-
Gemini
- Gemini 第1回 不正解 断られた
- Gemini 第2回 正解 41秒
- Gemini 第3回 不正解 断られた
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(1,287字)
次の英語のプレスリリースを読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・形は {"title_ja": "日本語の見出し", "summary_ja": "日本語の要約", "facts": ["原文の数字と固有名詞"]} にする ・facts には型番・都市名・CEOの名前・出荷台数・伸び率・価格・容量・保温の時間・保冷の時間を入れる ---- プレスリリース ここから ---- FOR IMMEDIATE RELEASE Sample Shoji Co., Ltd. to Launch SM-FSU693, a New Insulated Bottle Line Fukuoka, Japan — Sample Shoji Co., Ltd. today announced SM-FSU693, a new 500 ml insulated bottle, shipping from March 2027. The suggested retail price is 9,140 yen, excluding tax. The company shipped 80,500 units of its current bottle line in the previous fiscal year, and expects the new line to lift bottle category revenue by 27.3% in the first full year. Haruka Mizuno, Chief Executive Officer of Sample Shoji, said the SM-FSU693 keeps beverages hot for 12 hours and cold for 24 hours, and that the lid can be taken apart into three parts for washing. Production will take place at the company's Fukuoka plant. A limited color edition will follow in September 2027. Sample Shoji operates two directly managed stores and supplies about 1,300 retailers. Note: Sample Shoji Co., Ltd. is a fictional company created by the AInformation editorial team for AI testing. It does not exist. Media contact: Sample Shoji Co., Ltd., Public Relations ---- プレスリリース ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 contains_all)型番=SM-FSU693/都市名=Fukuoka/CEOの姓=Mizuno/出荷台数=80,500または80500/伸び率=27.3/価格=9,140または9140/容量=500/保温12時間=12/保冷24時間=24
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
- ChatGPT 第1回 正解
- 9項目すべてあり (23.2秒) この回答の全文
- ChatGPT 第2回 正解
- 9項目すべてあり (23.4秒) この回答の全文
- ChatGPT 第3回 正解
- 9項目すべてあり (20.2秒) この回答の全文
- Copilot 第1回 正解
- 9項目すべてあり (17.1秒) この回答の全文
- Copilot 第2回 正解
- 9項目すべてあり (17秒) この回答の全文
- Copilot 第3回 正解
- 9項目すべてあり (17.1秒) この回答の全文
- Claude 第1回 正解
- 9項目すべてあり (26.2秒) この回答の全文
- Claude 第2回 正解
- 9項目すべてあり (26.2秒) この回答の全文
- Claude 第3回 正解
- 9項目すべてあり (44.8秒) この回答の全文
- Gemini 第1回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (50.2秒) この回答の全文
- Gemini 第2回 正解
- 9項目すべてあり (41秒) この回答の全文
- Gemini 第3回 不正解
- 断られた(ポリシー)。不正解として分母に入れる (65.2秒) この回答の全文
ANSWERS
4つのAIの回答の全文
採点のもとになった回答を、手を入れずにそのまま置いています。 読んだ人が同じように数え直せるようにするためです。
-
ChatGPT
18件の回答うち15件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 正解
- t5 第2回
- 全文(テキスト) 正解
- t5 第3回
- 全文(テキスト) 正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Copilot
18件の回答うち10件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 不正解
- t3 第3回
- 全文(テキスト) 不正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Claude
17件の回答うち9件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 不正解
- t3 第2回
- 全文(テキスト) 不正解
- t3 第3回
- 全文(テキスト) 不正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Gemini
18件の回答うち3件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 不正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 不正解
- t3 第2回
- 全文(テキスト) 不正解
- t3 第3回
- 全文(テキスト) 不正解
- t4 第1回
- 全文(テキスト) 不正解
- t4 第2回
- 全文(テキスト) 不正解
- t4 第3回
- 全文(テキスト) 不正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 不正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 不正解
MATERIALS
課題に使った材料
架空の株式会社サンプル商事(Sample Shoji)の英語プレスリリース。型番・都市名・数字は作るときに決めてある この回のために2026年9月29日に作り直したものです。 落として、同じことをやり直せます。
METHOD
測り方
やり直せるように、この回の条件をそのまま書いています。
測ったAIと、そのときのモデル名
AIは中身が黙って変わります。画面に出ていたモデル名と、確認した時刻を残しています。
| AI | プラン | 画面に出ていたモデル名 | 確認した時刻 |
|---|---|---|---|
| ChatGPT | ChatGPT Pro | 中程度 | 2026-09-30 06:23 |
| Gemini | Google AI Pro | Flash 拡張 | 2026-09-30 06:23 |
| Claude | Claude Max | Opus 4.8 高 | 2026-09-30 06:23 |
| Copilot | Microsoft 365 Personal | 2026-09-30 06:23 |
この回でやったこと
- 課題に使う材料を、この回のために作り直しました。架空の会社のデータで、実在の企業・人物は含みません。
- 課題を6問つくり、正解をこの時点で決めました。
- ChatGPT・Gemini・Claude・Copilotへ、同じ課題文と同じ材料を送りました。
- 1問につき3回、毎回あたらしい会話で投げました。
- 投げる順番は回ごとに入れ替えました。時間帯のかたよりが順位に出ないようにするためです。
- 待ち時間は300秒までとし、 過ぎたものは時間切れとして記録しました。
- 採点は機械採点のみ(AIに採点させていない)です。
- 送信した試行はのべ72回、 そのうち有効だったのは72回です。
答えが返らなかったときの数え方
- 断られた・時間切れ
分母に入れて、不正解として数えます。仕事では答えが返らないのと同じためです。
- プランの上限に当たった
分母から外します。その試行は測れなかったものとして扱います。
- 人間確認の画面が出た
そこで止めます。機械で押すことも、避けることもしません。
- AInformation側の操作の失敗
分母から外します。AIの欠点としては書きません。
LIMITS
この測定の限界
数字だけを見て判断されないように、測れていないことを書いています。
- 1日1回の測定である。日や課題が変われば順位は変わる
- プランは各AIの有料版(ChatGPT Pro/Google AI Pro/Claude Max/Microsoft 365 Personal)。無料版の結果ではない
- 既定のモデル・既定のモードだけで測っている(Deep Research などは使っていない)
- 課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない
- 機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない
- ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない
- 画面に出ているモデル名を読み取れないAIがある回は、その欄を空(null)にしている。読み取れた回はそのまま載せている
DATA
公開しているデータ
CSVは1行が1試行です。このページに出している数字は、そのCSVを数え直したものと一致します。 ライセンスは CC BY 4.0 です。
- 最新版(CSV) 1行=1試行 11KB
- 最新版(JSON) 42KB
- v3(公開時の版)(CSV) 1行=1試行 11KB
- v3(公開時の版)(JSON) 42KB
- v2(公開時の版)(CSV) 1行=1試行 11KB
- v2(公開時の版)(JSON) 42KB
- v1(公開時の版)(CSV) 1行=1試行 11KB
- v1(公開時の版)(JSON) 42KB
累積の順位表は /data/research/bench/leaderboard.json にあります。 版(v1)は消しません。引用したリンクが切れないようにするためです。
FAQ
よくある質問
- どうやって測っているのですか
- 4つのAIに、まったく同じ課題文と同じ材料を、同じ日のうちに投げています。毎回あたらしい会話を開いて、前の回答を引きずらせません。投げる順番は回ごとに入れ替えています。送信してから回答が止まるまでの秒数もあわせて記録しています。
- なぜ同じ課題を3回も投げるのですか
- AIは同じ質問でも答えが変わるためです。1回だけの結果では、それが実力なのか偶然なのかが分かりません。3回投げて、結論が一致した割合を再現率として出しています。
- 採点は誰がしているのですか
- プログラムだけで採点しています。AIには採点させていません。正解は課題を作る時点で決めてあり、数値の一致・語句の有無・形式の適合・URLが実際に開けるか・数式を実行した結果で決まります。好き嫌いは点にしていません。
- 課題に使っているデータは実在の会社のものですか
- いいえ。架空の会社のデータを毎回あたらしく作っています。実在の企業・人物・他社の文章は使っていません。使った材料はそのまま配っているので、同じことをやり直せます。
- AIが答えられなかったときはどう数えていますか
- 断られた・時間切れは分母に入れて不正解として数えます。プランの上限に当たった・人間確認の画面が出たときは分母から外し、その回は測れなかったものとして扱います。AInformation側の操作の失敗も分母から外し、AIの欠点としては書きません。
- 使っているのは無料版ですか、有料版ですか
- 各AIの有料プランを、ブラウザの画面から使っています。APIではありません。プラン名と、画面に出ていたモデル名・確認した時刻を回ごとに記録しています。
- この順位は、どのAIがいちばん賢いかを表していますか
- いいえ。測っているのは決まった仕事の課題での正解率・所要時間・再現率・出典の実在率・指示の遵守率の5つだけです。書き味や読みやすさ、長い会話でのふるまいは測っていません。課題が変われば順位も変わります。
- 引用してもいいですか
- はい。CC BY 4.0 です。出典として「AInformation調べ AI実務ベンチ」と、使ったページのURL・測定日を書いてください。集計はJSONとCSVでも取れます。1行1試行のCSVを見れば、載せている数字を数え直せます。
CITATION
この測定を引用する
出典:AInformation調べ「AI実務ベンチ 英語のプレスリリースを訳す(4AI・6課題・各3回)」(https://ainformation.jp/research/bench/eibun-2026-09-30) 測定日 2026年9月30日 6課題・各3回・有効な試行72回
コピーしました
数字を引くときは、分母(何試行中いくつか)も一緒に書いてください。 出典として AInformation調べ と、使ったページのURL・測定日を書いてください。
関連するページ
AIの最新ニュースを週1回まとめてお届け
その週に出た主要なAIニュースと、編集部が実際に試したツールを1通にまとめます。