議事録から決定事項とやることを抜く(4AI・6課題・各3回)
AInformationが2026年11月18日に議事録・要約の6課題をChatGPT・Copilot・Claude・Geminiへ各3回ずつ投げたところ、正解率はChatGPTの83.3%(18試行中15)がいちばん高くなりました。採点はプログラムだけで行い、AIには採点させていません。
AIごとのスコアを見る →ChatGPT 18試行中15
2026年11月18日 測定
- 6問課題
- 3回1問あたりの試行
- 4つ測ったAI
- 72回有効な試行
- v1公開版
1回の検証の結果。日や課題が変われば順位は変わる
-
ChatGPT
83.3%
18試行中15が正解
1位
ChatGPT Plus
回答まで 中央値17.1秒 -
Copilot
77.8%
18試行中14が正解
2位
無料のMicrosoftアカウント
回答まで 中央値20秒 -
Claude
61.1%
18試行中11が正解
3位
Claude Ultra
回答まで 中央値22.9秒 -
Gemini
27.8%
18試行中5が正解
4位
Google AI Pro
回答まで 中央値18.9秒
当たるものがありませんでした。検索の言葉を消すと全部戻ります。
RESULT
この回で分かったこと
下の1行は、採点の結果からそのまま作ったものです。ページ側で足した言葉はありません。
- 議事録・要約 6課題・各3回 6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPTで15/18試行の83.3%だった(2位はCopilotの77.8%) 有効な試行は72回。 1回の検証の結果。日や課題が変われば順位は変わる。 AIごとのスコアを見る
SCORES
AIごとのスコア
並びは正解率の高い順です。分母は、その指標を測れた試行の数です。 「—」は測っていないという意味で、0%ではありません。
| AI | 正解率正解 ÷ 有効な試行 | 再現率3回で結論が一致 | 出典の実在率URLが開けた割合 | 指示の遵守率字数・形式を守った | 所要時間中央値/幅 |
|---|---|---|---|---|---|
| 1ChatGPT | 83.3% 18試行中15 | 100% 6課題中 | — | 83.3% | 17.1秒 14〜26.5秒 |
| 2Copilot | 77.8% 18試行中14 | 100% 6課題中 | — | 64.7% | 20秒 16.9〜26.2秒 |
| 3Claude | 61.1% 18試行中11 | 88.9% 6課題中 | — | 27.8% | 22.9秒 13.8〜35.2秒 |
| 4Gemini | 27.8% 18試行中5 | 44.4% 6課題中 | — | 83.3% | 18.9秒 18.9〜19秒 |
出典の実在率は、答えと一緒にURLを挙げてもらう課題があった回だけ測っています。 ChatGPT・Copilot・Claude・Geminiの「—」は、この回ではその課題を出していないという意味です。0%ではありません。
答えが返らなかった試行
Copilot … 時間切れ 1回
断られた・時間切れは分母に入れて不正解として数えています。上限・人間確認・AInformation側の操作の失敗は分母から外しています。
TASKS
課題ごとの結果
1つの課題を、4つのAIへ3回ずつ投げています。 ○が正解、×が不正解です。下の数字は、その試行にかかった秒数です。 課題の全文・先に決めた正解・なぜその判定になったかは、それぞれ開くと読めます。
次の会議記録から、「やることを持ち帰った人」の名前だけを挙げてください。 決まり ・1人につき1行。行の先頭は ・ … 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える
-
ChatGPT
- ChatGPT 第1回 正解 14秒
- ChatGPT 第2回 正解 14.2秒
- ChatGPT 第3回 正解 14.1秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 16.9秒
- Copilot 第2回 正解 16.9秒
- Copilot 第3回 正解 16.9秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 13.8秒
- Claude 第2回 正解 13.9秒
- Claude 第3回 正解 13.9秒
3試行中3が正解
-
Gemini
- Gemini 第1回 正解 19秒
- Gemini 第2回 不正解 18.9秒
- Gemini 第3回 正解 18.9秒
3試行中2が正解
課題の全文この文をそのまま4つのAIへ送りました(1,313字)
次の会議記録から、「やることを持ち帰った人」の名前だけを挙げてください。 決まり ・1人につき1行。行の先頭は ・ にする。名前だけを書き、内容は書かない ・「やること」は担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)だけ ・同じ人が複数のやることを持っていても1行にまとめる ・やることを持っていない出席者は書かない ・前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 set_match)高橋[高橋]/山本[山本]/鈴木[鈴木] 作り足しは0件まで
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中11が正解)
- ChatGPT 第1回 正解
- 3件すべて一致・作り足し0件 (14秒) この回答の全文
- ChatGPT 第2回 正解
- 3件すべて一致・作り足し0件 (14.2秒) この回答の全文
- ChatGPT 第3回 正解
- 3件すべて一致・作り足し0件 (14.1秒) この回答の全文
- Copilot 第1回 正解
- 3件すべて一致・作り足し0件 (16.9秒) この回答の全文
- Copilot 第2回 正解
- 3件すべて一致・作り足し0件 (16.9秒) この回答の全文
- Copilot 第3回 正解
- 3件すべて一致・作り足し0件 (16.9秒) この回答の全文
- Claude 第1回 正解
- 3件すべて一致・作り足し0件 (13.8秒) この回答の全文
- Claude 第2回 正解
- 3件すべて一致・作り足し0件 (13.9秒) この回答の全文
- Claude 第3回 正解
- 3件すべて一致・作り足し0件 (13.9秒) この回答の全文
- Gemini 第1回 正解
- 3件すべて一致・作り足し0件 (19秒) この回答の全文
- Gemini 第2回 不正解
- 3件中2件一致・漏れ 山本 (18.9秒) この回答の全文
- Gemini 第3回 正解
- 3件すべて一致・作り足し0件 (18.9秒) この回答の全文
次の会議記録で決まったことのうち、金額(円)が出てくるものだけを抜き出してください。 決まり ・1件につき1行。行の… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える
-
ChatGPT
- ChatGPT 第1回 正解 14.1秒
- ChatGPT 第2回 正解 14.1秒
- ChatGPT 第3回 正解 17.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 16.9秒
- Copilot 第2回 不正解 時間切れ
- Copilot 第3回 正解 20秒
3試行中2が正解
-
Claude
- Claude 第1回 不正解 20秒
- Claude 第2回 不正解 20秒
- Claude 第3回 不正解 22.9秒
3試行中0が正解
-
Gemini
- Gemini 第1回 不正解 18.9秒
- Gemini 第2回 不正解 19秒
- Gemini 第3回 不正解 19秒
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,381字)
次の会議記録で決まったことのうち、金額(円)が出てくるものだけを抜き出してください。 決まり ・1件につき1行。行の先頭は 金額1: 金額2: … の通し番号にする ・金額が出てこない決定は書かない ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします) - 「今日は決めません」と言われたもの - すでに終わったことの報告・数字の共有・次回の日程 ・金額は記録のとおりに書く ・前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中2つが1回でも正解しました
(機械採点 set_match)ギフト[ギフト+3,990]/出店[仙台+110万] 作り足しは0件まで
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中5が正解)
- ChatGPT 第1回 正解
- 2件すべて一致・作り足し0件 (14.1秒) この回答の全文
- ChatGPT 第2回 正解
- 2件すべて一致・作り足し0件 (14.1秒) この回答の全文
- ChatGPT 第3回 正解
- 2件すべて一致・作り足し0件 (17.2秒) この回答の全文
- Copilot 第1回 正解
- 2件すべて一致・作り足し0件 (16.9秒) この回答の全文
- Copilot 第2回 不正解
- 時間切れ(制限時間まで答えが止まらなかった) (302.2秒)
- Copilot 第3回 正解
- 2件すべて一致・作り足し0件 (20秒) この回答の全文
- Claude 第1回 不正解
- 2件中2件一致・作り足し1件 (20秒) この回答の全文
- Claude 第2回 不正解
- 2件中2件一致・作り足し1件 (20秒) この回答の全文
- Claude 第3回 不正解
- 2件中2件一致・作り足し1件 (22.9秒) この回答の全文
- Gemini 第1回 不正解
- 2件中0件一致・漏れ ギフト/出店・作り足し2件 (18.9秒) この回答の全文
- Gemini 第2回 不正解
- 2件中0件一致・漏れ ギフト/出店・作り足し2件 (19秒) この回答の全文
- Gemini 第3回 不正解
- 2件中0件一致・漏れ ギフト/出店・作り足し2件 (19秒) この回答の全文
次の会議記録を200文字以内で要約し、最後に2行だけ数を書いてください。 決まり ・要約は200文字以内 ・要約のあ… 採点の型:exact_number 数値が正解と一致するか。丸めの幅も先に決めてある
-
ChatGPT
- ChatGPT 第1回 正解 26.4秒
- ChatGPT 第2回 正解 23.3秒
- ChatGPT 第3回 正解 17.2秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 23.1秒
- Copilot 第2回 正解 16.9秒
- Copilot 第3回 正解 23秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 32.2秒
- Claude 第2回 正解 35.2秒
- Claude 第3回 正解 26.1秒
3試行中3が正解
-
Gemini
- Gemini 第1回 正解 19秒
- Gemini 第2回 不正解 18.9秒
- Gemini 第3回 不正解 19秒
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(1,357字)
次の会議記録を200文字以内で要約し、最後に2行だけ数を書いてください。 決まり ・要約は200文字以内 ・要約のあとに 決定: ◯件 と やること: ◯件 の2行を、この順で書く ・件数は半角数字で書く ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします) - 「今日は決めません」と言われたもの - すでに終わったことの報告・数字の共有・次回の日程 ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 exact_number)決まったことの件数=5(誤差±0)/やることの件数=4(誤差±0)
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
- ChatGPT 第1回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (26.4秒) この回答の全文
- ChatGPT 第2回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23.3秒) この回答の全文
- ChatGPT 第3回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (17.2秒) この回答の全文
- Copilot 第1回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23.1秒) この回答の全文
- Copilot 第2回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (16.9秒) この回答の全文
- Copilot 第3回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23秒) この回答の全文
- Claude 第1回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (32.2秒) この回答の全文
- Claude 第2回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (35.2秒) この回答の全文
- Claude 第3回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (26.1秒) この回答の全文
- Gemini 第1回 正解
- 数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (19秒) この回答の全文
- Gemini 第2回 不正解
- 数値が違う:決まったことの件数 ×(正解5・答え3990.0)/やることの件数 ○(正解4) (18.9秒) この回答の全文
- Gemini 第3回 不正解
- 数値が違う:決まったことの件数 ×(正解5・答え12.0)/やることの件数 ○(正解4) (19秒) この回答の全文
次の会議記録を読んで、4つの質問に答えてください。 決まり ・答えはちょうど4行。次回の日程/決まったことの件数/や… 採点の型:contains_all 必須の語句が全部入っているか
-
ChatGPT
- ChatGPT 第1回 正解 17.1秒
- ChatGPT 第2回 正解 20.2秒
- ChatGPT 第3回 正解 14.1秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 20秒
- Copilot 第2回 正解 26.2秒
- Copilot 第3回 正解 23秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 29.1秒
- Claude 第2回 正解 23秒
- Claude 第3回 正解 26.1秒
3試行中3が正解
-
Gemini
- Gemini 第1回 正解 18.9秒
- Gemini 第2回 不正解 19秒
- Gemini 第3回 不正解 19秒
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(1,396字)
次の会議記録を読んで、4つの質問に答えてください。 決まり ・答えはちょうど4行。次回の日程/決まったことの件数/やることの件数/決めなかったことの件数 の順で書く ・行の形は 次回: …/決定: ◯件/やること: ◯件/保留: ◯件 にする ・件数は半角数字で書く。説明は書かない ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします) - 「今日は決めません」と言われたもの - すでに終わったことの報告・数字の共有・次回の日程 ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 contains_all)次回の日程=12月15日/決まったことの件数=5または5件/やることの件数=4または4件/保留の件数=3または3件
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
- ChatGPT 第1回 正解
- 4項目すべてあり (17.1秒) この回答の全文
- ChatGPT 第2回 正解
- 4項目すべてあり (20.2秒) この回答の全文
- ChatGPT 第3回 正解
- 4項目すべてあり (14.1秒) この回答の全文
- Copilot 第1回 正解
- 4項目すべてあり (20秒) この回答の全文
- Copilot 第2回 正解
- 4項目すべてあり (26.2秒) この回答の全文
- Copilot 第3回 正解
- 4項目すべてあり (23秒) この回答の全文
- Claude 第1回 正解
- 4項目すべてあり (29.1秒) この回答の全文
- Claude 第2回 正解
- 4項目すべてあり (23秒) この回答の全文
- Claude 第3回 正解
- 4項目すべてあり (26.1秒) この回答の全文
- Gemini 第1回 正解
- 4項目すべてあり (18.9秒) この回答の全文
- Gemini 第2回 不正解
- 4項目中3項目あり・足りない 保留の件数 (19秒) この回答の全文
- Gemini 第3回 不正解
- 4項目中3項目あり・足りない 保留の件数 (19秒) この回答の全文
次の会議記録から「誰が・何を・いつまでに」やることを抜き出し、マークダウンの表で出してください。 決まり ・列はちょ… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える
-
ChatGPT
- ChatGPT 第1回 不正解 14.1秒
- ChatGPT 第2回 不正解 20.2秒
- ChatGPT 第3回 不正解 14秒
3試行中0が正解
-
Copilot
- Copilot 第1回 不正解 16.9秒
- Copilot 第2回 不正解 17秒
- Copilot 第3回 不正解 16.9秒
3試行中0が正解
-
Claude
- Claude 第1回 不正解 19.9秒
- Claude 第2回 不正解 19.9秒
- Claude 第3回 不正解 20秒
3試行中0が正解
-
Gemini
- Gemini 第1回 不正解 18.9秒
- Gemini 第2回 不正解 19秒
- Gemini 第3回 不正解 18.9秒
3試行中0が正解
課題の全文この文をそのまま4つのAIへ送りました(1,329字)
次の会議記録から「誰が・何を・いつまでに」やることを抜き出し、マークダウンの表で出してください。 決まり ・列はちょうど3つ。担当 / 内容 / 期限 の順にする ・「やること」は担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)だけ ・決まったこと・報告・「今日は決めません」と言われたものは入れない ・期限は記録に書いてあるとおりに書く ・表だけを出す。前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中0つが1回でも正解しました
(機械採点 set_match)高橋[高橋+撮影+11月5日]/山本[山本+見積+12月]/高橋[高橋+アルバイト+11月5日]/鈴木[鈴木+案内文+12月30日] 作り足しは0件まで
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中0が正解)
- ChatGPT 第1回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (14.1秒) この回答の全文
- ChatGPT 第2回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (20.2秒) この回答の全文
- ChatGPT 第3回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (14秒) この回答の全文
- Copilot 第1回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (16.9秒) この回答の全文
- Copilot 第2回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (17秒) この回答の全文
- Copilot 第3回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (16.9秒) この回答の全文
- Claude 第1回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19.9秒) この回答の全文
- Claude 第2回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19.9秒) この回答の全文
- Claude 第3回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (20秒) この回答の全文
- Gemini 第1回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (18.9秒) この回答の全文
- Gemini 第2回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19秒) この回答の全文
- Gemini 第3回 不正解
- 4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (18.9秒) この回答の全文
次の会議記録を読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える
-
ChatGPT
- ChatGPT 第1回 正解 20.3秒
- ChatGPT 第2回 正解 26.5秒
- ChatGPT 第3回 正解 17.1秒
3試行中3が正解
-
Copilot
- Copilot 第1回 正解 23秒
- Copilot 第2回 正解 20秒
- Copilot 第3回 正解 26.1秒
3試行中3が正解
-
Claude
- Claude 第1回 正解 29.1秒
- Claude 第2回 不正解 29.2秒
- Claude 第3回 正解 32.2秒
3試行中2が正解
-
Gemini
- Gemini 第1回 不正解 18.9秒
- Gemini 第2回 不正解 19秒
- Gemini 第3回 正解 18.9秒
3試行中1が正解
課題の全文この文をそのまま4つのAIへ送りました(1,436字)
次の会議記録を読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・形は {"decided": ["…"], "todo": ["…"], "pending": ["…"]} にする ・decided=この会議で決めた方針。todo=担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)。 pending=「今日は決めません」と言われたもの ・すでに終わったことの報告・数字の共有・次回の日程はどれにも入れない ・todo の各要素は 担当者名: 何をするか(期限) の形にする ・記録に出てくる数字(金額・人数・日付・割合)は落とさずに入れる ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----
先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました
(機械採点 set_match・見出しごとに照合)decided:ギフト/重点/出店/表示/クレーム todo:高橋/山本/高橋/鈴木 pending:物流倉庫/ノベルティ/来期の組織
採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中9が正解)
- ChatGPT 第1回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (20.3秒) この回答の全文
- ChatGPT 第2回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (26.5秒) この回答の全文
- ChatGPT 第3回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (17.1秒) この回答の全文
- Copilot 第1回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (23秒) この回答の全文
- Copilot 第2回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (20秒) この回答の全文
- Copilot 第3回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (26.1秒) この回答の全文
- Claude 第1回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (29.1秒) この回答の全文
- Claude 第2回 不正解
- 見出しで食い違い(decided 0/5/todo 0/4/pending 0/3) (29.2秒) この回答の全文
- Claude 第3回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (32.2秒) この回答の全文
- Gemini 第1回 不正解
- 見出しで食い違い(decided 5/5/todo 0/4・作り足し4/pending 3/3) (18.9秒) この回答の全文
- Gemini 第2回 不正解
- 見出しで食い違い(decided 5/5/todo 3/4・作り足し1/pending 3/3) (19秒) この回答の全文
- Gemini 第3回 正解
- 見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (18.9秒) この回答の全文
ANSWERS
4つのAIの回答の全文
採点のもとになった回答を、手を入れずにそのまま置いています。 読んだ人が同じように数え直せるようにするためです。
-
ChatGPT
18件の回答うち15件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 正解
- t2 第2回
- 全文(テキスト) 正解
- t2 第3回
- 全文(テキスト) 正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Copilot
17件の回答うち14件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 正解
- t2 第3回
- 全文(テキスト) 正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 正解
- t6 第3回
- 全文(テキスト) 正解
-
Claude
18件の回答うち11件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 正解
- t3 第3回
- 全文(テキスト) 正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 正解
- t4 第3回
- 全文(テキスト) 正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 正解
- t6 第2回
- 全文(テキスト) 不正解
- t6 第3回
- 全文(テキスト) 正解
-
Gemini
18件の回答うち5件が正解
- t1 第1回
- 全文(テキスト) 正解
- t1 第2回
- 全文(テキスト) 不正解
- t1 第3回
- 全文(テキスト) 正解
- t2 第1回
- 全文(テキスト) 不正解
- t2 第2回
- 全文(テキスト) 不正解
- t2 第3回
- 全文(テキスト) 不正解
- t3 第1回
- 全文(テキスト) 正解
- t3 第2回
- 全文(テキスト) 不正解
- t3 第3回
- 全文(テキスト) 不正解
- t4 第1回
- 全文(テキスト) 正解
- t4 第2回
- 全文(テキスト) 不正解
- t4 第3回
- 全文(テキスト) 不正解
- t5 第1回
- 全文(テキスト) 不正解
- t5 第2回
- 全文(テキスト) 不正解
- t5 第3回
- 全文(テキスト) 不正解
- t6 第1回
- 全文(テキスト) 不正解
- t6 第2回
- 全文(テキスト) 不正解
- t6 第3回
- 全文(テキスト) 正解
MATERIALS
課題に使った材料
架空の株式会社サンプル商事の会議記録。決定・やること・保留・雑談が混ざっている。毎回作り直す この回のために2026年11月17日に作り直したものです。 落として、同じことをやり直せます。
- kaigi_kiroku.txt 3KB
- kaigi_kotae.txt 1KB
METHOD
測り方
やり直せるように、この回の条件をそのまま書いています。
測ったAIと、そのときのモデル名
AIは中身が黙って変わります。画面に出ていたモデル名と、確認した時刻を残しています。
| AI | プラン | 画面に出ていたモデル名 | 確認した時刻 |
|---|---|---|---|
| ChatGPT | ChatGPT Plus | 思考量 High | 2026-11-17 19:42 |
| Gemini | Google AI Pro | Flash-Lite | 2026-11-17 19:42 |
| Claude | Claude Ultra | Fable 5 高 | 2026-11-17 19:42 |
| Copilot | 無料のMicrosoftアカウント | 2026-11-17 19:42 |
この回でやったこと
- 課題に使う材料を、この回のために作り直しました。架空の会社のデータで、実在の企業・人物は含みません。
- 課題を6問つくり、正解をこの時点で決めました。
- ChatGPT・Gemini・Claude・Copilotへ、同じ課題文と同じ材料を送りました。
- 1問につき3回、毎回あたらしい会話で投げました。
- 投げる順番は回ごとに入れ替えました。時間帯のかたよりが順位に出ないようにするためです。
- 待ち時間は300秒までとし、 過ぎたものは時間切れとして記録しました。
- 採点は機械採点のみ(AIに採点させていない)です。
- 送信した試行はのべ72回、 そのうち有効だったのは72回です。
答えが返らなかったときの数え方
- 断られた・時間切れ
分母に入れて、不正解として数えます。仕事では答えが返らないのと同じためです。
- プランの上限に当たった
分母から外します。その試行は測れなかったものとして扱います。
- 人間確認の画面が出た
そこで止めます。機械で押すことも、避けることもしません。
- AInformation側の操作の失敗
分母から外します。AIの欠点としては書きません。
LIMITS
この測定の限界
数字だけを見て判断されないように、測れていないことを書いています。
- 1日1回の測定である。日や課題が変われば順位は変わる
- プランはChatGPT Plus/Google AI Pro/Claude Ultra/無料のMicrosoftアカウント(測る前に画面で確かめた)
- Copilotは無料の枠で測っていて、有料プランの結果ではない。Copilotとの差には、使えるモデルや回数の違いも入っている
- 既定のモデル・既定のモードだけで測っている(Deep Research などは使っていない)
- 課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない
- 機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない
- ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない
- 画面に出ているモデル名を読み取れないAIがある回は、その欄を空(null)にしている。読み取れた回はそのまま載せている
DATA
公開しているデータ
CSVは1行が1試行です。このページに出している数字は、そのCSVを数え直したものと一致します。 ライセンスは CC BY 4.0 です。
- 最新版(CSV) 1行=1試行 12KB
- 最新版(JSON) 57KB
- v1(公開時の版)(CSV) 1行=1試行 12KB
- v1(公開時の版)(JSON) 57KB
累積の順位表は /data/research/bench/leaderboard.json にあります。 版(v1)は消しません。引用したリンクが切れないようにするためです。
FAQ
よくある質問
- どうやって測っているのですか
- 4つのAIに、まったく同じ課題文と同じ材料を、同じ日のうちに投げています。毎回あたらしい会話を開いて、前の回答を引きずらせません。投げる順番は回ごとに入れ替えています。送信してから回答が止まるまでの秒数もあわせて記録しています。
- なぜ同じ課題を3回も投げるのですか
- AIは同じ質問でも答えが変わるためです。1回だけの結果では、それが実力なのか偶然なのかが分かりません。3回投げて、結論が一致した割合を再現率として出しています。
- 採点は誰がしているのですか
- プログラムだけで採点しています。AIには採点させていません。正解は課題を作る時点で決めてあり、数値の一致・語句の有無・形式の適合・URLが実際に開けるか・数式を実行した結果で決まります。好き嫌いは点にしていません。
- 課題に使っているデータは実在の会社のものですか
- いいえ。架空の会社のデータを毎回あたらしく作っています。実在の企業・人物・他社の文章は使っていません。使った材料はそのまま配っているので、同じことをやり直せます。
- AIが答えられなかったときはどう数えていますか
- 断られた・時間切れは分母に入れて不正解として数えます。プランの上限に当たった・人間確認の画面が出たときは分母から外し、その回は測れなかったものとして扱います。AInformation側の操作の失敗も分母から外し、AIの欠点としては書きません。
- 使っているのは無料版ですか、有料版ですか
- プランは回によって違います。測る前に画面で確かめて、回ごとのページに載せています。無料の枠で測ったAIがある回は、その回のページに書いています。どのAIもブラウザの画面から使っています。APIではありません。プラン名と、画面に出ていたモデル名・確認した時刻を回ごとに記録しています。
- この順位は、どのAIがいちばん賢いかを表していますか
- いいえ。測っているのは決まった仕事の課題での正解率・所要時間・再現率・出典の実在率・指示の遵守率の5つだけです。書き味や読みやすさ、長い会話でのふるまいは測っていません。課題が変われば順位も変わります。
- 引用してもいいですか
- はい。CC BY 4.0 です。出典として「AInformation調べ AI実務ベンチ」と、使ったページのURL・測定日を書いてください。集計はJSONとCSVでも取れます。1行1試行のCSVを見れば、載せている数字を数え直せます。
CITATION
この測定を引用する
出典:AInformation調べ「AI実務ベンチ 議事録から決定事項とやることを抜く(4AI・6課題・各3回)」(https://ainformation.jp/research/bench/gijiroku-2026-11-18) 測定日 2026年11月18日 6課題・各3回・有効な試行72回
コピーしました
数字を引くときは、分母(何試行中いくつか)も一緒に書いてください。 出典として AInformation調べ と、使ったページのURL・測定日を書いてください。