本文へ移動
NEWS
AInformation 実測

議事録から決定事項とやることを抜く(4AI・6課題・各3回)

AInformationが2026年11月18日に議事録・要約の6課題をChatGPT・Copilot・Claude・Geminiへ各3回ずつ投げたところ、正解率はChatGPTの83.3%(18試行中15)がいちばん高くなりました。採点はプログラムだけで行い、AIには採点させていません。

AIごとのスコアを見る →
83.3% この回でいちばん高い正解率
ChatGPT 18試行中15
2026年11月18日 測定
  • 6問課題
  • 3回1問あたりの試行
  • 4つ測ったAI
  • 72回有効な試行
  • v1公開版

1回の検証の結果。日や課題が変われば順位は変わる

分野:議事録・要約 測定日:2026年11月18日 実施:AInformation編集部 費用:AInformation(自社負担) 依頼主:なし(依頼主はいません) 採点:機械採点のみ(AIに採点させていない)

当たるものがありませんでした。検索の言葉を消すと全部戻ります。

RESULT

この回で分かったこと

下の1行は、採点の結果からそのまま作ったものです。ページ側で足した言葉はありません。

  • 議事録・要約 6課題・各3回 6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPTで15/18試行の83.3%だった(2位はCopilotの77.8%) 有効な試行は72回。 1回の検証の結果。日や課題が変われば順位は変わる。 AIごとのスコアを見る

SCORES

AIごとのスコア

並びは正解率の高い順です。分母は、その指標を測れた試行の数です。 「—」は測っていないという意味で、0%ではありません。

議事録から決定事項とやることを抜く(4AI・6課題・各3回) AIごとのスコア
AI 正解率正解 ÷ 有効な試行 再現率3回で結論が一致 出典の実在率URLが開けた割合 指示の遵守率字数・形式を守った 所要時間中央値/幅
1ChatGPT 83.3% 18試行中15 100% 6課題中 — 83.3% 17.1秒 14〜26.5秒
2Copilot 77.8% 18試行中14 100% 6課題中 — 64.7% 20秒 16.9〜26.2秒
3Claude 61.1% 18試行中11 88.9% 6課題中 — 27.8% 22.9秒 13.8〜35.2秒
4Gemini 27.8% 18試行中5 44.4% 6課題中 — 83.3% 18.9秒 18.9〜19秒

出典の実在率は、答えと一緒にURLを挙げてもらう課題があった回だけ測っています。 ChatGPT・Copilot・Claude・Geminiの「—」は、この回ではその課題を出していないという意味です。0%ではありません。

答えが返らなかった試行
Copilot … 時間切れ 1回
断られた・時間切れは分母に入れて不正解として数えています。上限・人間確認・AInformation側の操作の失敗は分母から外しています。

TASKS

課題ごとの結果

1つの課題を、4つのAIへ3回ずつ投げています。 ○が正解、×が不正解です。下の数字は、その試行にかかった秒数です。 課題の全文・先に決めた正解・なぜその判定になったかは、それぞれ開くと読めます。

易

次の会議記録から、「やることを持ち帰った人」の名前だけを挙げてください。 決まり ・1人につき1行。行の先頭は ・ … 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える

  • ChatGPT
    • ChatGPT 第1回 正解 14秒
    • ChatGPT 第2回 正解 14.2秒
    • ChatGPT 第3回 正解 14.1秒

    3試行中3が正解

  • Copilot
    • Copilot 第1回 正解 16.9秒
    • Copilot 第2回 正解 16.9秒
    • Copilot 第3回 正解 16.9秒

    3試行中3が正解

  • Claude
    • Claude 第1回 正解 13.8秒
    • Claude 第2回 正解 13.9秒
    • Claude 第3回 正解 13.9秒

    3試行中3が正解

  • Gemini
    • Gemini 第1回 正解 19秒
    • Gemini 第2回 不正解 18.9秒
    • Gemini 第3回 正解 18.9秒

    3試行中2が正解

課題の全文この文をそのまま4つのAIへ送りました(1,313字)

次の会議記録から、「やることを持ち帰った人」の名前だけを挙げてください。 決まり ・1人につき1行。行の先頭は ・ にする。名前だけを書き、内容は書かない ・「やること」は担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)だけ ・同じ人が複数のやることを持っていても1行にまとめる ・やることを持っていない出席者は書かない ・前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました

(機械採点 set_match)高橋[高橋]/山本[山本]/鈴木[鈴木] 作り足しは0件まで

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中11が正解)
ChatGPT 第1回 正解
3件すべて一致・作り足し0件 (14秒) この回答の全文
ChatGPT 第2回 正解
3件すべて一致・作り足し0件 (14.2秒) この回答の全文
ChatGPT 第3回 正解
3件すべて一致・作り足し0件 (14.1秒) この回答の全文
Copilot 第1回 正解
3件すべて一致・作り足し0件 (16.9秒) この回答の全文
Copilot 第2回 正解
3件すべて一致・作り足し0件 (16.9秒) この回答の全文
Copilot 第3回 正解
3件すべて一致・作り足し0件 (16.9秒) この回答の全文
Claude 第1回 正解
3件すべて一致・作り足し0件 (13.8秒) この回答の全文
Claude 第2回 正解
3件すべて一致・作り足し0件 (13.9秒) この回答の全文
Claude 第3回 正解
3件すべて一致・作り足し0件 (13.9秒) この回答の全文
Gemini 第1回 正解
3件すべて一致・作り足し0件 (19秒) この回答の全文
Gemini 第2回 不正解
3件中2件一致・漏れ 山本 (18.9秒) この回答の全文
Gemini 第3回 正解
3件すべて一致・作り足し0件 (18.9秒) この回答の全文
易

次の会議記録で決まったことのうち、金額(円)が出てくるものだけを抜き出してください。 決まり ・1件につき1行。行の… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える

  • ChatGPT
    • ChatGPT 第1回 正解 14.1秒
    • ChatGPT 第2回 正解 14.1秒
    • ChatGPT 第3回 正解 17.2秒

    3試行中3が正解

  • Copilot
    • Copilot 第1回 正解 16.9秒
    • Copilot 第2回 不正解 時間切れ
    • Copilot 第3回 正解 20秒

    3試行中2が正解

  • Claude
    • Claude 第1回 不正解 20秒
    • Claude 第2回 不正解 20秒
    • Claude 第3回 不正解 22.9秒

    3試行中0が正解

  • Gemini
    • Gemini 第1回 不正解 18.9秒
    • Gemini 第2回 不正解 19秒
    • Gemini 第3回 不正解 19秒

    3試行中0が正解

課題の全文この文をそのまま4つのAIへ送りました(1,381字)

次の会議記録で決まったことのうち、金額(円)が出てくるものだけを抜き出してください。 決まり ・1件につき1行。行の先頭は 金額1: 金額2: … の通し番号にする ・金額が出てこない決定は書かない ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない  - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします)  - 「今日は決めません」と言われたもの  - すでに終わったことの報告・数字の共有・次回の日程 ・金額は記録のとおりに書く ・前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中2つが1回でも正解しました

(機械採点 set_match)ギフト[ギフト+3,990]/出店[仙台+110万] 作り足しは0件まで

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中5が正解)
ChatGPT 第1回 正解
2件すべて一致・作り足し0件 (14.1秒) この回答の全文
ChatGPT 第2回 正解
2件すべて一致・作り足し0件 (14.1秒) この回答の全文
ChatGPT 第3回 正解
2件すべて一致・作り足し0件 (17.2秒) この回答の全文
Copilot 第1回 正解
2件すべて一致・作り足し0件 (16.9秒) この回答の全文
Copilot 第2回 不正解
時間切れ(制限時間まで答えが止まらなかった) (302.2秒)
Copilot 第3回 正解
2件すべて一致・作り足し0件 (20秒) この回答の全文
Claude 第1回 不正解
2件中2件一致・作り足し1件 (20秒) この回答の全文
Claude 第2回 不正解
2件中2件一致・作り足し1件 (20秒) この回答の全文
Claude 第3回 不正解
2件中2件一致・作り足し1件 (22.9秒) この回答の全文
Gemini 第1回 不正解
2件中0件一致・漏れ ギフト/出店・作り足し2件 (18.9秒) この回答の全文
Gemini 第2回 不正解
2件中0件一致・漏れ ギフト/出店・作り足し2件 (19秒) この回答の全文
Gemini 第3回 不正解
2件中0件一致・漏れ ギフト/出店・作り足し2件 (19秒) この回答の全文
中

次の会議記録を200文字以内で要約し、最後に2行だけ数を書いてください。 決まり ・要約は200文字以内 ・要約のあ… 採点の型:exact_number 数値が正解と一致するか。丸めの幅も先に決めてある

  • ChatGPT
    • ChatGPT 第1回 正解 26.4秒
    • ChatGPT 第2回 正解 23.3秒
    • ChatGPT 第3回 正解 17.2秒

    3試行中3が正解

  • Copilot
    • Copilot 第1回 正解 23.1秒
    • Copilot 第2回 正解 16.9秒
    • Copilot 第3回 正解 23秒

    3試行中3が正解

  • Claude
    • Claude 第1回 正解 32.2秒
    • Claude 第2回 正解 35.2秒
    • Claude 第3回 正解 26.1秒

    3試行中3が正解

  • Gemini
    • Gemini 第1回 正解 19秒
    • Gemini 第2回 不正解 18.9秒
    • Gemini 第3回 不正解 19秒

    3試行中1が正解

課題の全文この文をそのまま4つのAIへ送りました(1,357字)

次の会議記録を200文字以内で要約し、最後に2行だけ数を書いてください。 決まり ・要約は200文字以内 ・要約のあとに 決定: ◯件 と やること: ◯件 の2行を、この順で書く ・件数は半角数字で書く ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない  - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします)  - 「今日は決めません」と言われたもの  - すでに終わったことの報告・数字の共有・次回の日程 ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました

(機械採点 exact_number)決まったことの件数=5(誤差±0)/やることの件数=4(誤差±0)

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
ChatGPT 第1回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (26.4秒) この回答の全文
ChatGPT 第2回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23.3秒) この回答の全文
ChatGPT 第3回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (17.2秒) この回答の全文
Copilot 第1回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23.1秒) この回答の全文
Copilot 第2回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (16.9秒) この回答の全文
Copilot 第3回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (23秒) この回答の全文
Claude 第1回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (32.2秒) この回答の全文
Claude 第2回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (35.2秒) この回答の全文
Claude 第3回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (26.1秒) この回答の全文
Gemini 第1回 正解
数値すべて一致:決まったことの件数 ○(正解5)/やることの件数 ○(正解4) (19秒) この回答の全文
Gemini 第2回 不正解
数値が違う:決まったことの件数 ×(正解5・答え3990.0)/やることの件数 ○(正解4) (18.9秒) この回答の全文
Gemini 第3回 不正解
数値が違う:決まったことの件数 ×(正解5・答え12.0)/やることの件数 ○(正解4) (19秒) この回答の全文
中

次の会議記録を読んで、4つの質問に答えてください。 決まり ・答えはちょうど4行。次回の日程/決まったことの件数/や… 採点の型:contains_all 必須の語句が全部入っているか

  • ChatGPT
    • ChatGPT 第1回 正解 17.1秒
    • ChatGPT 第2回 正解 20.2秒
    • ChatGPT 第3回 正解 14.1秒

    3試行中3が正解

  • Copilot
    • Copilot 第1回 正解 20秒
    • Copilot 第2回 正解 26.2秒
    • Copilot 第3回 正解 23秒

    3試行中3が正解

  • Claude
    • Claude 第1回 正解 29.1秒
    • Claude 第2回 正解 23秒
    • Claude 第3回 正解 26.1秒

    3試行中3が正解

  • Gemini
    • Gemini 第1回 正解 18.9秒
    • Gemini 第2回 不正解 19秒
    • Gemini 第3回 不正解 19秒

    3試行中1が正解

課題の全文この文をそのまま4つのAIへ送りました(1,396字)

次の会議記録を読んで、4つの質問に答えてください。 決まり ・答えはちょうど4行。次回の日程/決まったことの件数/やることの件数/決めなかったことの件数 の順で書く ・行の形は 次回: …/決定: ◯件/やること: ◯件/保留: ◯件 にする ・件数は半角数字で書く。説明は書かない ・「決まったこと」はこの会議で決めた方針のこと。次の3つは入れない  - 担当者の名前を呼んで頼んだ「やること」(◯◯さん、…お願いします)  - 「今日は決めません」と言われたもの  - すでに終わったことの報告・数字の共有・次回の日程 ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました

(機械採点 contains_all)次回の日程=12月15日/決まったことの件数=5または5件/やることの件数=4または4件/保留の件数=3または3件

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中10が正解)
ChatGPT 第1回 正解
4項目すべてあり (17.1秒) この回答の全文
ChatGPT 第2回 正解
4項目すべてあり (20.2秒) この回答の全文
ChatGPT 第3回 正解
4項目すべてあり (14.1秒) この回答の全文
Copilot 第1回 正解
4項目すべてあり (20秒) この回答の全文
Copilot 第2回 正解
4項目すべてあり (26.2秒) この回答の全文
Copilot 第3回 正解
4項目すべてあり (23秒) この回答の全文
Claude 第1回 正解
4項目すべてあり (29.1秒) この回答の全文
Claude 第2回 正解
4項目すべてあり (23秒) この回答の全文
Claude 第3回 正解
4項目すべてあり (26.1秒) この回答の全文
Gemini 第1回 正解
4項目すべてあり (18.9秒) この回答の全文
Gemini 第2回 不正解
4項目中3項目あり・足りない 保留の件数 (19秒) この回答の全文
Gemini 第3回 不正解
4項目中3項目あり・足りない 保留の件数 (19秒) この回答の全文
難

次の会議記録から「誰が・何を・いつまでに」やることを抜き出し、マークダウンの表で出してください。 決まり ・列はちょ… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える

  • ChatGPT
    • ChatGPT 第1回 不正解 14.1秒
    • ChatGPT 第2回 不正解 20.2秒
    • ChatGPT 第3回 不正解 14秒

    3試行中0が正解

  • Copilot
    • Copilot 第1回 不正解 16.9秒
    • Copilot 第2回 不正解 17秒
    • Copilot 第3回 不正解 16.9秒

    3試行中0が正解

  • Claude
    • Claude 第1回 不正解 19.9秒
    • Claude 第2回 不正解 19.9秒
    • Claude 第3回 不正解 20秒

    3試行中0が正解

  • Gemini
    • Gemini 第1回 不正解 18.9秒
    • Gemini 第2回 不正解 19秒
    • Gemini 第3回 不正解 18.9秒

    3試行中0が正解

課題の全文この文をそのまま4つのAIへ送りました(1,329字)

次の会議記録から「誰が・何を・いつまでに」やることを抜き出し、マークダウンの表で出してください。 決まり ・列はちょうど3つ。担当 / 内容 / 期限 の順にする ・「やること」は担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)だけ ・決まったこと・報告・「今日は決めません」と言われたものは入れない ・期限は記録に書いてあるとおりに書く ・表だけを出す。前置きと感想は書かない ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中0つが1回でも正解しました

(機械採点 set_match)高橋[高橋+撮影+11月5日]/山本[山本+見積+12月]/高橋[高橋+アルバイト+11月5日]/鈴木[鈴木+案内文+12月30日] 作り足しは0件まで

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中0が正解)
ChatGPT 第1回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (14.1秒) この回答の全文
ChatGPT 第2回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (20.2秒) この回答の全文
ChatGPT 第3回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (14秒) この回答の全文
Copilot 第1回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (16.9秒) この回答の全文
Copilot 第2回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (17秒) この回答の全文
Copilot 第3回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (16.9秒) この回答の全文
Claude 第1回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19.9秒) この回答の全文
Claude 第2回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19.9秒) この回答の全文
Claude 第3回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (20秒) この回答の全文
Gemini 第1回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (18.9秒) この回答の全文
Gemini 第2回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (19秒) この回答の全文
Gemini 第3回 不正解
4件中0件一致・漏れ 高橋/山本/高橋/鈴木 (18.9秒) この回答の全文
難

次の会議記録を読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・… 採点の型:set_match 決められた項目をいくつ抜けたか。漏れと作り足しの両方を数える

  • ChatGPT
    • ChatGPT 第1回 正解 20.3秒
    • ChatGPT 第2回 正解 26.5秒
    • ChatGPT 第3回 正解 17.1秒

    3試行中3が正解

  • Copilot
    • Copilot 第1回 正解 23秒
    • Copilot 第2回 正解 20秒
    • Copilot 第3回 正解 26.1秒

    3試行中3が正解

  • Claude
    • Claude 第1回 正解 29.1秒
    • Claude 第2回 不正解 29.2秒
    • Claude 第3回 正解 32.2秒

    3試行中2が正解

  • Gemini
    • Gemini 第1回 不正解 18.9秒
    • Gemini 第2回 不正解 19秒
    • Gemini 第3回 正解 18.9秒

    3試行中1が正解

課題の全文この文をそのまま4つのAIへ送りました(1,436字)

次の会議記録を読み、JSON だけを出力してください。 決まり ・出力は JSON だけ。前後に説明文を書かない ・形は {"decided": ["…"], "todo": ["…"], "pending": ["…"]} にする ・decided=この会議で決めた方針。todo=担当者の名前を呼んで頼んだもの(◯◯さん、…お願いします)。  pending=「今日は決めません」と言われたもの ・すでに終わったことの報告・数字の共有・次回の日程はどれにも入れない ・todo の各要素は 担当者名: 何をするか(期限) の形にする ・記録に出てくる数字(金額・人数・日付・割合)は落とさずに入れる ---- 会議記録 ここから ---- ■ 商品企画・販売の定例会議(2026年11月18日 10:00〜11:30 会議室B) 出席:鈴木、高橋、小林、山本、佐藤、中村 書記:中村 ※この記録は AInformation編集部 がAIの検証のために作った架空のものです。実在の会社・人物とは関係ありません。 ■ やりとり 佐藤:ECの12月の売上は28,000千円でした。前の年の同じ月より6%多い数字です。 鈴木:品質のクレーム件数は毎月の会議で報告します。前月の1.5倍を超えたら、その場で対策を決めることにします。 山本:コピー用紙は先週発注しました。今月中に届きます。 小林:倉庫の稼働は今のところ問題ありません。12月の第3週は出荷が集中する見込みです。 小林:物流倉庫をもう1か所増やす件は、今日は決めません。候補地の家賃を調べてから次回に回します。 山本:来期の組織の話は今日は決めません。今日の議題ではないので次回へ回します。 佐藤:先月の社内アンケートでは、在宅勤務を続けたい人が69%でした。結果は全員へ共有ずみです。 山本:先週のクレームは28件でした。前の月より11件多く、原因は縫製のほつれが5件、残りは配送中の箱つぶれです。 山本:年末のギフトは1本に絞ります。商品C(冷感タオル)の詰め合わせ、3,990円です。2本セットの案は今回は見送ります。 山本:新しいカタログの入稿は9月15日にすませました。表紙の写真も差し替えずみです。 中村:高橋さん、短期アルバイトの募集を11月5日に開始してください。 小林:商品E(保温ボトル)のパッケージと商品ページに、洗濯回数の目安を50回程度と大きく書きます。次の生産からです。 中村:ノベルティの制作も今日は決めません。予算が決まっていないので保留にします。 山本:仙台への出店は出すと決めました。駅前の物件の賃料が110万円まで下がることが条件です。下がらなければ見送ります。 鈴木:取引先から、納期を今の7日から5日へ縮められないかと聞かれました。工場からは難しいという回答をもらっています。 中村:山本さん、配送業者2社から見積もりを取って、12月の会議で報告してください。 高橋:下期の重点は3つにします。商品B(エコバッグ)の立て直し、EC比率を46%まで上げること、物流費を売上比で0.7ポイント下げることです。 中村:高橋さん、ギフトの写真撮影の手配をお願いします。11月5日までに撮影を終えてください。 中村:鈴木さん、値上げの案内文を12月30日までに作ってください。 ■ 次回 12月15日 10:00〜 会議室B 以上 ---- 会議記録 ここまで ----

先に決めた正解課題を作った時点で決めています。4つのAI中4つが1回でも正解しました

(機械採点 set_match・見出しごとに照合)decided:ギフト/重点/出店/表示/クレーム todo:高橋/山本/高橋/鈴木 pending:物流倉庫/ノベルティ/来期の組織

採点の中身なぜその判定になったかを1試行ずつ出しています(12試行中9が正解)
ChatGPT 第1回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (20.3秒) この回答の全文
ChatGPT 第2回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (26.5秒) この回答の全文
ChatGPT 第3回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (17.1秒) この回答の全文
Copilot 第1回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (23秒) この回答の全文
Copilot 第2回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (20秒) この回答の全文
Copilot 第3回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (26.1秒) この回答の全文
Claude 第1回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (29.1秒) この回答の全文
Claude 第2回 不正解
見出しで食い違い(decided 0/5/todo 0/4/pending 0/3) (29.2秒) この回答の全文
Claude 第3回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (32.2秒) この回答の全文
Gemini 第1回 不正解
見出しで食い違い(decided 5/5/todo 0/4・作り足し4/pending 3/3) (18.9秒) この回答の全文
Gemini 第2回 不正解
見出しで食い違い(decided 5/5/todo 3/4・作り足し1/pending 3/3) (19秒) この回答の全文
Gemini 第3回 正解
見出しごとに一致(decided 5/5/todo 4/4/pending 3/3) (18.9秒) この回答の全文

ANSWERS

4つのAIの回答の全文

採点のもとになった回答を、手を入れずにそのまま置いています。 読んだ人が同じように数え直せるようにするためです。

MATERIALS

課題に使った材料

架空の株式会社サンプル商事の会議記録。決定・やること・保留・雑談が混ざっている。毎回作り直す この回のために2026年11月17日に作り直したものです。 落として、同じことをやり直せます。

METHOD

測り方

やり直せるように、この回の条件をそのまま書いています。

測ったAIと、そのときのモデル名

AIは中身が黙って変わります。画面に出ていたモデル名と、確認した時刻を残しています。

測ったAIとモデル名
AIプラン 画面に出ていたモデル名確認した時刻
ChatGPT ChatGPT Plus 思考量 High 2026-11-17 19:42
Gemini Google AI Pro Flash-Lite 2026-11-17 19:42
Claude Claude Ultra Fable 5 高 2026-11-17 19:42
Copilot 無料のMicrosoftアカウント 2026-11-17 19:42

この回でやったこと

  1. 課題に使う材料を、この回のために作り直しました。架空の会社のデータで、実在の企業・人物は含みません。
  2. 課題を6問つくり、正解をこの時点で決めました。
  3. ChatGPT・Gemini・Claude・Copilotへ、同じ課題文と同じ材料を送りました。
  4. 1問につき3回、毎回あたらしい会話で投げました。
  5. 投げる順番は回ごとに入れ替えました。時間帯のかたよりが順位に出ないようにするためです。
  6. 待ち時間は300秒までとし、 過ぎたものは時間切れとして記録しました。
  7. 採点は機械採点のみ(AIに採点させていない)です。
  8. 送信した試行はのべ72回、 そのうち有効だったのは72回です。

答えが返らなかったときの数え方

  • 断られた・時間切れ

    分母に入れて、不正解として数えます。仕事では答えが返らないのと同じためです。

  • プランの上限に当たった

    分母から外します。その試行は測れなかったものとして扱います。

  • 人間確認の画面が出た

    そこで止めます。機械で押すことも、避けることもしません。

  • AInformation側の操作の失敗

    分母から外します。AIの欠点としては書きません。

LIMITS

この測定の限界

数字だけを見て判断されないように、測れていないことを書いています。

  • 1日1回の測定である。日や課題が変われば順位は変わる
  • プランはChatGPT Plus/Google AI Pro/Claude Ultra/無料のMicrosoftアカウント(測る前に画面で確かめた)
  • Copilotは無料の枠で測っていて、有料プランの結果ではない。Copilotとの差には、使えるモデルや回数の違いも入っている
  • 既定のモデル・既定のモードだけで測っている(Deep Research などは使っていない)
  • 課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない
  • 機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない
  • ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない
  • 画面に出ているモデル名を読み取れないAIがある回は、その欄を空(null)にしている。読み取れた回はそのまま載せている

DATA

公開しているデータ

CSVは1行が1試行です。このページに出している数字は、そのCSVを数え直したものと一致します。 ライセンスは CC BY 4.0 です。

累積の順位表は /data/research/bench/leaderboard.json にあります。 版(v1)は消しません。引用したリンクが切れないようにするためです。

FAQ

よくある質問

どうやって測っているのですか
4つのAIに、まったく同じ課題文と同じ材料を、同じ日のうちに投げています。毎回あたらしい会話を開いて、前の回答を引きずらせません。投げる順番は回ごとに入れ替えています。送信してから回答が止まるまでの秒数もあわせて記録しています。
なぜ同じ課題を3回も投げるのですか
AIは同じ質問でも答えが変わるためです。1回だけの結果では、それが実力なのか偶然なのかが分かりません。3回投げて、結論が一致した割合を再現率として出しています。
採点は誰がしているのですか
プログラムだけで採点しています。AIには採点させていません。正解は課題を作る時点で決めてあり、数値の一致・語句の有無・形式の適合・URLが実際に開けるか・数式を実行した結果で決まります。好き嫌いは点にしていません。
課題に使っているデータは実在の会社のものですか
いいえ。架空の会社のデータを毎回あたらしく作っています。実在の企業・人物・他社の文章は使っていません。使った材料はそのまま配っているので、同じことをやり直せます。
AIが答えられなかったときはどう数えていますか
断られた・時間切れは分母に入れて不正解として数えます。プランの上限に当たった・人間確認の画面が出たときは分母から外し、その回は測れなかったものとして扱います。AInformation側の操作の失敗も分母から外し、AIの欠点としては書きません。
使っているのは無料版ですか、有料版ですか
プランは回によって違います。測る前に画面で確かめて、回ごとのページに載せています。無料の枠で測ったAIがある回は、その回のページに書いています。どのAIもブラウザの画面から使っています。APIではありません。プラン名と、画面に出ていたモデル名・確認した時刻を回ごとに記録しています。
この順位は、どのAIがいちばん賢いかを表していますか
いいえ。測っているのは決まった仕事の課題での正解率・所要時間・再現率・出典の実在率・指示の遵守率の5つだけです。書き味や読みやすさ、長い会話でのふるまいは測っていません。課題が変われば順位も変わります。
引用してもいいですか
はい。CC BY 4.0 です。出典として「AInformation調べ AI実務ベンチ」と、使ったページのURL・測定日を書いてください。集計はJSONとCSVでも取れます。1行1試行のCSVを見れば、載せている数字を数え直せます。

CITATION

この測定を引用する

出典:AInformation調べ「AI実務ベンチ 議事録から決定事項とやることを抜く(4AI・6課題・各3回)」(https://ainformation.jp/research/bench/gijiroku-2026-11-18) 測定日 2026年11月18日 6課題・各3回・有効な試行72回

数字を引くときは、分母(何試行中いくつか)も一緒に書いてください。 出典として AInformation調べ と、使ったページのURL・測定日を書いてください。

関連するページ