{
 "bench_id": "b009-mail",
 "slug": "mail-2026-10-14",
 "title": "納品が遅れるお詫びのメールを書く（4AI・6課題・各3回）",
 "field": "メール・ビジネス文書",
 "field_key": "mail",
 "round": 1,
 "run_date": "2026-10-14",
 "timezone": "Asia/Tokyo",
 "version": "v1",
 "conductor": "AInformation編集部",
 "funder": "AInformation（自社負担）",
 "sponsor": null,
 "method": {
  "tasks_n": 6,
  "repeats": 3,
  "ais_n": 4,
  "trials_total": 72,
  "trials_valid": 72,
  "excluded": [],
  "new_chat_each_time": true,
  "order_rotated": true,
  "order_by_repeat": {
   "1": [
    "ChatGPT",
    "Gemini",
    "Claude",
    "Copilot"
   ],
   "2": [
    "Gemini",
    "Claude",
    "Copilot",
    "ChatGPT"
   ],
   "3": [
    "Claude",
    "Copilot",
    "ChatGPT",
    "Gemini"
   ]
  },
  "timeout_seconds": 300,
  "scoring": "機械採点のみ（AIに採点させていない）",
  "materials_generated_at": "2026-10-13",
  "materials_note": "架空の株式会社サンプル商事の「納品が遅れる」状況メモ。入れるべき要素は作るときに決めてある",
  "counted_outcomes": [
   "scored",
   "refused",
   "timeout"
  ],
  "excluded_outcomes": [
   "limit",
   "our_error",
   "human_check"
  ],
  "answer_cleanup": "画面から答えを読み取るとき、AIによっては読み上げ用の1行や考えている途中の要約が答えと同じ枠に入る。採点の前に「答えの先頭にあって、あとでそっくり同じ行がもう一度出てくる」ところまでを落とす。4AIとも同じ処理をする。落とす前の答えは answers/ にそのまま置いてある",
  "csv_url": "/data/research/bench/mail-2026-10-14/latest.csv"
 },
 "ais": [
  {
   "name": "ChatGPT",
   "plan": "ChatGPT Pro",
   "model_shown": "Medium",
   "checked_at": "2026-10-13 20:17"
  },
  {
   "name": "Gemini",
   "plan": "Google AI Pro",
   "model_shown": "Flash 高値",
   "checked_at": "2026-10-13 20:17"
  },
  {
   "name": "Claude",
   "plan": "Claude Max",
   "model_shown": "Opus 4.8 高",
   "checked_at": "2026-10-13 20:17"
  },
  {
   "name": "Copilot",
   "plan": "Microsoft 365 Personal",
   "model_shown": null,
   "checked_at": "2026-10-13 20:17"
  }
 ],
 "summary": {
  "headline": "6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPT・Copilotの100.0%で同率だった",
  "winner": null,
  "note": "1回の検証の結果。日や課題が変われば順位は変わる"
 },
 "scores": [
  {
   "ai": "ChatGPT",
   "correct": 18,
   "trials": 18,
   "accuracy": 1.0,
   "accuracy_display": 100.0,
   "seconds_median": 17.3,
   "seconds_min": 14.1,
   "seconds_max": 23.7,
   "consistency": 1.0,
   "consistency_display": 100.0,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 1.0,
   "instruction_follow_display": 100.0,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Gemini",
   "correct": 7,
   "trials": 18,
   "accuracy": 0.3889,
   "accuracy_display": 38.9,
   "seconds_median": 98.6,
   "seconds_min": 19.1,
   "seconds_max": 234.0,
   "consistency": 0.75,
   "consistency_display": 75.0,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 0.9,
   "instruction_follow_display": 90.0,
   "failures": {
    "refused": 4,
    "timeout": 4,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Claude",
   "correct": 15,
   "trials": 18,
   "accuracy": 0.8333,
   "accuracy_display": 83.3,
   "seconds_median": 18.7,
   "seconds_min": 13.9,
   "seconds_max": 57.1,
   "consistency": 0.8889,
   "consistency_display": 88.9,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 0.5,
   "instruction_follow_display": 50.0,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Copilot",
   "correct": 18,
   "trials": 18,
   "accuracy": 1.0,
   "accuracy_display": 100.0,
   "seconds_median": 17.1,
   "seconds_min": 14.1,
   "seconds_max": 20.3,
   "consistency": 1.0,
   "consistency_display": 100.0,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 0.8333,
   "instruction_follow_display": 83.3,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  }
 ],
 "tasks": [
  {
   "task_id": "t1",
   "level": "易",
   "prompt": "次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。\n\n決まり\n・メールの本文だけを出す。前置きと解説は書かない\n・感嘆符（！）は使わない\n・メモにある日付・数量・電話番号は落とさずに入れる\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "contains_all",
   "answer_key": "（機械採点 contains_all）新しい納品日＝11月3日または11/3／注文数＝650または650／当初の納品日＝10月27日または10/27／先に届ける数＝325または325／お詫びの言葉＝お詫びまたは申し訳または恐れ入り／電話番号＝03-4590-5977",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 475,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 499,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.7,
       "chars": 538,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 19.1,
       "chars": 33,
       "why": "6項目中0項目あり・足りない 新しい納品日／注文数／当初の納品日／先に届ける数／お詫びの言葉／電話番号",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_gemini_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_01_t1.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 19.1,
       "chars": 39,
       "why": "6項目中0項目あり・足りない 新しい納品日／注文数／当初の納品日／先に届ける数／お詫びの言葉／電話番号",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "refused",
       "seconds": 22.4,
       "chars": 35,
       "why": "断られた（ポリシー）。不正解として分母に入れる",
       "instruction_follow": null,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 638,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 26.3,
       "chars": 788,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 26.3,
       "chars": 670,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.2,
       "chars": 392,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 439,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 369,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t1_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t2",
   "level": "易",
   "prompt": "次の状況メモから、3つの数を書き出してください。\n\n決まり\n・答えはちょうど3行。注文数: ◯／先に届ける数: ◯／遅れる日数: ◯ の順で書く\n・数は半角で書く。説明は書かない\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "exact_number",
   "answer_key": "（機械採点 exact_number）注文数＝650（誤差±0）／先に届ける数＝325（誤差±0）／遅れる日数＝7（誤差±0）",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.3,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.3,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.1,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 139.1,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_gemini_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 37.3,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 120.0,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.9,
       "chars": 67,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.1,
       "chars": 67,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 13.9,
       "chars": 67,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 29,
       "why": "数値すべて一致：注文数 ○（正解650）／先に届ける数 ○（正解325）／遅れる日数 ○（正解7）",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t2_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t3",
   "level": "中",
   "prompt": "次の状況メモをもとに、取引先へ送るお詫びのメールの本文を200文字以内で書いてください。\n\n決まり\n・本文だけを出す。件名と署名は書かない\n・200文字以内。新しい納品日・先に届ける数・遅れる日数は必ず入れる\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "contains_all",
   "answer_key": "（機械採点 contains_all）新しい納品日＝11月3日または11/3／先に届ける数＝325または325／遅れる日数＝7または7日",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.2,
       "chars": 164,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 165,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.4,
       "chars": 173,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "timeout",
       "seconds": 302.7,
       "chars": 0,
       "why": "時間切れ（制限時間まで答えが止まらなかった）",
       "instruction_follow": null,
       "answer_url": null,
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_03_t3.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "refused",
       "seconds": 19.4,
       "chars": 56,
       "why": "断られた（ポリシー）。不正解として分母に入れる",
       "instruction_follow": null,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 215.0,
       "chars": 166,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.0,
       "chars": 364,
       "why": "3項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 305,
       "why": "3項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 396,
       "why": "3項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 161,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 150,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 165,
       "why": "3項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t3_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t4",
   "level": "中",
   "prompt": "次の状況メモをもとに、取引先へ送るお詫びメールの件名だけを作ってください。\n\n決まり\n・答えはちょうど1行。件名の文字だけを書く\n・30文字以内。「納品」という語を必ず入れる\n・「件名:」や「Re:」は付けない\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'line_count', 'min': 1, 'max': 1}／{'type': 'max_chars', 'value': 30}／{'type': 'must_contain', 'values': ['納品']}／{'type': 'must_not_contain', 'values': ['Re:', '件名']}",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.2,
       "chars": 12,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 12／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_04_t4.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.3,
       "chars": 24,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 24／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.2,
       "chars": 19,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 19／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 77.2,
       "chars": 23,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 23／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_gemini_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_04_t4.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "timeout",
       "seconds": 302.9,
       "chars": 0,
       "why": "時間切れ（制限時間まで答えが止まらなかった）",
       "instruction_follow": null,
       "answer_url": null,
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 208.7,
       "chars": 29,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 29／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 13.9,
       "chars": 80,
       "why": "形式が違う：line_count ×（行数 7／1〜1行）／max_chars ○（文字数 30／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_04_t4.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 14.0,
       "chars": 64,
       "why": "形式が違う：line_count ×（行数 7／1〜1行）／max_chars ○（文字数 23／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 14.0,
       "chars": 79,
       "why": "形式が違う：line_count ×（行数 8／1〜1行）／max_chars ×（文字数 35／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 16.9,
       "chars": 19,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 19／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_04_t4.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 17,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 17／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.1,
       "chars": 17,
       "why": "形式すべて合う：line_count ○（行数 1／1〜1行）／max_chars ○（文字数 17／上限30）／must_contain ○（すべてあり）／must_not_contain ○（入っていない）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t4_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t5",
   "level": "難",
   "prompt": "次の状況メモをもとに、取引先へ送るお詫びのメールを書いてください。\n\n決まり\n・宛名は 株式会社サンプル物産 購買部 ご担当者さま にする\n・全体で400文字以内\n・感嘆符（！）は使わない\n・メモにある日付・数量・電話番号は落とさずに入れる\n・本文だけを出す。前置きと解説は書かない\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "contains_all",
   "answer_key": "（機械採点 contains_all）新しい納品日＝11月3日または11/3／注文数＝650または650／当初の納品日＝10月27日または10/27／先に届ける数＝325または325／お詫びの言葉＝お詫びまたは申し訳または恐れ入り／電話番号＝03-4590-5977",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.6,
       "chars": 388,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.7,
       "chars": 400,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.2,
       "chars": 372,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 28.2,
       "chars": 33,
       "why": "6項目中0項目あり・足りない 新しい納品日／注文数／当初の納品日／先に届ける数／お詫びの言葉／電話番号",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_gemini_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 234.0,
       "chars": 338,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "refused",
       "seconds": 144.4,
       "chars": 60,
       "why": "断られた（ポリシー）。不正解として分母に入れる",
       "instruction_follow": null,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 41.7,
       "chars": 407,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 51.2,
       "chars": 380,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 57.1,
       "chars": 393,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 372,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.2,
       "chars": 333,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 353,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t5_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t6",
   "level": "難",
   "prompt": "次の状況メモをもとに、取引先へ送るお詫びメールを作り、JSON だけを出力してください。\n\n決まり\n・出力は JSON だけ。前後に説明文を書かない\n・形は {\"subject\": \"件名\", \"body\": \"本文\"} にする\n・body にはメモの日付・数量・電話番号を落とさずに入れる\n\n---- 状況メモ ここから ----\n■ メールを書くための状況メモ（架空）\n\n宛先：株式会社サンプル物産 購買部 ご担当者さま\n差出人：株式会社サンプル商事 営業部 鈴木\n電話：03-4590-5977\n\n・商品C（冷感タオル） を 650個 ご注文いただいている。\n・当初の納品予定は 2026年10月27日だった。\n・船便が港で止まっているため、納品が 2026年11月3日 にずれる見込み。\n・遅れる期間は 7 日。\n・全数の納品は 11月3日 だが、先に 325個 だけ 10月27日 に届けられる。\n・代替品の用意は無い。値引きの話は今回はしない。\n・次の連絡は 10月17日 までに入れる。\n---- 状況メモ ここまで ----",
   "scorer": "contains_all",
   "answer_key": "（機械採点 contains_all）新しい納品日＝11月3日または11/3／注文数＝650または650／当初の納品日＝10月27日または10/27／先に届ける数＝325または325／お詫びの言葉＝お詫びまたは申し訳または恐れ入り／電話番号＝03-4590-5977",
   "materials": [
    "/data/research/bench/mail-2026-10-14/materials/mail_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.4,
       "chars": 470,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_chatgpt_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/chatgpt_06_t6.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.7,
       "chars": 514,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 449,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "refused",
       "seconds": 37.4,
       "chars": 54,
       "why": "断られた（ポリシー）。不正解として分母に入れる",
       "instruction_follow": null,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_gemini_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/gemini_06_t6.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "timeout",
       "seconds": 301.9,
       "chars": 0,
       "why": "時間切れ（制限時間まで答えが止まらなかった）",
       "instruction_follow": null,
       "answer_url": null,
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "timeout",
       "seconds": 301.7,
       "chars": 0,
       "why": "時間切れ（制限時間まで答えが止まらなかった）",
       "instruction_follow": null,
       "answer_url": null,
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.2,
       "chars": 884,
       "why": "6項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_claude_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/claude_06_t6.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 32.6,
       "chars": 896,
       "why": "6項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 26.1,
       "chars": 929,
       "why": "6項目すべてあり",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 447,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_copilot_1.txt",
       "shot": "/data/research/bench/mail-2026-10-14/shots/copilot_06_t6.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 459,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 420,
       "why": "6項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/mail-2026-10-14/answers/t6_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  }
 ],
 "limits": [
  "1日1回の測定である。日や課題が変われば順位は変わる",
  "プランは各AIの有料版（ChatGPT Pro／Google AI Pro／Claude Max／Microsoft 365 Personal）。無料版の結果ではない",
  "既定のモデル・既定のモードだけで測っている（Deep Research などは使っていない）",
  "課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない",
  "機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない",
  "ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない",
  "画面に出ているモデル名を読み取れないAIがある回は、その欄を空（null）にしている。読み取れた回はそのまま載せている"
 ],
 "license": "CC BY 4.0",
 "attribution": "出典として AInformation調べ と、使ったページのURL・測定日を書いてください。",
 "page_url": "https://ainformation.jp/research/bench/mail-2026-10-14"
}