{
 "bench_id": "b007-kossi",
 "slug": "kossi-2026-10-03",
 "title": "決められた枚数と字数で資料の骨子を作る（4AI・6課題・各3回）",
 "field": "資料の骨子づくり",
 "field_key": "kossi",
 "round": 1,
 "run_date": "2026-10-03",
 "timezone": "Asia/Tokyo",
 "version": "v1",
 "conductor": "AInformation編集部",
 "funder": "AInformation（自社負担）",
 "sponsor": null,
 "method": {
  "tasks_n": 6,
  "repeats": 3,
  "ais_n": 4,
  "trials_total": 72,
  "trials_valid": 72,
  "excluded": [],
  "new_chat_each_time": true,
  "order_rotated": true,
  "order_by_repeat": {
   "1": [
    "ChatGPT",
    "Gemini",
    "Claude",
    "Copilot"
   ],
   "2": [
    "Gemini",
    "Claude",
    "Copilot",
    "ChatGPT"
   ],
   "3": [
    "Claude",
    "Copilot",
    "ChatGPT",
    "Gemini"
   ]
  },
  "timeout_seconds": 300,
  "scoring": "機械採点のみ（AIに採点させていない）",
  "materials_generated_at": "2026-10-02",
  "materials_note": "架空の株式会社サンプル商事の社内資料の条件（ページ数・箇条書きの数・字数）。条件は毎回変える",
  "counted_outcomes": [
   "scored",
   "refused",
   "timeout"
  ],
  "excluded_outcomes": [
   "limit",
   "our_error",
   "human_check"
  ],
  "answer_cleanup": "画面から答えを読み取るとき、AIによっては読み上げ用の1行や考えている途中の要約が答えと同じ枠に入る。採点の前に「答えの先頭にあって、あとでそっくり同じ行がもう一度出てくる」ところまでを落とす。4AIとも同じ処理をする。落とす前の答えは answers/ にそのまま置いてある",
  "csv_url": "/data/research/bench/kossi-2026-10-03/latest.csv"
 },
 "ais": [
  {
   "name": "ChatGPT",
   "plan": "ChatGPT Pro",
   "model_shown": "Medium",
   "checked_at": "2026-10-02 19:57"
  },
  {
   "name": "Gemini",
   "plan": "Google AI Pro",
   "model_shown": "Flash-Lite",
   "checked_at": "2026-10-02 19:57"
  },
  {
   "name": "Claude",
   "plan": "Claude Max",
   "model_shown": "Opus 4.8 高",
   "checked_at": "2026-10-02 19:57"
  },
  {
   "name": "Copilot",
   "plan": "Microsoft 365 Personal",
   "model_shown": null,
   "checked_at": "2026-10-02 19:57"
  }
 ],
 "summary": {
  "headline": "6課題を各3回ずつ投げたところ、正解率が一番高かったのはChatGPTで15/18試行の83.3%だった（2位はGeminiの77.8%）",
  "winner": "ChatGPT",
  "note": "1回の検証の結果。日や課題が変われば順位は変わる"
 },
 "scores": [
  {
   "ai": "ChatGPT",
   "correct": 15,
   "trials": 18,
   "accuracy": 0.8333,
   "accuracy_display": 83.3,
   "seconds_median": 20.4,
   "seconds_min": 14.3,
   "seconds_max": 23.6,
   "consistency": 1.0,
   "consistency_display": 100.0,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 1.0,
   "instruction_follow_display": 100.0,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Gemini",
   "correct": 14,
   "trials": 18,
   "accuracy": 0.7778,
   "accuracy_display": 77.8,
   "seconds_median": 19.3,
   "seconds_min": 19.1,
   "seconds_max": 22.5,
   "consistency": 1.0,
   "consistency_display": 100.0,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 1.0,
   "instruction_follow_display": 100.0,
   "failures": {
    "refused": 0,
    "timeout": 1,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Claude",
   "correct": 11,
   "trials": 18,
   "accuracy": 0.6111,
   "accuracy_display": 61.1,
   "seconds_median": 35.5,
   "seconds_min": 13.9,
   "seconds_max": 51.0,
   "consistency": 0.8889,
   "consistency_display": 88.9,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 1.0,
   "instruction_follow_display": 100.0,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  },
  {
   "ai": "Copilot",
   "correct": 5,
   "trials": 18,
   "accuracy": 0.2778,
   "accuracy_display": 27.8,
   "seconds_median": 17.1,
   "seconds_min": 14.2,
   "seconds_max": 20.2,
   "consistency": 0.8889,
   "consistency_display": 88.9,
   "source_alive": null,
   "source_alive_display": null,
   "instruction_follow": 0.9444,
   "instruction_follow_display": 94.4,
   "failures": {
    "refused": 0,
    "timeout": 0,
    "limit": 0,
    "our_error": 0,
    "human_check": 0
   }
  }
 ],
 "tasks": [
  {
   "task_id": "t1",
   "level": "易",
   "prompt": "次の条件を読んで、資料の各ページのタイトルだけを書いてください。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・1ページにつき1行。タイトルの文字だけを書く\n・行数は条件のページ数ちょうどにする\n・1行の文字数は条件のタイトルの上限を超えない\n・番号・記号・前置きは付けない",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'line_count', 'min': 5, 'max': 5}／{'type': 'max_line_chars', 'value': 18}",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 50,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.6,
       "chars": 52,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.2,
       "chars": 49,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.2,
       "chars": 64,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_gemini_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.3,
       "chars": 66,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.1,
       "chars": 76,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 211,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_01_t1.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.1,
       "chars": 178,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 198,
       "why": "形式すべて合う：line_count ○（行数 5／5〜5行）／max_line_chars ○（18文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 39,
       "why": "形式が違う：line_count ×（行数 1／5〜5行）／max_line_chars ×（18文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_copilot_1.txt",
       "shot": null
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 46,
       "why": "形式が違う：line_count ×（行数 1／5〜5行）／max_line_chars ×（18文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 40,
       "why": "形式が違う：line_count ×（行数 1／5〜5行）／max_line_chars ×（18文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t1_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t2",
   "level": "易",
   "prompt": "次の条件の資料は、何について話す資料ですか。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・答えはちょうど1行。テーマを条件に書いてあるとおりに書く\n・説明は書かない",
   "scorer": "contains_all",
   "answer_key": "（機械採点 contains_all）テーマ＝ECの年末施策の説明",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.3,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.4,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.2,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "timeout",
       "seconds": 300.5,
       "chars": 0,
       "why": "時間切れ（制限時間まで答えが止まらなかった）",
       "instruction_follow": null,
       "answer_url": null,
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.3,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.1,
       "chars": 21,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.1,
       "chars": 83,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_02_t2.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 13.9,
       "chars": 61,
       "why": "1項目中0項目あり・足りない テーマ",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 13.9,
       "chars": 37,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 77,
       "why": "1項目中0項目あり・足りない テーマ",
       "instruction_follow": false,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_copilot_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/copilot_02_t2.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.3,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 14.2,
       "chars": 10,
       "why": "1項目すべてあり",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t2_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t3",
   "level": "中",
   "prompt": "次の条件で、資料の骨子を作ってください。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・1ページにつき ページN: タイトル の行を1行、その下に ・ で始まる箇条書きの行を条件の数だけ書く\n・ページ数は条件のとおりちょうどにする。多くも少なくもしない\n・前置きと感想は書かない。空行も入れない",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'line_prefix', 'pattern': '^(ページ[0-9]+[:：]|[・\\\\-])'}／{'type': 'line_count', 'min': 20, 'max': 20}",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.7,
       "chars": 351,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 320,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.3,
       "chars": 339,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.4,
       "chars": 423,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_gemini_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.3,
       "chars": 395,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.2,
       "chars": 425,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 47.9,
       "chars": 500,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_03_t3.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 41.8,
       "chars": 488,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 47.7,
       "chars": 474,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 283,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_copilot_1.txt",
       "shot": null
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 309,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 280,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t3_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t4",
   "level": "中",
   "prompt": "次の条件の資料の構成を、マークダウンの表にしてください。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・列はちょうど2つ。ページ / タイトル の順にする\n・行は条件のページ数ちょうど（見出しの行と区切りの行を除く）\n・表だけを出す。前置きと説明は書かない",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'table_cols', 'value': 2}／{'type': 'line_count', 'min': 7, 'max': 7}",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 20.6,
       "chars": 72,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 6／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_04_t4.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 20.4,
       "chars": 77,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 6／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 77,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 6／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 19.3,
       "chars": 88,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 6／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_gemini_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_04_t4.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 22.3,
       "chars": 84,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 6／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 19.3,
       "chars": 499,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 26／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 32.4,
       "chars": 157,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ○（行数 7／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_04_t4.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 32.4,
       "chars": 155,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ○（行数 7／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 29.4,
       "chars": 154,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ○（行数 7／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 20.2,
       "chars": 322,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 21／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_copilot_1.txt",
       "shot": null
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 283,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 21／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 290,
       "why": "形式が違う：table_cols ×（表が無い）／line_count ×（行数 21／7〜7行）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t4_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t5",
   "level": "難",
   "prompt": "次の条件で、資料の骨子を作ってください。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・1ページにつき ページN: タイトル の行を1行、その下に ・ で始まる箇条書きの行を条件の数だけ書く\n・ページ数・箇条書きの数は条件のとおりちょうどにする\n・どの行も46文字を超えない\n・数字を入れられるところは数字を入れる。前置きと感想は書かない。空行も入れない",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'line_prefix', 'pattern': '^(ページ[0-9]+[:：]|[・\\\\-])'}／{'type': 'line_count', 'min': 20, 'max': 20}／{'type': 'max_line_chars', 'value': 46}",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.6,
       "chars": 408,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.5,
       "chars": 343,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.5,
       "chars": 370,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.2,
       "chars": 651,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_gemini_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.2,
       "chars": 506,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.4,
       "chars": 517,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 47.9,
       "chars": 438,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_05_t5.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 47.8,
       "chars": 452,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 51.0,
       "chars": 464,
       "why": "形式すべて合う：line_prefix ○（形のそろわない行 0／20本）／line_count ○（行数 20／20〜20行）／max_line_chars ○（46文字を超える行 0本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 312,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）／max_line_chars ×（46文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_copilot_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/copilot_05_t5.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 277,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）／max_line_chars ×（46文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 17.3,
       "chars": 290,
       "why": "形式が違う：line_prefix ○（形のそろわない行 0／1本）／line_count ×（行数 1／20〜20行）／max_line_chars ×（46文字を超える行 1本）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t5_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  },
  {
   "task_id": "t6",
   "level": "難",
   "prompt": "次の条件で資料の骨子を作り、JSON だけを出力してください。\n\n■ 資料の骨子をつくるための条件（架空・株式会社サンプル商事）\n\nテーマ：ECの年末施策の説明\n相手：社内の部長6名\n時間：10分\n\n決まり\n・ページ数はちょうど 5 ページ\n・1ページにつき、タイトル1行と箇条書きちょうど 3 行\n・タイトルは 18 文字以内\n・箇条書きの各行は 40文字以内\n・数字を入れられるところは数字を入れる\n\n書き方\n・出力は JSON だけ。前後に説明文を書かない\n・形は {\"pages\": [{\"no\": 1, \"title\": \"タイトル\", \"bullets\": [\"…\"]}]} にする\n・pages の数は条件のページ数ちょうどにする\n・bullets の数は条件の箇条書きの数ちょうどにする",
   "scorer": "format_check",
   "answer_key": "（機械採点 format_check）{'type': 'json_valid'}／{'type': 'json_keys', 'keys': ['pages']}／{'type': 'json_list_len', 'key': 'pages', 'value': 5}",
   "materials": [
    "/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"
   ],
   "per_ai": [
    {
     "ai": "ChatGPT",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.5,
       "chars": 482,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/chatgpt_06_t6.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 23.6,
       "chars": 520,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.7,
       "chars": 519,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Gemini",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 22.5,
       "chars": 730,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_gemini_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/gemini_06_t6.png"
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.2,
       "chars": 979,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_gemini_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 19.1,
       "chars": 646,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_gemini_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Claude",
     "trials": [
      {
       "n": 1,
       "ok": false,
       "outcome": "scored",
       "seconds": 38.6,
       "chars": 723,
       "why": "形式が違う：json_valid ×（JSONとして読めない）／json_keys ×（JSONの形が違う）／json_list_len ×（pages のリストが無い）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_claude_1.txt",
       "shot": "/data/research/bench/kossi-2026-10-03/shots/claude_06_t6.png"
      },
      {
       "n": 2,
       "ok": false,
       "outcome": "scored",
       "seconds": 44.8,
       "chars": 765,
       "why": "形式が違う：json_valid ×（JSONとして読めない）／json_keys ×（JSONの形が違う）／json_list_len ×（pages のリストが無い）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_claude_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": false,
       "outcome": "scored",
       "seconds": 41.7,
       "chars": 792,
       "why": "形式が違う：json_valid ×（JSONとして読めない）／json_keys ×（JSONの形が違う）／json_list_len ×（pages のリストが無い）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_claude_3.txt",
       "shot": null
      }
     ]
    },
    {
     "ai": "Copilot",
     "trials": [
      {
       "n": 1,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.1,
       "chars": 468,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_copilot_1.txt",
       "shot": null
      },
      {
       "n": 2,
       "ok": true,
       "outcome": "scored",
       "seconds": 20.2,
       "chars": 472,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_copilot_2.txt",
       "shot": null
      },
      {
       "n": 3,
       "ok": true,
       "outcome": "scored",
       "seconds": 17.0,
       "chars": 469,
       "why": "形式すべて合う：json_valid ○（JSONとして読めた）／json_keys ○（キーそろう）／json_list_len ○（pages 5件／5件）",
       "instruction_follow": true,
       "answer_url": "/data/research/bench/kossi-2026-10-03/answers/t6_copilot_3.txt",
       "shot": null
      }
     ]
    }
   ]
  }
 ],
 "limits": [
  "1日1回の測定である。日や課題が変われば順位は変わる",
  "プランは各AIの有料版（ChatGPT Pro／Google AI Pro／Claude Max／Microsoft 365 Personal）。無料版の結果ではない",
  "既定のモデル・既定のモードだけで測っている（Deep Research などは使っていない）",
  "課題は架空の株式会社サンプル商事の自作データ。実在の企業のデータでの結果ではない",
  "機械で採点できる課題だけを扱っている。文章のうまさ・読みやすさは測っていない",
  "ブラウザで人が使うのと同じ画面から測っている。APIの結果ではない",
  "画面に出ているモデル名を読み取れないAIがある回は、その欄を空（null）にしている。読み取れた回はそのまま載せている"
 ],
 "license": "CC BY 4.0",
 "attribution": "出典として AInformation調べ と、使ったページのURL・測定日を書いてください。",
 "page_url": "https://ainformation.jp/research/bench/kossi-2026-10-03"
}