{"bench_id":"b007-kossi","slug":"kossi-2026-10-03","title":"Crear el esquema de un documento con un número fijo de páginas y caracteres (4 IA, 6 tareas, 3 intentos cada una)","field":"Creación de esquemas de documentos","field_key":"kossi","round":1,"run_date":"2026-10-03","timezone":"Asia/Tokyo","version":"v1","conductor":"AInformation","funder":"AInformation (financiado por la propia empresa)","sponsor":null,"method":{"tasks_n":6,"repeats":3,"ais_n":4,"trials_total":72,"trials_valid":72,"excluded":[],"new_chat_each_time":true,"order_rotated":true,"order_by_repeat":{"1":["ChatGPT","Gemini","Claude","Copilot"],"2":["Gemini","Claude","Copilot","ChatGPT"],"3":["Claude","Copilot","ChatGPT","Gemini"]},"timeout_seconds":300,"scoring":"Solo calificación mecánica (la IA no califica)","materials_generated_at":"2026-10-02","materials_note":"Condiciones del documento interno de la empresa ficticia Sample Shoji (número de páginas, cantidad de viñetas, cantidad de caracteres). Las condiciones cambian cada vez","counted_outcomes":["scored","refused","timeout"],"excluded_outcomes":["limit","our_error","human_check"],"answer_cleanup":"Al leer la respuesta desde la pantalla, en algunas IA una línea pensada para lectura en voz alta o un resumen del razonamiento en curso aparece en el mismo recuadro que la respuesta. Antes de calificar, se elimina la parte que está al principio de la respuesta y que luego se repite de forma idéntica más adelante. Se aplica el mismo proceso a las 4 IA. Las respuestas sin este recorte se conservan tal cual en answers/","csv_url":"/data/research/bench/kossi-2026-10-03/latest.csv"},"ais":[{"name":"ChatGPT","plan":"ChatGPT Pro","model_shown":"Medium","checked_at":"2026-10-02 19:57"},{"name":"Gemini","plan":"Google AI Pro","model_shown":"Flash-Lite","checked_at":"2026-10-02 19:57"},{"name":"Claude","plan":"Claude Max","model_shown":"Opus 4.8 alto","checked_at":"2026-10-02 19:57"},{"name":"Copilot","plan":"Microsoft 365 Personal","model_shown":null,"checked_at":"2026-10-02 19:57"}],"summary":{"headline":"Al dar 6 tareas 3 veces cada una, el mayor porcentaje de aciertos fue el de ChatGPT, con 15/18 intentos (83.3 %) (en segundo lugar quedó Gemini, con 77.8 %)","winner":"ChatGPT","note":"Resultado de una sola verificación. El orden puede cambiar si cambian el día o las tareas"},"scores":[{"ai":"ChatGPT","correct":15,"trials":18,"accuracy":0.83330000000000004067857162226573564112186431884765625,"accuracy_display":83.2999999999999971578290569595992565155029296875,"seconds_median":20.39999999999999857891452847979962825775146484375,"seconds_min":14.300000000000000710542735760100185871124267578125,"seconds_max":23.60000000000000142108547152020037174224853515625,"consistency":1,"consistency_display":100,"source_alive":null,"source_alive_display":null,"instruction_follow":1,"instruction_follow_display":100,"failures":{"refused":0,"timeout":0,"limit":0,"our_error":0,"human_check":0}},{"ai":"Gemini","correct":14,"trials":18,"accuracy":0.77780000000000004689582056016661226749420166015625,"accuracy_display":77.7999999999999971578290569595992565155029296875,"seconds_median":19.300000000000000710542735760100185871124267578125,"seconds_min":19.10000000000000142108547152020037174224853515625,"seconds_max":22.5,"consistency":1,"consistency_display":100,"source_alive":null,"source_alive_display":null,"instruction_follow":1,"instruction_follow_display":100,"failures":{"refused":0,"timeout":1,"limit":0,"our_error":0,"human_check":0}},{"ai":"Claude","correct":11,"trials":18,"accuracy":0.611099999999999976552089719916693866252899169921875,"accuracy_display":61.10000000000000142108547152020037174224853515625,"seconds_median":35.5,"seconds_min":13.9000000000000003552713678800500929355621337890625,"seconds_max":51,"consistency":0.888900000000000023447910280083306133747100830078125,"consistency_display":88.900000000000005684341886080801486968994140625,"source_alive":null,"source_alive_display":null,"instruction_follow":1,"instruction_follow_display":100,"failures":{"refused":0,"timeout":0,"limit":0,"our_error":0,"human_check":0}},{"ai":"Copilot","correct":5,"trials":18,"accuracy":0.277799999999999991384669328908785246312618255615234375,"accuracy_display":27.800000000000000710542735760100185871124267578125,"seconds_median":17.10000000000000142108547152020037174224853515625,"seconds_min":14.199999999999999289457264239899814128875732421875,"seconds_max":20.199999999999999289457264239899814128875732421875,"consistency":0.888900000000000023447910280083306133747100830078125,"consistency_display":88.900000000000005684341886080801486968994140625,"source_alive":null,"source_alive_display":null,"instruction_follow":0.94440000000000001723066134218242950737476348876953125,"instruction_follow_display":94.400000000000005684341886080801486968994140625,"failures":{"refused":0,"timeout":0,"limit":0,"our_error":0,"human_check":0}}],"tasks":[{"task_id":"t1","level":"易","prompt":"Lee las siguientes condiciones y escribe solo los títulos de cada página del documento.\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- Escribe 1 línea por página. Escribe solo el texto del título\n- El número de líneas debe ser exactamente el número de páginas indicado en las condiciones\n- La cantidad de caracteres de cada línea no debe superar el límite indicado para el título en las condiciones\n- No agregues números, símbolos ni introducciones","scorer":"format_check","answer_key":"(Evaluación automática format_check) {'type': 'line_count', 'min': 5, 'max': 5} / {'type': 'max_line_chars', 'value': 18}","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":17.300000000000000710542735760100185871124267578125,"chars":50,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_01_t1.png"},{"n":2,"ok":true,"outcome":"scored","seconds":17.60000000000000142108547152020037174224853515625,"chars":52,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":17.199999999999999289457264239899814128875732421875,"chars":49,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":19.199999999999999289457264239899814128875732421875,"chars":64,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_gemini_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_01_t1.png"},{"n":2,"ok":true,"outcome":"scored","seconds":19.300000000000000710542735760100185871124267578125,"chars":66,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_gemini_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":19.10000000000000142108547152020037174224853515625,"chars":76,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":20.10000000000000142108547152020037174224853515625,"chars":211,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_01_t1.png"},{"n":2,"ok":true,"outcome":"scored","seconds":20.10000000000000142108547152020037174224853515625,"chars":178,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_claude_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":17,"chars":198,"why":"Todo el formato coincide: line_count correcto (líneas 5/5–5) / max_line_chars correcto (0 líneas con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":39,"why":"El formato no coincide: line_count incorrecto (líneas 1/5–5) / max_line_chars incorrecto (1 línea con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_copilot_1.txt","shot":null},{"n":2,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":46,"why":"El formato no coincide: line_count incorrecto (líneas 1/5–5) / max_line_chars incorrecto (1 línea con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_copilot_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":40,"why":"El formato no coincide: line_count incorrecto (líneas 1/5–5) / max_line_chars incorrecto (1 línea con más de 18 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t1_copilot_3.txt","shot":null}]}]},{"task_id":"t2","level":"易","prompt":"¿Sobre qué tema trata el documento con las siguientes condiciones?\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- La respuesta debe ser exactamente 1 línea. Escribe el tema tal como aparece en las condiciones\n- No escribas explicaciones","scorer":"contains_all","answer_key":"(Evaluación automática contains_all) Tema = explicación de las medidas de fin de año para el comercio electrónico","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":14.300000000000000710542735760100185871124267578125,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_02_t2.png"},{"n":2,"ok":true,"outcome":"scored","seconds":17.39999999999999857891452847979962825775146484375,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":17.199999999999999289457264239899814128875732421875,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":false,"outcome":"timeout","seconds":300.5,"chars":0,"why":"Se agotó el tiempo (la respuesta no se detuvo antes del límite de tiempo)","instruction_follow":null,"answer_url":null,"shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_02_t2.png"},{"n":2,"ok":true,"outcome":"scored","seconds":19.300000000000000710542735760100185871124267578125,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_gemini_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":19.10000000000000142108547152020037174224853515625,"chars":21,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":14.0999999999999996447286321199499070644378662109375,"chars":83,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_02_t2.png"},{"n":2,"ok":false,"outcome":"scored","seconds":13.9000000000000003552713678800500929355621337890625,"chars":61,"why":"0 de 1 elemento presente; falta Tema","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_claude_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":13.9000000000000003552713678800500929355621337890625,"chars":37,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":17,"chars":77,"why":"0 de 1 elemento presente; falta Tema","instruction_follow":false,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_copilot_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/copilot_02_t2.png"},{"n":2,"ok":true,"outcome":"scored","seconds":14.300000000000000710542735760100185871124267578125,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_copilot_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":14.199999999999999289457264239899814128875732421875,"chars":10,"why":"El único elemento está presente","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t2_copilot_3.txt","shot":null}]}]},{"task_id":"t3","level":"中","prompt":"Crea el esquema del documento según las siguientes condiciones.\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- Por cada página, escribe una línea con Página N: título, y debajo escribe la cantidad de líneas de viñetas indicada en las condiciones, cada una comenzando con -\n- El número de páginas debe ser exactamente el indicado en las condiciones, ni más ni menos\n- No escribas introducciones ni comentarios. No dejes líneas vacías","scorer":"format_check","answer_key":"(Evaluación automática format_check) {'type': 'line_prefix', 'pattern': '^(Página[0-9]+[:]|[•\\\\-])'} / {'type': 'line_count', 'min': 20, 'max': 20}","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":20.699999999999999289457264239899814128875732421875,"chars":351,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_03_t3.png"},{"n":2,"ok":true,"outcome":"scored","seconds":20.300000000000000710542735760100185871124267578125,"chars":320,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":20.300000000000000710542735760100185871124267578125,"chars":339,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":19.39999999999999857891452847979962825775146484375,"chars":423,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_gemini_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_03_t3.png"},{"n":2,"ok":true,"outcome":"scored","seconds":19.300000000000000710542735760100185871124267578125,"chars":395,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_gemini_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":19.199999999999999289457264239899814128875732421875,"chars":425,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":47.89999999999999857891452847979962825775146484375,"chars":500,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_03_t3.png"},{"n":2,"ok":true,"outcome":"scored","seconds":41.7999999999999971578290569595992565155029296875,"chars":488,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_claude_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":47.7000000000000028421709430404007434844970703125,"chars":474,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":283,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_copilot_1.txt","shot":null},{"n":2,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":309,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_copilot_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":17,"chars":280,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t3_copilot_3.txt","shot":null}]}]},{"task_id":"t4","level":"中","prompt":"Convierte la estructura del documento con las siguientes condiciones en una tabla en markdown.\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- Debe haber exactamente 2 columnas, en el orden Página / Título\n- El número de filas debe ser exactamente el número de páginas indicado en las condiciones (sin contar la fila de encabezado ni la de separación)\n- Muestra solo la tabla. No escribas introducciones ni explicaciones","scorer":"format_check","answer_key":"(Evaluación automática format_check) {'type': 'table_cols', 'value': 2} / {'type': 'line_count', 'min': 7, 'max': 7}","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":20.60000000000000142108547152020037174224853515625,"chars":72,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 6/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_04_t4.png"},{"n":2,"ok":false,"outcome":"scored","seconds":20.39999999999999857891452847979962825775146484375,"chars":77,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 6/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":17.300000000000000710542735760100185871124267578125,"chars":77,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 6/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":19.300000000000000710542735760100185871124267578125,"chars":88,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 6/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_gemini_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_04_t4.png"},{"n":2,"ok":false,"outcome":"scored","seconds":22.300000000000000710542735760100185871124267578125,"chars":84,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 6/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_gemini_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":19.300000000000000710542735760100185871124267578125,"chars":499,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 26/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":32.39999999999999857891452847979962825775146484375,"chars":157,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count correcto (líneas 7/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_04_t4.png"},{"n":2,"ok":false,"outcome":"scored","seconds":32.39999999999999857891452847979962825775146484375,"chars":155,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count correcto (líneas 7/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_claude_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":29.39999999999999857891452847979962825775146484375,"chars":154,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count correcto (líneas 7/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":20.199999999999999289457264239899814128875732421875,"chars":322,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 21/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_copilot_1.txt","shot":null},{"n":2,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":283,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 21/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_copilot_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":17.300000000000000710542735760100185871124267578125,"chars":290,"why":"El formato no coincide: table_cols incorrecto (no hay tabla) / line_count incorrecto (líneas 21/7–7)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t4_copilot_3.txt","shot":null}]}]},{"task_id":"t5","level":"難","prompt":"Crea el esquema del documento según las siguientes condiciones.\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- Por cada página, escribe una línea con Página N: título, y debajo escribe la cantidad de líneas de viñetas indicada en las condiciones, cada una comenzando con -\n- El número de páginas y la cantidad de viñetas deben ser exactamente los indicados en las condiciones\n- Ninguna línea debe tener más de 46 caracteres\n- Usa números donde sea posible. No escribas introducciones ni comentarios. No dejes líneas vacías","scorer":"format_check","answer_key":"(corrección automática format_check) {'type': 'line_prefix', 'pattern': '^(Página[0-9]+[:]|[·\\\\-])'}/{'type': 'line_count', 'min': 20, 'max': 20}/{'type': 'max_line_chars', 'value': 46}","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":23.60000000000000142108547152020037174224853515625,"chars":408,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_05_t5.png"},{"n":2,"ok":true,"outcome":"scored","seconds":23.5,"chars":343,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":20.5,"chars":370,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":19.199999999999999289457264239899814128875732421875,"chars":651,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_gemini_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_05_t5.png"},{"n":2,"ok":true,"outcome":"scored","seconds":19.199999999999999289457264239899814128875732421875,"chars":506,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_gemini_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":19.39999999999999857891452847979962825775146484375,"chars":517,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":47.89999999999999857891452847979962825775146484375,"chars":438,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_05_t5.png"},{"n":2,"ok":true,"outcome":"scored","seconds":47.7999999999999971578290569595992565155029296875,"chars":452,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_claude_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":51,"chars":464,"why":"Todo el formato coincide: line_prefix correcto (0/20 líneas con formato inconsistente) / line_count correcto (líneas 20/20–20) / max_line_chars correcto (0 líneas con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":312,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20) / max_line_chars incorrecto (1 línea con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_copilot_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/copilot_05_t5.png"},{"n":2,"ok":false,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":277,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20) / max_line_chars incorrecto (1 línea con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_copilot_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":17.300000000000000710542735760100185871124267578125,"chars":290,"why":"El formato no coincide: line_prefix correcto (0/1 líneas con formato inconsistente) / line_count incorrecto (líneas 1/20–20) / max_line_chars incorrecto (1 línea con más de 46 caracteres)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t5_copilot_3.txt","shot":null}]}]},{"task_id":"t6","level":"難","prompt":"Crea el esquema del documento con las siguientes condiciones y entrega solo el JSON.\n\n■ Condiciones para crear el esquema del documento (empresa ficticia Sample Shoji)\n\nTema: explicación de las medidas de fin de año para el comercio electrónico\nDestinatarios: 6 gerentes de departamento de la empresa\nTiempo: 10 minutos\n\nReglas\n- El número de páginas debe ser exactamente 5\n- Cada página debe tener 1 línea de título y exactamente 3 líneas de viñetas\n- El título debe tener 18 caracteres o menos\n- Cada línea de viñeta debe tener 40 caracteres o menos\n- Usa números donde sea posible\n\nFormato de respuesta\n- La salida debe ser solo JSON. No escribas texto antes ni después\n- El formato debe ser {\"pages\": [{\"no\": 1, \"title\": \"título\", \"bullets\": [\"…\"]}]}\n- El número de elementos de pages debe ser exactamente el número de páginas indicado en las condiciones\n- El número de elementos de bullets debe ser exactamente la cantidad de viñetas indicada en las condiciones","scorer":"format_check","answer_key":"(Evaluación automática format_check) {'type': 'json_valid'} / {'type': 'json_keys', 'keys': ['pages']} / {'type': 'json_list_len', 'key': 'pages', 'value': 5}","materials":["/data/research/bench/kossi-2026-10-03/materials/shiryo_brief.txt"],"per_ai":[{"ai":"ChatGPT","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":20.5,"chars":482,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/chatgpt_06_t6.png"},{"n":2,"ok":true,"outcome":"scored","seconds":23.60000000000000142108547152020037174224853515625,"chars":520,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":20.699999999999999289457264239899814128875732421875,"chars":519,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_chatgpt_3.txt","shot":null}]},{"ai":"Gemini","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":22.5,"chars":730,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_gemini_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/gemini_06_t6.png"},{"n":2,"ok":true,"outcome":"scored","seconds":19.199999999999999289457264239899814128875732421875,"chars":979,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_gemini_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":19.10000000000000142108547152020037174224853515625,"chars":646,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_gemini_3.txt","shot":null}]},{"ai":"Claude","trials":[{"n":1,"ok":false,"outcome":"scored","seconds":38.60000000000000142108547152020037174224853515625,"chars":723,"why":"El formato no coincide: json_valid incorrecto (no se pudo leer como JSON) / json_keys incorrecto (la estructura del JSON no coincide) / json_list_len incorrecto (no hay lista pages)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_claude_1.txt","shot":"/data/research/bench/kossi-2026-10-03/shots/claude_06_t6.png"},{"n":2,"ok":false,"outcome":"scored","seconds":44.7999999999999971578290569595992565155029296875,"chars":765,"why":"El formato no coincide: json_valid incorrecto (no se pudo leer como JSON) / json_keys incorrecto (la estructura del JSON no coincide) / json_list_len incorrecto (no hay lista pages)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_claude_2.txt","shot":null},{"n":3,"ok":false,"outcome":"scored","seconds":41.7000000000000028421709430404007434844970703125,"chars":792,"why":"El formato no coincide: json_valid incorrecto (no se pudo leer como JSON) / json_keys incorrecto (la estructura del JSON no coincide) / json_list_len incorrecto (no hay lista pages)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_claude_3.txt","shot":null}]},{"ai":"Copilot","trials":[{"n":1,"ok":true,"outcome":"scored","seconds":17.10000000000000142108547152020037174224853515625,"chars":468,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_copilot_1.txt","shot":null},{"n":2,"ok":true,"outcome":"scored","seconds":20.199999999999999289457264239899814128875732421875,"chars":472,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_copilot_2.txt","shot":null},{"n":3,"ok":true,"outcome":"scored","seconds":17,"chars":469,"why":"Todo el formato coincide: json_valid correcto (se pudo leer como JSON) / json_keys correcto (las claves coinciden) / json_list_len correcto (pages 5/5 elementos)","instruction_follow":true,"answer_url":"/data/research/bench/kossi-2026-10-03/answers/t6_copilot_3.txt","shot":null}]}]}],"limits":["Se trata de una medición realizada una vez al día. El orden puede cambiar según el día o la tarea","El plan corresponde a la versión de pago de cada IA (ChatGPT Pro, Google AI Pro, Claude Max, Microsoft 365 Personal). No son resultados de la versión gratuita","La medición se realizó solo con el modelo y el modo predeterminados (no se usaron funciones como Deep Research)","Las tareas usan datos creados por nosotros para la empresa ficticia Sample Shoji Co., Ltd. No son resultados con datos de una empresa real","Solo se incluyen tareas que se pueden calificar de forma automática. No se mide la calidad ni la legibilidad del texto","La medición se realizó desde la misma pantalla del navegador que usan las personas. No son resultados de la API","En las rondas en las que una IA no permite leer el nombre del modelo que aparece en la pantalla, ese campo se deja vacío (null). En las rondas en las que sí se pudo leer, se muestra tal cual"],"license":"CC BY 4.0","attribution":"Como fuente, escribe AInformation junto con la URL de la página utilizada y la fecha de medición.","page_url":"https://ainformation.jp/research/bench/kossi-2026-10-03"}