Unificar las variantes de escritura de los nombres de socios comerciales (4 IA, 6 tareas, 3 rondas cada una)
Creamos 6 tareas de Limpieza de datos y unificación de nombres y enviamos cada una 3 veces a cada IA: ChatGPT, Gemini, Claude y Copilot. La calificación la hace solo un programa; no dejamos que la IA califique las respuestas.
Las tareas, los materiales y las respuestas de las 4 IA de esta medición están en japonés. Medimos las IA con tareas de trabajo escritas en japonés. Ofrecemos las respuestas completas y los materiales en el japonés original. Ver el original en japonés
Ver puntuaciones por IA →ChatGPT: 15 de 18 intentos
Medido el 19 de octubre de 2026
- 6Tareas
- 3Intentos por tarea
- 4IA medidas
- 72Intentos válidos
- v1Versión publicada
Resultado de una sola verificación. El orden puede cambiar si cambian el día o las tareas
-
ChatGPT
83.3%
Aciertos: 15 de 18 intentos
1.º
ChatGPT Pro
Tiempo de respuesta (mediana): 38.7 segundos -
Gemini
77.8%
Aciertos: 14 de 18 intentos
2.º
Google AI Pro
Tiempo de respuesta (mediana): 63.5 segundos -
Claude
66.7%
Aciertos: 12 de 18 intentos
3.º
Claude Max
Tiempo de respuesta (mediana): 20.2 segundos -
Copilot
66.7%
Aciertos: 12 de 18 intentos
4.º
Microsoft 365 Personal
Tiempo de respuesta (mediana): 17.1 segundos
No hay resultados. Borra la búsqueda para volver a ver todo.
RESULT
Lo que revela esta medición
La línea de abajo se genera directamente a partir de los resultados de la calificación. La página no añade palabras propias.
- Limpieza de datos y unificación de nombres: 6 tareas, 3 intentos por tarea Al dar 6 tareas 3 veces cada una, el mayor porcentaje de aciertos fue el de ChatGPT, con 15/18 intentos (83.3 %) (en segundo lugar quedó Gemini, con 77.8 %) 72 intentos válidos. Resultado de una sola verificación. El orden puede cambiar si cambian el día o las tareas. Ver puntuaciones por IA
SCORES
Puntuaciones por IA
Ordenado por tasa de aciertos, de mayor a menor. La base es el número de intentos en los que se pudo medir ese indicador. “—” significa que no se midió; no es 0%.
| AI | Tasa de aciertosAciertos ÷ intentos válidos | ConsistenciaMisma conclusión en los 3 intentos | Tasa de fuentes realesPorcentaje de URL que se abrieron | Cumplimiento de instruccionesRespetó la extensión y el formato | Tiempo de respuestaMediana / rango |
|---|---|---|---|---|---|
| 1ChatGPT | 83.3% 15 de 18 intentos | 100% de 6 tareas | — | 83.3% | 38.7 s 33–54.6 segundos |
| 2Gemini | 77.8% 14 de 18 intentos | 88.9% de 6 tareas | — | 83.3% | 63.5 s 19.1–134.9 segundos |
| 3Claude | 66.7% 12 de 18 intentos | 100% de 6 tareas | — | 33.3% | 20.2 s 16.9–32.2 segundos |
| 4Copilot | 66.7% 12 de 18 intentos | 100% de 6 tareas | — | 85.7% | 17.1 s 13.9–17.4 segundos |
La tasa de fuentes reales solo se mide en las mediciones que incluyeron una tarea que pedía URL junto con la respuesta. Para ChatGPT, Gemini, Claude y Copilot, “—” significa que esta medición no incluyó ese tipo de tarea. No significa 0 %.
Intentos sin respuesta
Copilot … Tiempo agotado: 4 veces
Los rechazos y los tiempos agotados se mantienen en la base y cuentan como incorrectos. Los límites del plan, las pantallas de verificación humana y los errores de operación de AInformation se excluyen de la base.
TASKS
Resultados por tarea
Enviamos cada tarea a cada una de las 4 IA 3 veces. ○ significa correcto y × significa incorrecto. Los números de abajo son los segundos que tardó cada intento. Abre cada sección para leer el texto completo de la tarea, la respuesta correcta fijada de antemano y por qué se dio cada resultado.
En la siguiente lista de transacciones, el nombre de la empresa cliente aparece escrito de formas distintas. ¿En cuántas… Tipo de calificación: contains_all — Si incluye todas las palabras y expresiones obligatorias
-
ChatGPT
- ChatGPT, intento 1: Correcto 33 s
- ChatGPT, intento 2: Correcto 36.3 s
- ChatGPT, intento 3: Correcto 35.6 s
Aciertos: 3 de 3 intentos
-
Gemini
- Gemini, intento 1: Correcto 127.5 s
- Gemini, intento 2: Correcto 61.6 s
- Gemini, intento 3: Correcto 52.4 s
Aciertos: 3 de 3 intentos
-
Claude
- Claude, intento 1: Correcto 17.5 s
- Claude, intento 2: Correcto 17.1 s
- Claude, intento 3: Correcto 17 s
Aciertos: 3 de 3 intentos
-
Copilot
- Copilot, intento 1: Correcto 17.4 s
- Copilot, intento 2: Correcto 17.1 s
- Copilot, intento 3: Correcto 13.9 s
Aciertos: 3 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (413 caracteres japoneses). Lo que ves aquí es nuestra traducción.
En la siguiente lista de transacciones, el nombre de la empresa cliente aparece escrito de formas distintas. ¿En cuántas empresas quedan agrupadas si se unifican las que son iguales? Reglas - La respuesta debe ser exactamente una línea, con el formato N empresas - No escribas los nombres de las empresas ni una explicación ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 4 de las 4 IA acertaron al menos una vez
(Corrección automática, contains_all) El número de empresas tras agrupar = 4 o 4 empresas o 4 casos
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 12 de 12 intentos)
- ChatGPT, intento 1: Correcto
- El único elemento está presente (33 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Correcto
- El único elemento está presente (36.3 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Correcto
- El único elemento está presente (35.6 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Correcto
- El único elemento está presente (127.5 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Correcto
- El único elemento está presente (61.6 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Correcto
- El único elemento está presente (52.4 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Correcto
- El único elemento está presente (17.5 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Correcto
- El único elemento está presente (17.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Correcto
- El único elemento está presente (17 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Correcto
- El único elemento está presente (17.4 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Correcto
- El único elemento está presente (17.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 3: Correcto
- El único elemento está presente (13.9 segundos) · Texto completo de esta respuesta (en japonés)
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y enumera todas las empresas. Reglas … Tipo de calificación: set_match — Cuántos de los elementos exigidos faltaron. Cuenta tanto las omisiones como los añadidos inventados
-
ChatGPT
- ChatGPT, intento 1: Correcto 36.3 s
- ChatGPT, intento 2: Correcto 36.4 s
- ChatGPT, intento 3: Correcto 38.7 s
Aciertos: 3 de 3 intentos
-
Gemini
- Gemini, intento 1: Correcto 50.1 s
- Gemini, intento 2: Correcto 26.1 s
- Gemini, intento 3: Correcto 89.1 s
Aciertos: 3 de 3 intentos
-
Claude
- Claude, intento 1: Correcto 20.2 s
- Claude, intento 2: Correcto 23.9 s
- Claude, intento 3: Correcto 32.2 s
Aciertos: 3 de 3 intentos
-
Copilot
- Copilot, intento 1: Correcto 17.2 s
- Copilot, intento 2: Correcto 17.1 s
- Copilot, intento 3: Correcto 17 s
Aciertos: 3 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (417 caracteres japoneses). Lo que ves aquí es nuestra traducción.
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y enumera todas las empresas. Reglas - Una línea por empresa. Cada línea debe empezar con - - Las empresas iguales se agrupan en una sola línea. No escribas montos ni cantidades ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 4 de las 4 IA acertaron al menos una vez
(Corrección automática, set_match) Sample Bussan [Sample Bussan] / Sample Shokuhin [Sample Shokuhin] / Sample Kogyo [Sample Kogyo] / Sample Unyu [Sample Unyu] Se permiten 0 adiciones inventadas
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 12 de 12 intentos)
- ChatGPT, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (36.3 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (36.4 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (38.7 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (50.1 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (26.1 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (89.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (20.2 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (23.9 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (32.2 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (17.2 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (17.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (17 segundos) · Texto completo de esta respuesta (en japonés)
En la siguiente lista de transacciones, calcula la cantidad de casos por empresa después de agrupar las que son iguales.… Tipo de calificación: exact_number — Si la cifra coincide con la respuesta correcta. El margen de redondeo se fija de antemano
-
ChatGPT
- ChatGPT, intento 1: Correcto 39.7 s
- ChatGPT, intento 2: Correcto 38.8 s
- ChatGPT, intento 3: Correcto 35.8 s
Aciertos: 3 de 3 intentos
-
Gemini
- Gemini, intento 1: Correcto 19.3 s
- Gemini, intento 2: Correcto 113.4 s
- Gemini, intento 3: Incorrecto 19.1 s
Aciertos: 2 de 3 intentos
-
Claude
- Claude, intento 1: Correcto 20.4 s
- Claude, intento 2: Correcto 16.9 s
- Claude, intento 3: Correcto 19.9 s
Aciertos: 3 de 3 intentos
-
Copilot
- Copilot, intento 1: Correcto 17.4 s
- Copilot, intento 2: Incorrecto Tiempo agotado
- Copilot, intento 3: Incorrecto Tiempo agotado
Aciertos: 1 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (417 caracteres japoneses). Lo que ves aquí es nuestra traducción.
En la siguiente lista de transacciones, calcula la cantidad de casos por empresa después de agrupar las que son iguales. Reglas - Una línea por empresa, con el formato Nombre de la empresa: N casos - Ordena de mayor a menor cantidad. No escribas una explicación ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 4 de las 4 IA acertaron al menos una vez
(Corrección automática, exact_number) Sample Bussan = 4 (margen ±0) / Sample Shokuhin = 3 (margen ±0) / Sample Kogyo = 2 (margen ±0) / Sample Unyu = 2 (margen ±0)
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 9 de 12 intentos)
- ChatGPT, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (39.7 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (38.8 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (35.8 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (19.3 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (113.4 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 4; falta la línea de Sample Bussan) / Sample Shokuhin incorrecto (respuesta correcta 3; falta la línea de Sample Shokuhin) / Sample Kogyo incorrecto (respuesta correcta 2; falta la línea de Sample Kogyo) / Sample Unyu incorrecto (respuesta correcta 2; falta la línea de Sample Unyu) (19.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (20.4 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (16.9 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (19.9 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 4) / Sample Shokuhin correcto (respuesta correcta 3) / Sample Kogyo correcto (respuesta correcta 2) / Sample Unyu correcto (respuesta correcta 2) (17.4 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Incorrecto
- Se agotó el tiempo (la respuesta no se detuvo antes del límite de tiempo) (301.6 segundos)
- Copilot, intento 3: Incorrecto
- Se agotó el tiempo (la respuesta no se detuvo antes del límite de tiempo) (301 segundos)
En la siguiente lista de transacciones, calcula la suma del monto por empresa después de agrupar las que son iguales. Re… Tipo de calificación: exact_number — Si la cifra coincide con la respuesta correcta. El margen de redondeo se fija de antemano
-
ChatGPT
- ChatGPT, intento 1: Correcto 39.4 s
- ChatGPT, intento 2: Correcto 38.7 s
- ChatGPT, intento 3: Correcto 38.9 s
Aciertos: 3 de 3 intentos
-
Gemini
- Gemini, intento 1: Correcto 65.4 s
- Gemini, intento 2: Correcto 31.2 s
- Gemini, intento 3: Correcto 76.9 s
Aciertos: 3 de 3 intentos
-
Claude
- Claude, intento 1: Correcto 26.1 s
- Claude, intento 2: Correcto 26.2 s
- Claude, intento 3: Correcto 23.2 s
Aciertos: 3 de 3 intentos
-
Copilot
- Copilot, intento 1: Correcto 16.9 s
- Copilot, intento 2: Incorrecto Tiempo agotado
- Copilot, intento 3: Correcto 16.9 s
Aciertos: 2 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (431 caracteres japoneses). Lo que ves aquí es nuestra traducción.
En la siguiente lista de transacciones, calcula la suma del monto por empresa después de agrupar las que son iguales. Reglas - Una línea por empresa, con el formato Nombre de la empresa: N yenes - Ordena de mayor a menor monto. Escribe los números en caracteres de ancho medio. No escribas una explicación ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 4 de las 4 IA acertaron al menos una vez
(Corrección automática, exact_number) Sample Bussan = 1,707,000 (margen ±0) / Sample Shokuhin = 1,593,000 (margen ±0) / Sample Kogyo = 1,235,000 (margen ±0) / Sample Unyu = 1,213,000 (margen ±0)
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 11 de 12 intentos)
- ChatGPT, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (39.4 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (38.7 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (38.9 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (65.4 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (31.2 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (76.9 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (26.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (26.2 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (23.2 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (16.9 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Incorrecto
- Se agotó el tiempo (la respuesta no se detuvo antes del límite de tiempo) (301.1 segundos)
- Copilot, intento 3: Correcto
- Todos los valores coinciden: Sample Bussan correcto (respuesta correcta 1,707,000) / Sample Shokuhin correcto (respuesta correcta 1,593,000) / Sample Kogyo correcto (respuesta correcta 1,235,000) / Sample Unyu correcto (respuesta correcta 1,213,000) (16.9 segundos) · Texto completo de esta respuesta (en japonés)
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y preséntalos en una tabla en formato… Tipo de calificación: exact_number — Si la cifra coincide con la respuesta correcta. El margen de redondeo se fija de antemano
-
ChatGPT
- ChatGPT, intento 1: Incorrecto 38.9 s
- ChatGPT, intento 2: Incorrecto 38.7 s
- ChatGPT, intento 3: Incorrecto 38.9 s
Aciertos: 0 de 3 intentos
-
Gemini
- Gemini, intento 1: Incorrecto 119.5 s
- Gemini, intento 2: Incorrecto 80 s
- Gemini, intento 3: Incorrecto 134.9 s
Aciertos: 0 de 3 intentos
-
Claude
- Claude, intento 1: Incorrecto 17 s
- Claude, intento 2: Incorrecto 17 s
- Claude, intento 3: Incorrecto 20.1 s
Aciertos: 0 de 3 intentos
-
Copilot
- Copilot, intento 1: Incorrecto 17.1 s
- Copilot, intento 2: Incorrecto 17 s
- Copilot, intento 3: Incorrecto Tiempo agotado
Aciertos: 0 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (449 caracteres japoneses). Lo que ves aquí es nuestra traducción.
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y preséntalos en una tabla en formato markdown. Reglas - Exactamente 3 columnas, en el orden Nombre de la empresa / Cantidad de casos / Suma de montos - Las empresas iguales se agrupan en una sola línea. Ordena de mayor a menor monto - Muestra solo la tabla. No escribas introducción ni explicación ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 0 de las 4 IA acertaron al menos una vez
(Corrección automática, exact_number) Sample Bussan = 1,707,000 (margen ±0) / Sample Shokuhin = 1,593,000 (margen ±0) / Sample Kogyo = 1,235,000 (margen ±0) / Sample Unyu = 1,213,000 (margen ±0)
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 0 de 12 intentos)
- ChatGPT, intento 1: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (38.9 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (38.7 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (38.9 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (119.5 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (80 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (134.9 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (17 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (17 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (20.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (17.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Incorrecto
- Los valores no coinciden: Sample Bussan incorrecto (respuesta correcta 1,707,000; respuesta dada 41707000.0) / Sample Shokuhin incorrecto (respuesta correcta 1,593,000; respuesta dada 31593000.0) / Sample Kogyo incorrecto (respuesta correcta 1,235,000; respuesta dada 21235000.0) / Sample Unyu incorrecto (respuesta correcta 1,213,000; respuesta dada 21213000.0) (17 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 3: Incorrecto
- Se agotó el tiempo (la respuesta no se detuvo antes del límite de tiempo) (301.8 segundos)
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y genera solo un JSON. Reglas - La sa… Tipo de calificación: set_match — Cuántos de los elementos exigidos faltaron. Cuenta tanto las omisiones como los añadidos inventados
-
ChatGPT
- ChatGPT, intento 1: Correcto 54.6 s
- ChatGPT, intento 2: Correcto 38.7 s
- ChatGPT, intento 3: Correcto 42.2 s
Aciertos: 3 de 3 intentos
-
Gemini
- Gemini, intento 1: Correcto 43.4 s
- Gemini, intento 2: Correcto 116.5 s
- Gemini, intento 3: Correcto 19.1 s
Aciertos: 3 de 3 intentos
-
Claude
- Claude, intento 1: Incorrecto 26.1 s
- Claude, intento 2: Incorrecto 20.2 s
- Claude, intento 3: Incorrecto 23.1 s
Aciertos: 0 de 3 intentos
-
Copilot
- Copilot, intento 1: Correcto 17.1 s
- Copilot, intento 2: Correcto 14.4 s
- Copilot, intento 3: Correcto 17 s
Aciertos: 3 de 3 intentos
Texto completo de la tareaEnviamos sin cambios a las 4 IA la versión original en japonés de este texto (499 caracteres japoneses). Lo que ves aquí es nuestra traducción.
Agrupa los nombres de las empresas clientes de la siguiente lista de transacciones y genera solo un JSON. Reglas - La salida debe ser solo JSON. No escribas texto explicativo antes ni después - El formato debe ser {"companies": [{"name": "Nombre de la empresa", "count": cantidad, "total": suma de montos}]} - Las empresas iguales se agrupan en una sola. Los números deben ir como valores numéricos (sin comas) ---- Lista de transacciones, inicio ---- ID,Nombre del cliente,Encargado,Monto A001,Sample Unyu Co., Ltd.,Takahashi,730000 A011,(Co.) Sample Shokuhin,Takahashi,563000 A007,Sample Kogyo (Co.),Ito,761000 A010,Sample Shokuhin Co., Ltd.,Tanaka,231000 A009,Sample Shokuhin (Co.),Tanaka,799000 A003,Sample Bussan (Co.),Takahashi,250000 A002,(Co.) Sample Unyu,Ito,483000 A004,Sample Bussan (Co.),Kato,502000 A008,Sample Kogyo (Co.),Tanaka,474000 A006,(Co.) Sample Bussan,Kobayashi,641000 A005,Sample Bussan Co., Ltd. ,Nakamura,314000 ---- Lista de transacciones, fin ----
Respuesta correcta fijada de antemanoLa fijamos al crear la tarea. 3 de las 4 IA acertaron al menos una vez
(Corrección automática, set_match) Sample Bussan [Sample Bussan] / Sample Shokuhin [Sample Shokuhin] / Sample Kogyo [Sample Kogyo] / Sample Unyu [Sample Unyu] Se permiten 0 adiciones inventadas
Detalle de la calificaciónMostramos, intento por intento, por qué se dio cada resultado (aciertos: 9 de 12 intentos)
- ChatGPT, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (54.6 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (38.7 segundos) · Texto completo de esta respuesta (en japonés)
- ChatGPT, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (42.2 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (43.4 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (116.5 segundos) · Texto completo de esta respuesta (en japonés)
- Gemini, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (19.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 1: Incorrecto
- No se pudo leer como JSON (no siguió la indicación de formato) (26.1 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 2: Incorrecto
- No se pudo leer como JSON (no siguió la indicación de formato) (20.2 segundos) · Texto completo de esta respuesta (en japonés)
- Claude, intento 3: Incorrecto
- No se pudo leer como JSON (no siguió la indicación de formato) (23.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 1: Correcto
- Coinciden los 4, 0 elementos inventados (17.1 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 2: Correcto
- Coinciden los 4, 0 elementos inventados (14.4 segundos) · Texto completo de esta respuesta (en japonés)
- Copilot, intento 3: Correcto
- Coinciden los 4, 0 elementos inventados (17 segundos) · Texto completo de esta respuesta (en japonés)
ANSWERS
Respuestas completas de las 4 IA
Estas son las respuestas que calificamos, publicadas sin editar. Así, cualquiera puede volver a contar los resultados igual que nosotros.
-
ChatGPT
18 respuestas15 de ellas correctas
- t1, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t5, intento 1
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 2
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 3
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 3
- Archivo de texto completo (en japonés) · Correcto
-
Gemini
18 respuestas14 de ellas correctas
- t1, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 3
- Archivo de texto completo (en japonés) · Incorrecto
- t4, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t5, intento 1
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 2
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 3
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 3
- Archivo de texto completo (en japonés) · Correcto
-
Claude
18 respuestas12 de ellas correctas
- t1, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t5, intento 1
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 2
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 3
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 1
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 2
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 3
- Archivo de texto completo (en japonés) · Incorrecto
-
Copilot
14 respuestas12 de ellas correctas
- t1, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t1, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t2, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t3, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t4, intento 3
- Archivo de texto completo (en japonés) · Correcto
- t5, intento 1
- Archivo de texto completo (en japonés) · Incorrecto
- t5, intento 2
- Archivo de texto completo (en japonés) · Incorrecto
- t6, intento 1
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 2
- Archivo de texto completo (en japonés) · Correcto
- t6, intento 3
- Archivo de texto completo (en japonés) · Correcto
MATERIALS
Materiales usados en las tareas
Lista de transacciones de 4 empresas clientes ficticias, con nombres escritos de forma dispersa usando 'Co., Ltd.' en distintas variantes, katakana de ancho medio, espacios, etc. La respuesta correcta queda fijada al crearla Los volvimos a crear para esta medición el 18 de octubre de 2026. Descárgalos para repetir la misma prueba por tu cuenta.
- meibo_clean.csv 202B (en japonés)
- meibo_dirty.csv 544B (en japonés)
METHOD
Método de medición
Escribimos las condiciones de esta medición tal como fueron, para que cualquiera pueda repetirla.
IA medidas y el nombre de su modelo en ese momento
Las IA cambian por dentro sin avisar. Registramos el nombre del modelo que aparecía en pantalla y la hora en que lo comprobamos.
| AI | Plan | Nombre del modelo en pantalla | Hora de comprobación |
|---|---|---|---|
| ChatGPT | ChatGPT Pro | GPT-6.1 Sol ligero | 2026-10-18 20:21 |
| Gemini | Google AI Pro | Flash | 2026-10-18 20:21 |
| Claude | Claude Max | Opus 4.8 alto | 2026-10-18 20:21 |
| Copilot | Microsoft 365 Personal | 2026-10-18 20:21 |
Lo que hicimos en esta medición
- Volvimos a crear los materiales de las tareas para esta medición. Son datos de una empresa ficticia y no incluyen empresas ni personas reales.
- Creamos 6 tareas y fijamos sus respuestas correctas en ese momento.
- Enviamos a ChatGPT, Gemini, Claude y Copilot el mismo texto de la tarea y los mismos materiales.
- Enviamos cada tarea 3 veces, en una conversación nueva cada vez.
- Cambiamos el orden de envío en cada medición. Así la hora del día no sesga la clasificación.
- Esperamos hasta 300 segundos por cada respuesta y registramos como tiempo agotado lo que tardó más.
- Calificación: Solo calificación mecánica (la IA no califica).
- Enviamos 72 intentos en total, y 72 de ellos fueron válidos.
Cómo contamos los intentos sin respuesta
- Se negó a responder o se agotó el tiempo
Lo mantenemos en la base y lo contamos como incorrecto. Porque en el trabajo equivale a no recibir respuesta.
- Se alcanzó el límite del plan
Lo quitamos de la base. Consideramos que ese intento no se pudo medir.
- Apareció una pantalla de verificación humana
Nos detenemos ahí. No la pasamos de forma automática ni intentamos evitarla.
- Error de operación de AInformation
Lo quitamos de la base. No lo presentamos como un fallo de la IA.
LIMITS
Limitaciones de esta medición
Para que nadie juzgue solo por las cifras, indicamos lo que no pudimos medir.
- Se trata de una medición realizada una vez al día. El orden puede cambiar según el día o la tarea
- El plan corresponde a la versión de pago de cada IA (ChatGPT Pro, Google AI Pro, Claude Max, Microsoft 365 Personal). No son resultados de la versión gratuita
- La medición se realizó solo con el modelo y el modo predeterminados (no se usaron funciones como Deep Research)
- Las tareas usan datos creados por nosotros para la empresa ficticia Sample Shoji Co., Ltd. No son resultados con datos de una empresa real
- Solo se incluyen tareas que se pueden calificar de forma automática. No se mide la calidad ni la legibilidad del texto
- La medición se realizó desde la misma pantalla del navegador que usan las personas. No son resultados de la API
- En las rondas en las que una IA no permite leer el nombre del modelo que aparece en la pantalla, ese campo se deja vacío (null). En las rondas en las que sí se pudo leer, se muestra tal cual
DATA
Datos publicados
En el CSV, 1 fila es 1 intento. Las cifras de esta página coinciden con un nuevo recuento de ese CSV. La licencia es CC BY 4.0.
- Versión más reciente (CSV) (en japonés) 1 fila = 1 intento, 17KB
- Versión más reciente (JSON) 44KB
- v1 (versión en el momento de la publicación) (CSV) (en japonés) 1 fila = 1 intento, 17KB
- v1 (versión en el momento de la publicación) (JSON) 44KB
La clasificación acumulada está en /es/data/research/bench/leaderboard.json. No eliminamos las versiones (como v1). Así, los enlaces de quienes las citaron siguen funcionando.
FAQ
Preguntas frecuentes
- ¿Cómo hacen la medición?
- Enviamos exactamente el mismo enunciado y los mismos materiales a las 4 IA el mismo día. Abrimos una conversación nueva cada vez para que no influyan las respuestas anteriores. El orden de envío cambia en cada medición. También registramos los segundos desde el envío hasta que la respuesta se detiene.
- ¿Por qué envían la misma tarea 3 veces?
- Porque las respuestas de la IA varían incluso ante la misma pregunta. Con un solo intento no se puede saber si el resultado refleja la capacidad real o el azar. Enviamos cada tarea 3 veces, y el porcentaje de tareas cuya conclusión coincidió es la tasa de consistencia.
- ¿Quién hace la calificación?
- La calificación la hace solo un programa. No dejamos que la IA califique las respuestas. Las respuestas correctas se fijan al crear las tareas, y el acierto se decide según si coinciden las cifras, si aparecen las palabras exigidas, si el formato es el correcto, si las URL se abren de verdad y el resultado de ejecutar las fórmulas. Los gustos personales no se puntúan.
- ¿Los datos de las tareas son de empresas reales?
- No. Cada vez creamos datos nuevos de una empresa ficticia. No usamos empresas ni personas reales, ni textos de otras empresas. Compartimos tal cual los materiales que usamos, así que puedes repetir la misma prueba.
- ¿Cómo cuentan los casos en que la IA no pudo responder?
- Las negativas y los tiempos agotados se mantienen en la base y cuentan como incorrectos. Si se alcanza el límite del plan o aparece una pantalla de verificación humana, quitamos ese intento de la base y lo tratamos como no medido. Los errores de operación de AInformation también se quitan de la base, y no los presentamos como fallos de la IA.
- ¿Usan las versiones gratuitas o las de pago?
- Usamos el plan de pago de cada IA a través de la interfaz del navegador. No usamos la API. En cada medición registramos el nombre del plan, el nombre del modelo que aparecía en pantalla y la hora en que lo comprobamos.
- ¿Esta clasificación indica qué IA es la más inteligente?
- No. Solo medimos 5 cosas en un conjunto fijo de tareas de trabajo: tasa de aciertos, tiempo de respuesta, tasa de consistencia, tasa de fuentes reales y cumplimiento de instrucciones. No medimos el estilo de redacción, la legibilidad ni el comportamiento en conversaciones largas. Si cambian las tareas, también cambia la clasificación.
- ¿Puedo citar estos resultados?
- Sí. La licencia es CC BY 4.0. Como fuente, escribe “AInformation, Benchmark de IA para tareas reales” junto con la URL de la página que usaste y la fecha de la medición. Los resultados también están disponibles en JSON y CSV. Con el CSV (1 fila por intento) puedes volver a contar las cifras que publicamos.
CITATION
Citar esta medición
Fuente: AInformation, “Benchmark de IA para tareas reales: Unificar las variantes de escritura de los nombres de socios comerciales (4 IA, 6 tareas, 3 rondas cada una)” (https://ainformation.jp/es/encuestas-ia/benchmark-ia-tareas-reales/normalizar-nombres-empresas-2026-10-19). Medido el 19 de octubre de 2026. 6 tareas, 3 intentos por tarea, 72 intentos válidos
Copiado
Cuando cites una cifra, incluye también la base (cuántos de cuántos intentos). Como fuente, escribe AInformation junto con la URL de la página utilizada y la fecha de medición.
Páginas relacionadas
Las últimas noticias de IA, resumidas una vez por semana
Un solo correo con las principales noticias de IA de la semana y las herramientas que el equipo de AInformation probó por sí mismo.