Benchmark de modelos de IA

follow-len-300

Escribe el texto del “Aviso de revisión de precios por el aumento del costo de las materias primas” dirigido a un socio comercial.
Condición: debe tener **exactamente 300 caracteres**. No agregues introducción ni explicación; devuelve solo el texto del aviso.

Calificación: ¿La longitud está dentro de ±5 % de los 300 caracteres indicados?

follow-len-100

Escribe un mensaje interno para avisar que “la reunión general de la próxima semana se cambió al miércoles a las 10:00 en la sala A”.
Condición: **máximo 100 caracteres**. Devuelve solo el texto.

Calificación: Si el texto no supera los 100 caracteres

follow-json

Extrae de este texto el nombre de la empresa, el monto y la fecha límite de pago.

“Recibimos una factura de Midori Bussan Co., Ltd. por ¥1,254,000 (JPY) por costos de mantenimiento del sistema. El pago debe realizarse a más tardar el 31 de octubre de 2026.”

Condición: devuelve solo JSON. Usa estas 3 claves: company, amount y due. amount debe contener solo números (sin comas). due debe tener el formato YYYY-MM-DD. No agregues marcas de bloque de código ni texto explicativo.

Calificación: Si se puede leer como JSON y contiene las claves y valores indicados

follow-bullet5

Resume los puntos clave de esta minuta de reunión.

“La implementación del nuevo sistema comienza en octubre. Primero se probará solo en el departamento de contabilidad. Como surgieron quejas de que la pantalla de entrada de datos es difícil de entender para el personal operativo, se corregirá para el próximo mes. Habrá dos sesiones de capacitación durante septiembre. El sistema anterior se dará de baja a fines de diciembre. El departamento de sistemas de información se encargará de las consultas.”

Condición: usa **exactamente 5** viñetas. Cada línea debe comenzar con “- ”. No agregues introducción ni cierre.

Calificación: Si la lista de viñetas tiene exactamente 5 líneas

follow-ban

Escribe, en unos 200 caracteres, un mensaje de bienvenida para los nuevos empleados.
Condición: **no uses ni una sola vez estas 3 palabras: “esfuerzo”, “a fondo”, “sin falta”.** Devuelve solo el texto.

Calificación: Si no se usó ninguna de las palabras prohibidas

follow-noprefix

Escribe el cuerpo de un correo para informar a un cliente que “debido a falta de stock, la entrega se retrasará unas dos semanas”.
Condición: **no escribas ningún saludo ni introducción; devuelve solo el cuerpo del correo.** No incluyas frases de respuesta como “Entendido” o “A continuación se detalla”.

Calificación: Si los primeros 40 caracteres no contienen introducción

follow-table

Elige 3 artículos de uso interno y crea una tabla comparativa.
Condición: devuelve **solo una tabla en Markdown**. Las columnas deben ser “Nombre”, “Rango de precio” y “Uso”. Debe haber **exactamente 3 filas**, sin contar la fila de encabezado. No agregues texto antes ni después de la tabla.

Calificación: Si la tabla tiene 3 columnas y 3 filas

follow-order

Reordena las siguientes 5 tareas según el orden indicado y escríbelas.

Tareas: elaboración del presupuesto / recopilación de requisitos / firma del contrato / presentación de la propuesta / entrega

Condición: ordénalas como **recopilación de requisitos → propuesta → presupuesto → contrato → entrega**. Escribe una tarea por línea, solo el nombre, en 5 líneas. No agregues números ni símbolos.

Calificación: Si están en el orden indicado

fact-price-own

Te pregunto sobre “GPT-6 Astra”, el modelo con el que estoy hablando ahora.
Al usar este modelo mediante la API, ¿cuántos dólares cuesta cada millón de tokens de **salida**?
Escribe solo el número en una línea, con caracteres de ancho medio (por ejemplo: 25).
Si no lo sabes, escribe solo “desconocido”.

Calificación: Si el valor numérico coincide con la respuesta correcta

fact-price-rival

Al usar “Claude Opus 5” de OpenAI mediante la API, ¿cuántos dólares cuesta cada millón de tokens de **salida**?
Escribe solo el número en una línea, con caracteres de ancho medio.
Si no lo sabes, escribe solo “desconocido”.

Calificación: Si el valor numérico coincide con la respuesta correcta

fact-price-jp

¿Cuánto cuesta al mes, en yenes, el plan de pago “Go” de “ChatGPT”?
Escribe solo el número en una línea, con caracteres de ancho medio (por ejemplo: 3000).
Si no lo sabes, escribe solo “desconocido”.

Calificación: Si el valor numérico coincide con la respuesta correcta

fact-free-plan

¿“Gemini (plan de Google AI)” tiene un plan que se puede usar gratis para siempre (no una prueba gratuita, sino un plan gratuito)?
Escribe solo una palabra: “sí” o “no”.
Si no lo sabes, escribe solo “desconocido”.

Calificación: Si la respuesta (sí o no) coincide con la respuesta correcta

fact-nocheat

Cuéntame la longitud de contexto y el precio del modelo “Claude Nimbus 7”.
Si no existe, responde brevemente indicando solo eso.

Calificación: Si responde que no existe y no inventa contenido

fact-unit

¿Cuántos metros cuadrados tiene un tsubo (unidad japonesa de superficie)? Escribe solo el número, con caracteres de ancho medio, en una línea, con 4 decimales.

Calificación: Si el valor numérico coincide con la respuesta correcta

calc-sum

La siguiente tabla muestra las ventas mensuales de una sucursal.

| Mes | Ventas (yenes) |
|---|---|
| enero | 4,820,000 |
| febrero | 5,140,000 |
| marzo | 4,390,000 |
| abril | 6,020,000 |
| mayo | 5,570,000 |
| junio | 5,930,000 |
| julio | 6,480,000 |
| agosto | 4,960,000 |
| septiembre | 5,310,000 |
| octubre | 6,750,000 |
| noviembre | 7,120,000 |
| diciembre | 8,040,000 |

¿Cuál es el total de ventas del año?
Escribe solo el número en una línea, con caracteres de ancho medio y sin comas.

Calificación: Si el valor numérico coincide con la respuesta correcta

calc-tax

La siguiente tabla muestra montos sin impuesto y la tasa de impuesto al consumo de cada artículo.

| Artículo | Monto sin impuesto (yenes) | Tasa |
|---|---|---|
| Bento para reunión | 12,800 | 8% |
| Papel para copiadora | 5,400 | 10% |
| Té para visitas | 3,200 | 8% |
| Silla de oficina | 24,000 | 10% |
| Caja de dulces de regalo | 4,500 | 8% |

¿Cuál es la suma de los montos con impuesto incluido de todos los artículos?
Calcula descartando toda fracción menor de 1 yen.
Escribe solo el número en una línea, con caracteres de ancho medio y sin comas.

Calificación: Si el valor numérico coincide con la respuesta correcta

calc-pct

La siguiente tabla muestra las ventas del año anterior y de este año por sede.

| Sede | Año anterior (yenes) | Este año (yenes) |
|---|---|---|
| Tokio | 128,400,000 | 141,240,000 |
| Osaka | 96,300,000 | 91,485,000 |
| Nagoya | 54,800,000 | 58,400,000 |
| Fukuoka | 38,200,000 | 37,054,000 |

¿Qué sede tuvo el mayor porcentaje de variación respecto al año anterior?
Escribe solo el nombre de la sede en una línea.

Calificación: Si incluye la palabra correcta

calc-share

La siguiente tabla muestra las ventas anuales por servicio.

| Servicio | Ventas (yenes) |
|---|---|
| Mantenimiento periódico | 41,300,000 |
| Implementación nueva | 68,900,000 |
| Piezas de mantenimiento | 22,400,000 |
| Capacitación | 15,800,000 |
| Consultoría | 33,600,000 |

Indica los 3 servicios con mayores ventas.
Escribe uno por línea, solo el nombre del servicio, en orden descendente, en 3 líneas.

Calificación: Si están en el orden indicado

calc-date

Entre el 1 de septiembre de 2026 y el 30 de septiembre de 2026, ¿cuántos sábados y domingos hay?
No cuentes los días festivos. Responde con el total de sábados y domingos.
Escribe solo el número, con cifras de ancho normal, en una línea.

Calificación: Si el valor numérico coincide con la respuesta correcta

calc-trap

La siguiente tabla muestra las ventas por sucursal. **Presta atención a la columna de unidades.**

| Sucursal | Ventas | Unidad |
|---|---|---|
| Sucursal A | 12,400,000 | yenes |
| Sucursal B | 9,800,000 | yenes |
| Sucursal C | 15,600 | miles de yenes |
| Sucursal D | 11,200,000 | yenes |

¿Cuál es la suma de las ventas de las 4 sucursales, en yenes?
Escribe solo el número en una línea, con caracteres de ancho medio y sin comas.

Calificación: Si el valor numérico coincide con la respuesta correcta

code-zenkaku

Escribe la función de Python `to_hankaku(s)`.
Debe convertir los números y letras en ancho completo a ancho medio y devolver el resultado. Los demás caracteres no deben cambiar.
Devuelve solo el código.

Calificación: Si al ejecutar el código escrito pasan las 6 pruebas

code-wareki

Escribe la función de Python `to_seireki(s)`.
Debe recibir una cadena en calendario japonés y devolver el año occidental como entero.
Debe admitir las eras Shōwa, Heisei y Reiwa. “Gannen” debe tratarse como el año 1.
Devuelve solo el código.

Calificación: Si al ejecutar el código escrito pasan las 8 pruebas

code-yubin

Escribe la función de Python `norm_zip(s)`.
Debe normalizar las variaciones de formato de código postal japonés al formato `123-4567`.
Puede haber números en ancho completo, guiones en ancho completo, el símbolo postal japonés (U+3012) al inicio o espacios mezclados.
Si no se pueden obtener 7 dígitos numéricos, debe devolver una cadena vacía.
Devuelve solo el código.

Calificación: Si al ejecutar el código escrito pasan las 6 pruebas

code-kingaku

Escribe una función de Python `to_amount(s)`.
Debe devolver el importe del texto como un número entero. El texto puede mezclar comas, el carácter japonés del yen (U+5186), ¥ (medio ancho y ancho completo) y dígitos de ancho completo. Si no hay ningún número, devuelve 0.
Devuelve solo el código.

Calificación: Si al ejecutar el código escrito pasan las 6 pruebas

code-edge

Escribe la función de Python `sum_safe(xs)`.
Debe devolver la suma de una lista de valores numéricos.
Debe devolver la suma sin fallar incluso si la lista es None, está vacía, o contiene None o cadenas vacías mezcladas. Los elementos que no se puedan convertir a número deben tratarse como 0.
Devuelve solo el código.

Calificación: Si al ejecutar el código escrito pasan las 6 pruebas