Qué medir y con qué datos, criterios de éxito y métodos mixtos

El comité está por aprobar el lanzamiento con un número: 94% de precisión sobre 300 casos históricos. En la misma reunión alguien comenta que los usuarios abandonan cualquier herramienta que tarda más de unos segundos, finanzas pregunta cuánto cuesta cada caso y legal recuerda que los documentos tienen datos personales de terceros. El 94% no dice nada sobre ninguna de esas tres cosas.

Criterios de éxito: varios a la vez

Un buen criterio de éxito (success criteria) es específico, medible, alcanzable y relevante. “Que responda bien” no lo es; “F1 de al menos 0,85 sobre un set de prueba representativo” sí. Y casi ningún sistema se juega en una sola dimensión:

Dimensión	Ejemplo de meta
Precisión de la tarea	campos correctos sobre el set etiquetado
Latencia	p95 por debajo del umbral que tolera el usuario
Costo	costo por transacción dentro del presupuesto
Seguridad y privacidad	tasa de fuga de datos personales, contenido dañino

La seguridad se mide de los dos lados: cuánto contenido dañino pasa con entradas adversariales y cuántos pedidos legítimos se rechazan sin motivo (over-refusal). Una tasa de rechazo que sube no es buena noticia por sí sola: puede ser que el asistente dejó de explicar cosas normales.

El dataset: que se parezca a producción

Un set de 400 preguntas limpias, de un solo tema, escritas por las mismas personas que escribieron el prompt, puede dar 97% y no predecir nada. El dataset tiene que reflejar la distribución real de tareas (real-world task distribution):

• sacalo de producción, anonimizado, y estratificalo por tipo de pedido;
• incluí casos borde: preguntas combinadas, ambiguas, fuera de alcance, maliciosas, entradas escaneadas o con formatos raros;
• etiquetá el comportamiento esperado, no solo la respuesta: a veces lo correcto es pedir aclaración o derivar.

Volumen le gana a perfección: muchas preguntas calificadas automáticamente valen más que pocas elegidas a mano y leídas una por una.

Métodos mixtos de calificación

Con métodos mixtos (mixed methods) cada parte de la salida se califica con la herramienta que le corresponde:

• Calificación por código (code-based grading): para lo que tiene respuesta exacta (fechas, montos, partes, una etiqueta, un JSON válido). Determinista, barata, escala.
• Modelo calificador (LLM-as-judge): para texto libre, con una rúbrica explícita que define cada punto de la escala y una salida fácil de parsear. Conviene que califique un modelo distinto del que generó la respuesta.
• Personas: una muestra calificada por expertos para calibrar al modelo calificador y revisar los casos donde hay desacuerdo.

Las trampas típicas

• Medir solo la precisión y descubrir la latencia o el costo después del lanzamiento.
• Subir la meta de precisión al 99% sobre un set que no representa la realidad.
• Agrandar el set con paráfrasis generadas de las mismas preguntas limpias.
• Que el modelo de producción se califique a sí mismo en el mismo pedido.
• Sumar evaluadores humanos sobre los mismos 25 casos elegidos porque eran “interesantes”.
• Quedarse solo con los casos difíciles: el set deja de parecerse a la distribución real.
• Encuestar a los usuarios un mes después en lugar de definir metas antes.

En el examen

Si el escenario cuenta requisitos que aparecen al pasar (velocidad, presupuesto, datos sensibles), la respuesta agrega un criterio medible para cada uno junto a la precisión. Si muestra un score altísimo y quejas en producción, buscá la opción que rearma el dataset desde casos reales con sus casos borde. Y si la salida mezcla campos exactos y texto libre, buscá la combinación: código para lo exacto y un modelo calificador con rúbrica, calibrado con personas, para lo libre.