CCDV-P · Ingeniería de evaluación y aseguramiento de la calidad
Medir calidad con tráfico real, muestreo, pruebas A/B y feedback
La suite offline es limpia y controlada, pero producción trae lo que la suite no imaginó: consultas raras, otros idiomas, usuarios que pegan documentos enteros. La evaluación en línea (online evaluation) mide la calidad sobre el tráfico real, con las mismas preguntas que se hacen offline pero sobre lo que de verdad pasa.
Muestreo de tráfico en vivo
No se puede revisar todo. El muestreo de tráfico en vivo (live-traffic sampling) elige qué se evalúa:
- una muestra aleatoria para estimar la calidad general;
- muestras dirigidas a lo riesgoso: salidas marcadas por el usuario, respuestas largas o caras, rechazos, escalamientos a humano, tenants nuevos;
- evaluación automática (reglas y juez calibrado) sobre una muestra más grande, y revisión humana sobre una más chica para controlar al juez.
Hay que cuidar la privacidad: las muestras de contenido siguen las reglas de retención y redacción del sistema.
Pruebas A/B
Una prueba A/B compara dos versiones (prompt, modelo, flujo) sobre tráfico real dividido al azar. Lo que la hace válida:
- asignación aleatoria consistente por usuario o por sesión (que la misma persona no vea las dos);
- una hipótesis y una métrica primaria definidas de antemano, más métricas de resguardo (costo, latencia, tasa de rechazos) para no mejorar una cosa rompiendo otra;
- tamaño de muestra y duración suficientes para distinguir la diferencia del ruido; no se frena en cuanto “se ve mejor”;
- misma versión del resto del sistema durante la prueba.
Una forma previa y más segura es el modo sombra: la versión nueva corre sobre el tráfico real pero no se muestra; se compara contra la vigente sin riesgo para el usuario.
Bucle de feedback
El bucle de feedback (feedback loop) convierte señales de uso en mejoras:
- feedback explícito (pulgar arriba o abajo, reportes) y señales implícitas (el usuario reformula, copia la respuesta, abandona, pide un humano);
- las señales se relacionan con la traza y la versión, para saber qué las provocó;
- los casos negativos revisados entran a la suite de regresión y al conjunto de referencia.
Cuidado: el feedback explícito es escaso y sesgado (opinan los muy contentos o muy enojados), y las señales implícitas son proxies. Una métrica proxy (proxy metric) como “tasa de copiado” es un indicio, no la calidad; hay que contrastarla con evaluación directa.
Métricas según el tipo de tarea
| Tipo de tarea | Métricas útiles |
|---|---|
| Extracción | exactitud por campo, tasa de salidas válidas, tasa de campos faltantes |
| Generación | rúbrica de calidad con juez calibrado, preferencia humana, tasa de edición posterior |
| Agéntica | tasa de tarea completada, cantidad de pasos, costo por tarea, intervenciones humanas |
| Con grounding | groundedness, tasa de citas verificables, tasa de “no sé” correcta |
Elegir la métrica equivocada lleva a optimizar lo que no importa: medir una tarea agéntica solo por la calidad de la última respuesta ignora si completó la tarea.
Las trampas típicas
- Confiar solo en la suite offline.
- Una A/B sin métricas de resguardo, o que se corta apenas se ve una diferencia.
- Tratar el pulgar arriba como la calidad.
- Métrica de generación para una tarea de extracción (o al revés).
- Feedback que nunca vuelve a la suite de evaluación.
En el examen
Para decidir entre dos versiones con riesgo para el usuario: modo sombra o A/B con métrica primaria y de resguardo. Para saber si un feedback sirve: ¿se ata a una traza y vuelve a la suite? Para elegir métricas, mirá el tipo de tarea.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A team operates a Claude-based writing assistant used by thousands of customers. Their only online quality metric is the thumbs-down rate, which has stayed around 1.5 percent for months. Yet an account manager reports that several large customers stopped using the assistant because "it keeps ignoring our style guide".
Only about 2 percent of responses ever receive any feedback, and most of that feedback comes from a small group of enthusiastic power users. Leadership wants a single weekly number it can trust, but the team suspects that the current metric describes only a small and unrepresentative slice of its customers.
What should the team add to measure online quality more reliably?