claudio.cool
CCDV-PLecciones

CCDV-P · Ingeniería de evaluación y aseguramiento de la calidad

Diseñar el sistema de evaluación, golden sets, regresión y compuertas de lanzamiento

⏱ 3 min de lecturaBorrador

Un equipo cambia el prompt de un asistente cada semana. Todos los cambios “se ven mejor” en unas pruebas manuales con cinco ejemplos. Dos meses después, un cliente descubre que un caso que funcionaba hace tiempo dejó de funcionar y nadie sabe cuándo. Sin un sistema de evaluación, cada cambio es una apuesta.

Las piezas

Un sistema de evaluación offline se compone de:

  • Conjunto de referencia (golden set): casos representativos con la salida o el criterio esperado, revisados por personas. Incluye los casos típicos, los bordes y los que ya fallaron antes. Su tamaño debe alcanzar para distinguir cambios reales del ruido.
  • Suite de regresión (regression suite): los casos que no pueden volver a fallar (cada incidente suma uno). Se corre completa ante cualquier cambio.
  • Chequeos de comportamiento: pruebas de propiedades más que de texto exacto: sigue el formato, rechaza lo que debe rechazar, no revela datos de otro usuario, usa la herramienta correcta, no excede un largo. Algunos se verifican con código (determinista) y otros con un juez.
  • Métricas por tipo de sistema: en un sistema con recuperación, precisión y cobertura de la recuperación por separado de la calidad de la respuesta, y groundedness (qué proporción de las afirmaciones están respaldadas por las fuentes recuperadas).

Siempre que se pueda, se prefieren verificaciones deterministas (esquema válido, el valor coincide, la herramienta llamada es la esperada) a un juicio de modelo.

La compuerta en CI/CD

Una compuerta de evaluación (evaluation gate) corre la suite en el pipeline cuando cambia un prompt, un modelo, una herramienta o la configuración del agente, y bloquea la integración si no se cumplen los criterios de lanzamiento. Buenos criterios:

  • umbrales por categoría y no solo un promedio global, que esconde una categoría que empeoró;
  • sin regresiones en los casos críticos (seguridad, cumplimiento, casos que ya fallaron);
  • límites de costo y latencia además de calidad, porque una mejora que triplica la factura puede no valer la pena;
  • comparación contra la versión vigente con los mismos casos, no contra un número absoluto;
  • para respuestas no deterministas, varias corridas por caso y se mira la tasa de aprobación, no un solo resultado.

Para cambios de modelo y de agente se agregan los comportamientos agénticos: secuencia de herramientas, cantidad de pasos, tasa de finalización.

Mantener la suite válida

Una suite buena hoy se degrada:

  • Contaminación (contamination): los casos de la suite se filtran a los datos que usás para ajustar el prompt (o aparecen en el ejemplo del prompt), y el sistema “aprende la prueba”. Mantené un subconjunto reservado que no se usa para iterar.
  • Saturación (saturation): cuando casi todos los casos pasan, la suite deja de distinguir mejoras. Se agregan casos más difíciles.
  • Huecos de cobertura: producción trae casos que la suite no tiene. Se alimenta de los fallos reales, el feedback y las trazas muestreadas; cada incidente agrega un caso.
  • Casos vencidos: los que cambiaron de respuesta correcta (una política nueva) se actualizan o se retiran.

Las trampas típicas

  • Evaluar con cinco ejemplos elegidos a mano.
  • Un solo promedio global como criterio.
  • Ajustar el prompt mirando los mismos casos con que se mide.
  • Umbrales que se bajan cada vez que un cambio no pasa.
  • Una suite que nunca se actualiza con lo que pasa en producción.

En el examen

Si un cambio “mejora” el promedio pero empeora una categoría crítica, la compuerta debe bloquear. Si casi todo pasa siempre, es saturación. Si el modelo rinde muy bien en la suite y mal en producción, sospechá contaminación o huecos de cobertura.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A legal-tech company runs a retrieval-augmented assistant that answers questions about internal contract templates. Reviewers report that about one answer in six contains a clause that is not in the retrieved documents or cites the wrong template.

The team has only one end-to-end score: a judge model rates each final answer from 1 to 5. When the score drops, they cannot tell whether the retriever returned the wrong passages or Claude ignored the right ones, so every investigation starts from scratch.

Which change to the offline evaluation would make failures diagnosable?

Practicá este dominio en el simulacro →