CCDV-P · Ingeniería de evaluación y aseguramiento de la calidad
Un juez LLM hay que calibrarlo, rúbricas, sesgos y acuerdo con las personas
Un equipo evalúa respuestas de un asistente de redacción con un LLM como juez (LLM-as-judge): un modelo que puntúa cada respuesta de 1 a 5. El puntaje promedio sube todas las semanas, pero los editores humanos dicen que las respuestas se ponen más largas y más genéricas. El juez está premiando algo que las personas no valoran.
Un juez es un instrumento de medición
Un juez LLM es útil porque escala, pero es un instrumento y como todo instrumento hay que verificarlo contra una referencia. La referencia son etiquetas humanas sobre una muestra: personas expertas puntúan los mismos casos, con la misma rúbrica. Lo que se mide es el acuerdo entre el juez y las personas, antes de confiar en él.
Calibración
La calibración (calibration) es lograr que el puntaje del juez se corresponda con el criterio humano. El proceso:
- Armar un conjunto etiquetado por personas, con ejemplos de cada nivel, incluyendo casos difíciles.
- Correr el juez y medir el acuerdo (porcentaje de coincidencia, o una métrica que descuente el azar como el kappa de Cohen, o correlación si el puntaje es ordinal).
- Mirar los desacuerdos de a uno: ¿falla la rúbrica, el prompt del juez o la etiqueta humana?
- Ajustar la rúbrica o el prompt, y volver a medir sobre casos que no se usaron para ajustar.
- Fijar un umbral de acuerdo. Hasta alcanzarlo, el juez informa pero no bloquea lanzamientos.
Diseño de rúbricas
Una buena rúbrica descompone el criterio: en lugar de “¿es buena la respuesta?”, criterios separados (exactitud, cobertura de lo pedido, tono, fidelidad a las fuentes), cada uno con niveles descritos con ejemplos. Pedí el razonamiento breve antes del puntaje, y salida estructurada para poder agregarla. Cuando existe una respuesta de referencia o una regla verificable, usala en vez de pedirle al juez una opinión.
Sesgos conocidos
- Efecto de posición: en comparaciones de a pares, tendencia a elegir la respuesta que aparece primera (o segunda). Se controla aleatorizando o invirtiendo el orden y contando como válido solo el veredicto que se sostiene en ambos órdenes.
- Sesgo de longitud (verbosity bias): preferir respuestas más largas. Se mitiga en la rúbrica (la extensión no suma) y se detecta correlacionando el puntaje con el largo.
- Autopreferencia: favorecer respuestas de un modelo de su misma familia o estilo; conviene que el juez no sea el mismo modelo que se evalúa, o al menos medirlo.
- Sensibilidad al formato: viñetas y negritas que influyen más de lo debido.
Confiabilidad entre evaluadores y deriva
La confiabilidad entre evaluadores (inter-rater reliability) mide si dos evaluadores, humanos o el juez, coinciden entre sí. Si las propias personas no coinciden, la rúbrica es ambigua: el problema está antes que el juez. Además, el juez es un modelo y cambia cuando cambia su versión o su prompt: la deriva del juez (judge drift) hace que los puntajes de hoy no se puedan comparar con los de hace tres meses. Se fija la versión del juez, se re-mide el acuerdo con el conjunto etiquetado ante cualquier cambio, y se guarda el historial.
Las trampas típicas
- Dar poder de decisión a un juez sin medir su acuerdo con personas.
- Pasar a un modelo más grande como único remedio al sesgo.
- Una rúbrica de una sola pregunta general.
- Comparar puntajes entre versiones distintas del juez.
- Ajustar el juez con los mismos casos con que se valida.
En el examen
Un juez con poco acuerdo humano o con un sesgo visible no es confiable todavía: se controla el sesgo, se re-mide contra las etiquetas y se le quita autoridad de bloqueo hasta que el acuerdo sea aceptable. Ante un cambio de versión del juez, se re-calibra.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A retailer runs a Claude agent that processes refund requests by calling order, policy, and payment tools. The online dashboard tracks how often the agent's final message says the request was resolved, which is currently 96 percent. An audit of a random sample shows that in 9 percent of "resolved" cases the refund amount was wrong or a refund was issued for an ineligible order.
The team is choosing metrics for a new online evaluation, and wants to compare two versions of the agent through an A/B test on live traffic.
Which primary metric best fits this agentic task?