CCDV-P · Observabilidad y monitoreo en producción
SLI, SLO, alertas y deriva de calidad
Un servicio de resúmenes tiene el panel todo en verde: disponibilidad del 99,9 %, latencia p95 estable. Sin embargo, desde hace dos semanas los usuarios dicen que los resúmenes “son peores”. Las métricas de infraestructura no ven la calidad. En un sistema con LLM, que responda no significa que responda bien.
SLI y SLO para un servicio con LLM
Un SLI (service level indicator) es una medida de cómo anda el servicio; un SLO (service level objective) es la meta sobre ese SLI. Hay tres familias:
| Familia | Ejemplos de SLI |
|---|---|
| Disponibilidad y latencia | tasa de solicitudes exitosas, tiempo hasta el primer token, latencia total p95 |
| Calidad | tasa de salidas válidas contra el esquema, puntaje de evaluación en línea sobre una muestra, tasa de feedback negativo, tasa de escalamiento a humano |
| Costo y uso | costo por solicitud o por tarea completada, tokens por solicitud, tasa de aciertos del caché |
El SLO de calidad es el que más se omite y el que más importa. Un presupuesto de error (error budget) formaliza cuánto incumplimiento se tolera antes de frenar cambios para estabilizar. Para metas de latencia, definí cuál medís: el primer token importa en una interfaz de chat con streaming; la latencia total, en un proceso por lotes.
Alertas y dashboards
Una buena alerta avisa de algo accionable. Reglas útiles:
- Alertá por quema del presupuesto de error o por tasas sostenidas, no por un pico de un minuto.
- Separá errores por tipo (límites de tasa, sobrecarga, rechazos, cortes por longitud): una sola alerta de “errores” mezcla causas con respuestas distintas.
- Incluí telemetría de tokens y costo en los dashboards: tokens por solicitud, costo por tenant, tasa de caché. Un cambio de prompt que duplica los tokens de salida no rompe nada visible, pero duplica la factura.
- Un dashboard por pregunta (¿está sano? ¿cuánto cuesta? ¿se degradó la calidad?), no uno que mezcla todo.
Deriva de calidad y regresiones
La deriva de calidad (quality drift) es el empeoramiento gradual sin una falla visible. Las fuentes más comunes: cambios en los datos o consultas de los usuarios, cambios del prompt, de las herramientas o del contenido recuperado, y actualizaciones del modelo. Detectarla requiere medir calidad de forma continua:
- una evaluación en línea sobre una muestra del tráfico, comparada con una línea de base;
- un conjunto fijo de casos de referencia que se corre de forma programada contra producción (canary), para ver cambios aunque el tráfico varíe;
- distribución de las salidas: largo, formato, tasa de rechazos, proporción de cada categoría. Un cambio abrupto en la distribución es una regresión de comportamiento aunque ninguna métrica de error se mueva.
Tras actualizar el modelo, comparás las mismas métricas antes y después, por cohorte, y mantenés la versión anterior disponible para volver.
Uso anómalo
El uso anómalo (anomalous usage) incluye picos de tokens de un solo tenant, bucles de agente que no terminan, y patrones de abuso o de intentos repetidos de saltear controles. Se detecta con umbrales relativos al historial de cada tenant, y se responde con límites y, si hace falta, bloqueo.
Las trampas típicas
- Medir solo disponibilidad y latencia.
- Alertas sobre cada error individual, hasta que nadie las lee.
- Un SLO de calidad sin forma de medirlo.
- Compararse con la semana anterior sin tener en cuenta cambios en el tráfico.
- Actualizar el modelo sin línea de base para comparar.
En el examen
Si el panel está verde y la calidad cae, la respuesta es un SLI de calidad con evaluación en línea y casos de referencia, no más métricas de infraestructura. Después de una actualización de modelo, comparación por cohorte contra la línea de base.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A document-QA agent's task-success rate, measured on graded samples, fell from 91% to 88% over two weeks. The on-call engineer reads fifty failing traces at random and finds a variety of different-looking problems: a timeout here, a poor retrieval there, an odd answer elsewhere. No single cause stands out, and a colleague suggests that the failures are simply noise from model nondeterminism.
The team has 200,000 traces from the period, each with attributes such as prompt version, tool set used, document language, document length, tenant tier, and whether a particular search tool was called.
What is the best next step?