claudio.cool
CCDV-PLecciones

CCDV-P · Observabilidad y monitoreo en producción

Analizar trazas a escala, muestreo, agregación y cohortes de fallas

⏱ 3 min de lecturaBorrador

Un agente procesa 200.000 tareas por día. El equipo revisa a mano veinte trazas fallidas por semana y cada una tiene una causa distinta y plausible: un timeout, una herramienta lenta, una respuesta rara. Ninguna sugiere un patrón. Pero el 4 % de las tareas falla, y todas las fallas tienen algo en común que nadie ve porque se mira de a una.

Por qué no alcanza con leer trazas

A escala, la lectura individual tiene dos problemas: es una muestra chica y sesgada (se leen las más llamativas) y no cuantifica. Un problema sistémico (systemic issue) aparece como una diferencia estadística entre grupos, no como algo raro en una traza. La pregunta cambia de “¿qué le pasó a esta?” a “¿qué tienen en común las que fallan y no tienen las que andan?”.

Muestreo que no esconde las fallas

Guardar todas las trazas puede ser caro, así que se muestrea. La forma de muestrear define lo que vas a poder ver:

  • Muestreo uniforme (un porcentaje fijo): barato y representativo del tráfico normal; con tasas de falla chicas, pocas de las trazas guardadas son fallas.
  • Muestreo por cola (tail-based sampling): se decide después de que la traza terminó, para conservar todas (o casi) las que fallaron, las lentas, las caras o las marcadas por feedback negativo, y un porcentaje de las buenas.
  • Muestreo estratificado: un porcentaje por tenant, por función o por versión de prompt, para que los grupos chicos no desaparezcan.

Siempre se registra la tasa de muestreo con cada traza, para poder reponderar y calcular tasas reales. Las métricas agregadas (conteos, tokens, latencias) se calculan sobre el 100 % del tráfico, no sobre la muestra.

Agregación y cohortes

La agregación (aggregation) convierte millones de eventos en distribuciones: tasa de falla, tokens y latencia por dimensión. Una cohorte de fallas (failure cohort) es un grupo de ejecuciones que comparten una característica. El análisis consiste en segmentar y comparar:

  • por versión (de prompt, de modelo, de herramienta, de despliegue);
  • por tenant, idioma, tipo de tarea o canal;
  • por estructura de la traza: cantidad de turnos, secuencia de herramientas, tamaño de los resultados, primer paso que falló;
  • por tiempo: antes y después de un cambio.

Ejemplo: la falla del 4 % se concentra en tareas con más de 15 turnos que usan una herramienta de búsqueda cuyos resultados superan cierto tamaño. Eso apunta al contexto saturado por resultados voluminosos, y se puede cuantificar (cuántas tareas, cuánto costo) para priorizar. Después se prueba la hipótesis: se arregla para esa cohorte y se verifica que la tasa baje donde corresponde.

Cuidado con las conclusiones

Una cohorte puede estar correlacionada y no ser la causa: por ejemplo, las tareas largas fallan más porque son difíciles. Comparás con una cohorte similar, mirás cuándo empezó la diferencia y validás con un cambio controlado.

Las trampas típicas

  • Decidir qué arreglar por la traza más llamativa.
  • Muestreo uniforme con tasas de falla bajas, y concluir “casi no hay fallas”.
  • No registrar la tasa de muestreo, y no poder calcular tasas reales.
  • Calcular métricas globales sobre la muestra en lugar del tráfico completo.
  • Confundir correlación con causa.

En el examen

Si las fallas individuales parecen aleatorias pero la tasa total es relevante, elegí la opción que agrega y segmenta por cohortes. Si el problema es que se pierden las fallas en la muestra, muestreo por cola o estratificado.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A fraud-review agent produces 40 million traces per day. Storing all of them with full span detail is too expensive, so the team samples 1% of traces at the start of each request. The failures the team cares about, such as tool errors, runaway loops, and low-quality outputs, occur in about 0.4% of requests. When investigating an incident, the team often finds no failing traces in the stored sample.

The budget cannot grow more than a little, and the team still needs an unbiased view of healthy behavior.

Which sampling strategy is the best fit?

Practicá este dominio en el simulacro →