claudio.cool
CCDV-PLecciones

CCDV-P · Depuración avanzada y respuesta a incidentes

Aislar el origen de una falla, modelo, harness, herramientas o datos

⏱ 3 min de lecturaBorrador

Un agente de back-office, en el turno 9 de una tarea, emite una factura con el monto equivocado. Re-ejecutado con el mismo historial, a veces lo hace bien. El equipo discute: ¿el modelo se equivoca, el prompt es ambiguo, la herramienta devolvió datos viejos? Sin un método, cada integrante defiende su hipótesis favorita.

Cuatro lugares donde puede estar el problema

El origen del problema (problem origin) se ubica entre cuatro candidatos, y el arreglo depende de cuál sea:

Origen Qué incluye Evidencia típica
Salida del modelo razonamiento errado, instrucción mal seguida, alucinación con entrada y herramientas correctas, la salida es incorrecta
Harness del agente (agent harness) el loop, el armado del contexto, truncados, compactación, reintentos, límites el modelo no recibió algo que se le debía haber pasado, o recibió algo recortado
Herramientas errores, resultados incorrectos o incompletos, descripciones engañosas, timeouts el resultado de la herramienta ya era malo antes de llegar al modelo
Datos fuente desactualizada, recuperación equivocada, formato inesperado el dato correcto no estaba, o estaba un dato viejo

El método: reconstruí qué vio el modelo en el paso que falló (el contexto exacto, no el que creías que veía), y compará con lo que debería haber visto. Si la entrada ya estaba mal, el origen es aguas arriba. Si la entrada era correcta y la salida no, recién ahí es el modelo.

Fallas multiturno y multiagente

En tareas largas, el error visible suele estar lejos de su causa. Un dato equivocado que se introduce en el turno 3 aparece como monto errado en el turno 9. Se sigue hacia atrás: ¿cuándo apareció por primera vez el valor incorrecto en el contexto? En sistemas multiagente, la pregunta se extiende a las fronteras: ¿lo devolvió así el subagente? ¿se perdió o se deformó en el traspaso? ¿un error vacío se interpretó como “sin resultados”?

Fallas no deterministas

Que una falla ocurra “a veces” no la hace inexplicable. Se repite el caso varias veces con la misma entrada y se mide la tasa de falla, y se compara qué cambia en las trazas buenas y malas (la herramienta que se llamó, el orden, el contenido recuperado). Bajar la temperatura no elimina el no determinismo ni es un diagnóstico. Una falla con tasa del 20 % que baja a 2 % tras un arreglo es un arreglo que se puede verificar; una que “no volvió a pasar” no.

Los rechazos como clase de falla

Un rechazo del modelo (model refusal) es una respuesta en la que Claude declina, o un stop_reason de rechazo. No es un error técnico: es una señal de que el pedido, o el contexto armado, activó una salvaguarda. Antes de tratarlo como bug, mirá qué se le pidió. Las causas habituales: el pedido es realmente inapropiado, o hay contenido recuperado o inyectado que cambió la intención, o un prompt ambiguo que parece pedir algo prohibido. Se diagnostica leyendo el contexto, no reintentando.

Fallas de grounding

Cuando la respuesta afirma algo sin respaldo o con una fuente equivocada, se aplica el análisis por etapa de la recuperación: ¿existía el dato?, ¿se recuperó?, ¿llegó al contexto?, ¿lo usó el modelo? Esa descomposición evita culpar al modelo por un índice desactualizado.

Las trampas típicas

  • Culpar al modelo antes de reconstruir su entrada.
  • Arreglar el síntoma del turno 9 sin buscar dónde empezó.
  • Tratar un rechazo como un error transitorio y reintentar.
  • Cerrar una falla intermitente porque “no se reprodujo” en un intento.
  • Agregar una instrucción al prompt para algo que es un dato malo.

En el examen

Primero la evidencia: qué recibió el modelo. Si la entrada ya era incorrecta, el origen está en herramientas, datos o harness. Para lo intermitente, medir tasas y comparar cohortes; para un rechazo, leer el contexto.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A travel-booking agent calls a search_flights tool with a travel date. Customers report that some searches return flights for the wrong month. Reviewing traces, the engineer sees that for a request like "the 3rd of April", the model sent the value "03/04/2026" in the date field. The tool's schema describes that field only as "date" with type string, and the backend parses strings using the US month-first convention.

The same model correctly produced ISO dates in other tools whose schemas specify the expected format.

Where is the most likely origin of the problem, and what is the best fix?

Practicá este dominio en el simulacro →