CCDV-P · Depuración avanzada y respuesta a incidentes
Incidentes, mitigar primero y convertir el aprendizaje en evaluaciones
Un martes a la tarde, el soporte recibe quejas: el asistente responde con datos de otro cliente, o directamente no responde, o responde lo mismo para todo. Hubo un despliegue de prompt a la mañana y una actualización de una herramienta a mediodía. Alguien propone investigar la causa raíz antes de tocar nada. Es el error clásico: durante un incidente, primero se frena el daño.
El orden de un incidente
La respuesta a incidentes (incident response) tiene fases, y se hacen en orden:
- Triage: ¿qué tan grave es, a quién afecta, hay datos expuestos, se puede perder dinero? Se asigna severidad y una persona que coordina. Un asistente que muestra datos de otro cliente es de máxima severidad.
- Mitigación (mitigation): reducir el daño ya, antes de entender todo. Opciones: rollback al prompt o modelo anterior, apagar una función o una herramienta con un interruptor, bajar a una versión reducida, redirigir a humanos. La mitigación más rápida es casi siempre revertir el último cambio, y por eso los cambios se despliegan de forma versionada y progresiva.
- Diagnóstico: con el daño contenido, se busca el origen con trazas y cohortes (ver la lección de diagnóstico). Se compara lo que cambió: prompt, modelo, herramientas, datos, tráfico.
- Resolución: arreglo definitivo, verificado en un entorno de prueba y desplegado por etapas.
- Comunicación, durante todo el proceso, no al final: quién avisa, a quién (usuarios, clientes, equipo interno, y reguladores si hay datos personales expuestos), con qué frecuencia, y con qué dice y qué todavía no se sabe. No se especula sobre la causa en comunicaciones externas.
Si hay datos expuestos o acciones irreversibles, se contiene primero: se revocan accesos, se frena el agente. Silenciar las alertas o “esperar a ver” no son mitigaciones.
Regresiones de calidad
Un incidente no siempre es una caída: puede ser una regresión de calidad sin errores. La respuesta es la misma estructura: confirmar con una evaluación o una cohorte que realmente hay una regresión, revertir si el último cambio es sospechoso, y diagnosticar después. Revertir un modelo a una versión anterior requiere que esa versión siga disponible, otra razón para fijar versiones.
Convertir el incidente en aprendizaje
Un incidente que termina cuando “vuelve a funcionar” va a repetirse. El postmortem sin culpas (blameless postmortem) reconstruye la línea de tiempo y los factores del sistema que lo permitieron, no busca un culpable. Produce cambios concretos:
- Pruebas de regresión (regression tests): el caso que falló pasa a la suite de evaluación con su salida esperada, para que un cambio futuro que lo reintroduzca no pase la compuerta.
- Cobertura de monitoreo (monitoring coverage): ¿qué señal habría detectado esto antes? Se agrega esa métrica o alerta (por ejemplo, una verificación de que la respuesta contiene datos solo del cliente de la sesión).
- Controles: si el incidente reveló un camino inseguro, un guardrail determinista que lo cierre.
- Proceso: despliegues más graduales, revisión de cambios de herramientas, guía de respuesta actualizada.
Cada acción tiene responsable y fecha, y se verifica que se hizo.
Las trampas típicas
- Buscar la causa raíz antes de mitigar.
- Arreglar el síntoma y no agregar una prueba que lo atrape la próxima vez.
- Comunicar tarde, o especular sobre la causa hacia afuera.
- Un postmortem que culpa a una persona o que concluye “tener más cuidado”.
- Cerrar el incidente sin cambios en la evaluación ni el monitoreo.
En el examen
La secuencia buena es contener, diagnosticar, resolver, comunicar y aprender. Ante “qué hacer primero”, la respuesta es la mitigación más rápida y reversible (rollback, interruptor). Ante “qué hacer después”, convertir el caso en regresión, monitoreo y acción de proceso.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
After a migration to a newer model snapshot, the refusal rate for a category of billing questions rose from 0.5% to 9%. The change went out to 100% of traffic on day one. No alert covered refusals, the evaluation suite had no queries from that category, and the issue was found on day three through customer complaints. The postmortem meeting is about to start.
Some participants want the document to name the engineer who approved the rollout, while others say that nothing could have been done because model behavior changes cannot be fully predicted.
Which set of findings and actions would make the postmortem most useful?