CCDV-P · Guardrails en ejecución y seguridad en producción
Guardrails en ejecución, capas, hooks y lo irreversible fuera del modelo
Un agente de operaciones tiene una terminal y acceso a la base de datos de una pyme. Un día, intentando “limpiar datos de prueba”, ejecuta una sentencia de borrado sin filtro sobre una tabla de producción. El system prompt decía “nunca borres datos de producción”. El modelo no es malicioso ni “desobediente”: una instrucción es una sugerencia que el modelo sigue casi siempre, y casi siempre no alcanza para lo irreversible.
Guardrails según el riesgo
Un guardrail en ejecución (runtime guardrail) es un control que actúa mientras el agente corre. Se diseñan en capas según el riesgo: qué es lo peor que podría hacer el agente con sus permisos.
| Capa | Función | Ejemplo |
|---|---|---|
| Filtros de entrada | clasificar o bloquear antes de que llegue al agente | detector de intentos de inyección, límite de tamaño |
| Redactores de PII (PII redactor) | quitar datos personales del contexto o de la salida | enmascarar tarjetas y documentos antes de enviarlos al modelo o a un log |
| Filtros de salida | validar lo que el agente va a devolver o ejecutar | esquema válido, sin secretos, sin contenido fuera de política |
| Hooks | código que corre antes o después de cada herramienta | un PreToolUse que bloquea comandos peligrosos |
| Aislamiento | el agente corre donde el daño es acotado | un entorno aislado (sandbox), sin acceso a producción |
| Aprobaciones | una persona autoriza lo que pasa un umbral | transferencias, envíos externos, despliegues |
| Auditoría | registro de lo que hizo | quién, qué, cuándo, con qué resultado |
Lo irreversible se hace cumplir de forma determinista
El cumplimiento determinista (deterministic enforcement) quiere decir que la regla la aplica código fuera del modelo, igual cada vez, sin importar lo que el modelo “decida”. Para acciones irreversibles o de alto impacto (borrar, pagar, enviar afuera, desplegar), la regla no va solo en el prompt:
- Prevención de acciones destructivas: un hook de pre-ejecución que analiza el comando (en Claude Code,
PreToolUsecon código de salida 2 bloquea la llamada; en el Agent SDK, hooks y un callback de permisos cumplen el mismo rol) y rechaza lo peligroso aunque esté escrito de una manera nueva. Mejor todavía, que el agente no tenga el permiso: un rol de base de datos de solo lectura o con límite de filas. - Sandboxing: darle al agente la terminal y la web que necesita sin exponer producción: red restringida a dominios permitidos, sistema de archivos acotado al proyecto, credenciales de entornos de prueba. Claude Code incluye un modo con aislamiento de archivos y de red para comandos; verificá su alcance en la documentación.
- Puertas de aprobación (approval gates): para acciones que sí se permiten pero merecen una persona, con el detalle de lo que se va a hacer.
Rechazos y fallbacks de seguridad
Cuando el modelo rechaza un pedido, el sistema tiene que tener un camino definido: un mensaje claro, una alternativa segura o el pase a una persona. No se reintenta en bucle ni se “reformula hasta que acepte”, lo que es en sí un intento de evadir una salvaguarda.
Ajustar falsos positivos y negativos
Cada guardrail se equivoca en dos direcciones. Un falso positivo (false positive) bloquea algo legítimo y frustra a la gente (que acaba buscando atajos); un falso negativo deja pasar lo que debía frenar. Se miden con un conjunto etiquetado de casos buenos y malos, se ajusta el umbral según el costo de cada error (para lo irreversible, se tolera más fricción), y se revisa con los datos de producción. Un filtro que nadie mide termina apagado o inútil.
Las trampas típicas
- Una instrucción en mayúsculas en el prompt como control de lo irreversible.
- Aprobación manual de cada acción, hasta que se aprueba sin leer.
- Una lista de comandos prohibidos con cada grafía imaginable en lugar de un permiso mínimo.
- Dar al agente la cuenta de administrador y pedirle “que no escriba”.
- Reformular el pedido rechazado hasta que pase.
En el examen
Para algo irreversible, elegí el control que se cumple fuera del modelo (hook, permiso, sandbox, aprobación). Para equilibrar bloqueos legítimos, ajustar el umbral con datos etiquetados y no apagar la capa.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A platform team uses Claude Code to help engineers maintain infrastructure repositories. The project CLAUDE.md states, in bold, that the agent must never run terraform destroy or apply against the production workspace. Last week, during a long session, the agent ran a production apply that deleted a managed database, because it interpreted a user request about "cleaning up unused resources" as permission.
The team wants a control that does not depend on the model remembering or interpreting a sentence correctly in every session, and that applies to every engineer's machine.
Which control is most appropriate?