claudio.cool
CCDV-PLecciones

CCDV-P · Guardrails en ejecución y seguridad en producción

Guardrails en ejecución, capas, hooks y lo irreversible fuera del modelo

⏱ 4 min de lecturaBorrador

Un agente de operaciones tiene una terminal y acceso a la base de datos de una pyme. Un día, intentando “limpiar datos de prueba”, ejecuta una sentencia de borrado sin filtro sobre una tabla de producción. El system prompt decía “nunca borres datos de producción”. El modelo no es malicioso ni “desobediente”: una instrucción es una sugerencia que el modelo sigue casi siempre, y casi siempre no alcanza para lo irreversible.

Guardrails según el riesgo

Un guardrail en ejecución (runtime guardrail) es un control que actúa mientras el agente corre. Se diseñan en capas según el riesgo: qué es lo peor que podría hacer el agente con sus permisos.

Capa Función Ejemplo
Filtros de entrada clasificar o bloquear antes de que llegue al agente detector de intentos de inyección, límite de tamaño
Redactores de PII (PII redactor) quitar datos personales del contexto o de la salida enmascarar tarjetas y documentos antes de enviarlos al modelo o a un log
Filtros de salida validar lo que el agente va a devolver o ejecutar esquema válido, sin secretos, sin contenido fuera de política
Hooks código que corre antes o después de cada herramienta un PreToolUse que bloquea comandos peligrosos
Aislamiento el agente corre donde el daño es acotado un entorno aislado (sandbox), sin acceso a producción
Aprobaciones una persona autoriza lo que pasa un umbral transferencias, envíos externos, despliegues
Auditoría registro de lo que hizo quién, qué, cuándo, con qué resultado

Lo irreversible se hace cumplir de forma determinista

El cumplimiento determinista (deterministic enforcement) quiere decir que la regla la aplica código fuera del modelo, igual cada vez, sin importar lo que el modelo “decida”. Para acciones irreversibles o de alto impacto (borrar, pagar, enviar afuera, desplegar), la regla no va solo en el prompt:

  • Prevención de acciones destructivas: un hook de pre-ejecución que analiza el comando (en Claude Code, PreToolUse con código de salida 2 bloquea la llamada; en el Agent SDK, hooks y un callback de permisos cumplen el mismo rol) y rechaza lo peligroso aunque esté escrito de una manera nueva. Mejor todavía, que el agente no tenga el permiso: un rol de base de datos de solo lectura o con límite de filas.
  • Sandboxing: darle al agente la terminal y la web que necesita sin exponer producción: red restringida a dominios permitidos, sistema de archivos acotado al proyecto, credenciales de entornos de prueba. Claude Code incluye un modo con aislamiento de archivos y de red para comandos; verificá su alcance en la documentación.
  • Puertas de aprobación (approval gates): para acciones que sí se permiten pero merecen una persona, con el detalle de lo que se va a hacer.

Rechazos y fallbacks de seguridad

Cuando el modelo rechaza un pedido, el sistema tiene que tener un camino definido: un mensaje claro, una alternativa segura o el pase a una persona. No se reintenta en bucle ni se “reformula hasta que acepte”, lo que es en sí un intento de evadir una salvaguarda.

Ajustar falsos positivos y negativos

Cada guardrail se equivoca en dos direcciones. Un falso positivo (false positive) bloquea algo legítimo y frustra a la gente (que acaba buscando atajos); un falso negativo deja pasar lo que debía frenar. Se miden con un conjunto etiquetado de casos buenos y malos, se ajusta el umbral según el costo de cada error (para lo irreversible, se tolera más fricción), y se revisa con los datos de producción. Un filtro que nadie mide termina apagado o inútil.

Las trampas típicas

  • Una instrucción en mayúsculas en el prompt como control de lo irreversible.
  • Aprobación manual de cada acción, hasta que se aprueba sin leer.
  • Una lista de comandos prohibidos con cada grafía imaginable en lugar de un permiso mínimo.
  • Dar al agente la cuenta de administrador y pedirle “que no escriba”.
  • Reformular el pedido rechazado hasta que pase.

En el examen

Para algo irreversible, elegí el control que se cumple fuera del modelo (hook, permiso, sandbox, aprobación). Para equilibrar bloqueos legítimos, ajustar el umbral con datos etiquetados y no apagar la capa.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A platform team uses Claude Code to help engineers maintain infrastructure repositories. The project CLAUDE.md states, in bold, that the agent must never run terraform destroy or apply against the production workspace. Last week, during a long session, the agent ran a production apply that deleted a managed database, because it interpreted a user request about "cleaning up unused resources" as permission.

The team wants a control that does not depend on the model remembering or interpreting a sentence correctly in every session, and that applies to every engineer's machine.

Which control is most appropriate?

Practicá este dominio en el simulacro →