claudio.cool
CCDV-PLecciones

CCDV-P · Arquitectura avanzada de agentes y orquestación

Políticas de contexto y memoria para agentes largos

⏱ 3 min de lecturaBorrador

Un agente de soporte técnico lleva doscientos turnos en una sesión. La ventana está al 90 %, cada turno cuesta más que el anterior y el agente empieza a olvidar la política que se le dio al principio. Además, el equipo le conectó cuarenta herramientas y ya hay 20.000 tokens de definiciones antes de que el cliente diga una palabra.

Opciones de política, y cuándo cada una

Política Qué hace Cuándo Riesgo
Compactación de contexto (context compaction) resume el historial viejo y sigue con el resumen conversaciones largas con hilo continuo el resumen pierde datos exactos (montos, fechas, compromisos) si no se pide conservarlos
Edición de contexto (context editing) borra contenido que ya no hace falta, por ejemplo resultados viejos de herramientas agentes con muchas llamadas voluminosas borrar algo que se vuelve a necesitar; hay que poder volver a pedirlo
Memoria persistente (persistent memory) guarda hechos fuera de la ventana y los consulta cuando hacen falta información que debe sobrevivir a la sesión o al recorte memoria que se llena de basura o se desactualiza
Subagentes delegan un tramo en una ventana propia y devuelven un resumen exploración ruidosa contrato de entrega mal definido

Claude Code compacta automáticamente al acercarse al límite y ofrece /compact para hacerlo a mano; la API y el Agent SDK tienen mecanismos equivalentes que conviene mirar en la documentación vigente. Lo importante para decidir no es el nombre del mecanismo sino qué se pierde. Los datos que no pueden perderse (restricciones, compromisos, identificadores) se guardan en un bloque fijo o en memoria, no en el resumen libre.

El caché de prompts no libera espacio: baja costo y latencia del prefijo repetido, pero ese prefijo sigue ocupando ventana.

Cambiar instrucciones sin romper el caché

El caché de prompts funciona por prefijo exacto: herramientas, luego system prompt, luego mensajes. Si a mitad de la conversación editás el system prompt o cambiás la lista de herramientas, invalidás el caché de todo lo que sigue y pagás de nuevo el prefijo. Cuando una instrucción cambia durante la sesión (un modo nuevo, una restricción), es más barato agregarla como un mensaje nuevo al final que reescribir el inicio. Lo fijo y largo va arriba; lo que cambia, abajo.

Catálogos grandes de herramientas fuera de la ventana

Cuarenta definiciones de herramientas cargadas siempre le cuestan tokens a cada turno y confunden la elección. La salida es la búsqueda de herramientas (tool search) con carga diferida (deferred loading): el modelo recibe un buscador y trae solo las definiciones que necesita en ese momento. En la API hay una herramienta de búsqueda de herramientas y un marcador para diferir la carga; verificá los nombres vigentes en la documentación antes de implementar. En MCP, la misma idea: no exponer todos los servidores a todos los agentes.

Las trampas típicas

  • Resumir sin indicar qué conservar literalmente.
  • Confiar en que el caché “arregla” una ventana llena.
  • Cambiar el system prompt en cada turno (y perder el caché en cada turno).
  • Cargar todas las herramientas “por las dudas”.
  • Memoria persistente sin criterio de qué entra, qué se actualiza y qué se borra.

En el examen

Mirá qué límite se está por romper: la ventana (compactar o editar, con datos críticos protegidos), el costo (caché bien ordenado y menos contexto), o el catálogo de herramientas (carga diferida). Descartá la opción que cambia el modelo por uno “más grande” sin atender el diseño del contexto.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A finance team runs an invoice-triage agent that decides, for each incoming invoice, which tools to call: vendor lookup, duplicate check, purchase-order match, and approval routing. After four months the team analyzes 50,000 runs. In 94% of them the agent follows exactly the same four steps in the same order. The remaining 6% involve odd invoices where the agent explores, asks for clarification, or consults several systems.

Average cost per run and p95 latency are well above the targets, and the 94% group accounts for most of the spend.

What should the team do?

Practicá este dominio en el simulacro →