CCAR-F · Gestión de contexto
La ventana de contexto y cómo administrarla
La ventana de contexto (context window) es todo lo que el modelo puede leer en una llamada: instrucciones del sistema, historial de la conversación, resultados de herramientas y documentos. Si algo no está en la ventana, el modelo no lo sabe. Por eso cada pedido a la API tiene que llevar el historial completo de la conversación.
Por qué se llena
En un agente, cada paso agrega texto, y los resultados de herramientas suelen ser lo que más ocupa. Una consulta de pedido puede devolver 40 campos cuando para una devolución importan 5. La solución es recortar el resultado a los campos relevantes antes de que entre al historial, no cuando ya se acumuló.
Lo que se pierde al resumir
El resumen progresivo (progressive summarization) comprime el historial una y otra vez. El riesgo es que los datos concretos se vuelvan vagos: “$1.250 el 3 de marzo” pasa a ser “un reembolso reciente”, y “me prometieron respuesta el viernes” desaparece.
Lo que se hace es sacar los datos transaccionales (montos, fechas, números de pedido, estados, lo que el cliente espera) a un bloque persistente de hechos del caso (case facts) que va en cada prompt, fuera del historial resumido. Si la sesión tiene varios problemas a la vez, cada uno lleva sus datos estructurados en esa capa aparte.
La posición importa
Con entradas largas aparece el efecto perdido en el medio (lost in the middle): el modelo procesa bien el principio y el final, pero puede omitir lo que está en el medio. Para mitigarlo:
- poné un resumen de los hallazgos clave al principio;
- ordená el detalle en secciones con encabezados explícitos.
Exploraciones largas
En una sesión larga sobre un código grande, el modelo empieza a responder con “patrones típicos” en lugar de las clases concretas que encontró antes. Ayuda que el agente anote los hallazgos clave en un archivo de notas (scratchpad file) y lo consulte después, y usar /compact cuando el contexto se llena de resultados de exploración.
La caché de prompts (prompt caching) baja costo y latencia, pero no libera espacio en la ventana.
En el examen
Fijate qué dato se perdió y dónde estaba. Si son cifras o fechas que se diluyeron al resumir, la respuesta va por un bloque de hechos del caso; si el hallazgo estaba en el medio de una entrada larga, por reordenar; si el contexto se llena de campos que nadie usa, por recortar los resultados de herramientas.
Las preguntas están en inglés a propósito: la certificación solo se puede rendir en inglés o japonés, así que practicás como en el examen. La explicación te la damos en español.
An agent has been running for hours and the conversation is approaching the context window limit. What is the best way to keep it working without losing what matters?
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A fintech company is building an internal Claude agent that helps analysts investigate unusual account activity. The agent has several tools that query external databases: transaction history, account events and an audit log service. Each tool simply returns whatever the underlying API sends back.
In practice, the audit log tool often returns raw JSON logs of more than 30,000 tokens, with nested request headers, internal IDs and timestamps for every event. A typical investigation calls three or four tools in a row, so the context window fills up quickly.
The traces show a clear pattern: the first steps of a multi-step task go well, but later steps start to fail, with the agent losing earlier instructions or repeating calls it has already made. For most tasks the agent only needs a handful of fields from each log entry, such as the event type, amount, account and time.
The team has eight engineers and a compliance review deadline at the end of the month. One developer already tried raising the request timeout, which made no difference.
What should you do to stop tool results from overwhelming the context window?