claudio.cool
CCDV-PLecciones

CCDV-P · Optimización de costo y latencia a escala

Ingeniería de latencia, primer token o total, y qué mover

⏱ 3 min de lecturaBorrador

Un asistente de voz para un call center tiene un objetivo: que la persona empiece a oír la respuesta en menos de un segundo. El equipo mide una latencia promedio de seis segundos y se pregunta si hace falta un modelo más rápido. Antes de cambiar nada, hay que saber de qué se compone esa latencia y cuál de las dos latencias importa.

Primer token o total

Son dos números distintos y se optimizan con palancas distintas:

  • Tiempo hasta el primer token (time to first token, TTFT): cuánto tarda en aparecer algo. Es lo que percibe quien espera en una interfaz de chat o de voz. Depende del tamaño del prompt que hay que procesar, la cola, el modelo y cualquier trabajo previo (recuperación, herramientas).
  • Latencia total (total latency): hasta que termina la respuesta completa. Depende de cuántos tokens de salida se generan y a qué velocidad, y de los pasos de un agente.

Un objetivo de “responder rápido” se traduce en uno de los dos. En un chat con streaming, importa el TTFT; en un proceso que usa la salida completa (un JSON para otro sistema), importa la total, y el streaming no la reduce.

El perfil de latencia

Se descompone una solicitud típica con una traza: tiempo en recuperación, en cada llamada al modelo (entrada y salida por separado), en cada herramienta, en esperas y reintentos. Se ve qué tramo domina. Un agente de cinco turnos secuenciales donde dos herramientas independientes se llaman una tras otra tiene un problema distinto de un prompt de 50.000 tokens. Se mira el percentil alto (p95, p99) y no solo el promedio: los usuarios sufren la cola.

Las palancas

Palanca Qué mejora Detalle
Streaming TTFT percibido muestra la respuesta a medida que se genera; no reduce la latencia total
Ejecución paralela de herramientas (parallel tool execution) latencia total del agente si las herramientas son independientes, se llaman en el mismo turno y se ejecutan a la vez en lugar de uno por turno
Caché de prompts con puntos de caché (cache checkpoint) TTFT y costo un prefijo largo que se repite se procesa más rápido al leerlo del caché; pone el punto de caché al final del tramo estable
Nivel de esfuerzo (effort level) latencia total menos razonamiento y salidas más cortas en tareas simples; subirlo solo donde la calidad lo requiere
Modelo más chico ambas solo si la evaluación muestra que la calidad alcanza
Salida más corta latencia total pedir lo necesario, acotar max_tokens, formatos compactos
Menos pasos latencia total pasar lo predecible a un workflow, reducir idas y vueltas

Para elegir la palanca, mirá la traza. Si el prompt es largo y se repite, caché. Si la espera es por salida larga, esfuerzo, formato y modelo. Si hay herramientas encadenadas innecesariamente, paralelismo. Si el objetivo es de primer token, streaming y caché; si es total, salida y pasos.

Verificá los nombres y parámetros vigentes de las funciones (esfuerzo, caché, herramientas paralelas) en la documentación de la API antes de implementarlas: cambian entre modelos.

Las trampas típicas

  • Optimizar el promedio cuando el problema está en el p95.
  • Streaming para reducir la latencia de un proceso por lotes interno.
  • Cambiar de modelo antes de mirar la traza.
  • Subir el esfuerzo en todo “por calidad”, pagando latencia donde no hace falta.
  • Un prefijo cacheado que cambia entre llamadas, sin ganar nada.

En el examen

Primero identificá qué latencia se pide (primer token o total) y en qué tramo se gasta el tiempo; después elegí la palanca que ataca ese tramo.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A code-review pipeline runs three Claude calls per pull request: it first labels the change type, then extracts the list of modified public APIs, and finally reasons about concurrency and security risks in the diff. All three calls use the highest effort setting with a large thinking budget. The p95 latency is 41 seconds against a target of 20 seconds.

Traces show that the first two calls take most of the time while producing short, mechanical outputs, and the team's evaluation suite shows their accuracy does not change between effort levels. The third call benefits clearly from deep reasoning.

Which action best meets the latency target while protecting quality?

Practicá este dominio en el simulacro →