claudio.cool
CCDV-PLecciones

CCDV-P · Optimización de costo y latencia a escala

Arquitectura de costos, modelar, enrutar, cachear y poner tope

⏱ 3 min de lecturaBorrador

El gasto en Claude de una empresa creció 4 veces en dos meses, mientras el uso solo se duplicó. Finanzas pide un pronóstico y un tope. El equipo tiene un solo número: la factura mensual. Optimizar sin desglose es adivinar.

Un modelo de costos

El modelo de costos (cost model) descompone el gasto en lo que lo mueve. Por llamada: tokens de entrada, de salida, de lectura y escritura de caché, por precio del modelo. Por tarea: llamadas por tarea (en un agente, turnos y subagentes) por costo por llamada. Con la telemetría de usage se calcula el costo por función, por tenant, por versión de prompt y por tarea completada. El costo por tarea completada es la unidad útil: una opción más barata por llamada puede ser más cara por tarea si reintenta más o falla más.

Con eso se pronostica: volumen esperado por el costo unitario, con escenarios (crecimiento, nuevo cliente grande, cambio de prompt) y margen. Los precios y los modelos cambian: el modelo se actualiza con cada cambio de precio o de versión.

Enrutamiento y cascadas

No todas las solicitudes necesitan el modelo más capaz. En el enrutamiento de modelos (model routing) un clasificador barato (o reglas) manda cada solicitud al modelo adecuado de la familia: los más chicos para clasificar, extraer y tareas simples; los más grandes para razonamiento complejo y agentes de varios pasos. En una cascada de modelos (model cascade) se intenta primero con el modelo barato y se escala al grande si la verificación falla (un esquema inválido, baja confianza medida con señales verificables, un chequeo que no pasa). Se justifica con datos: la evaluación dice en qué categorías el modelo chico alcanza, y el ahorro se mide neto del costo de las escaladas.

Caché: estrategia y diagnóstico

El caché de prompts cobra más la primera escritura y mucho menos las lecturas (una lectura cuesta una fracción del precio de entrada; la escritura cuesta un recargo que depende del TTL). Rinde cuando el mismo prefijo largo se repite antes de que venza. La estrategia: lo fijo y largo al principio (herramientas, system prompt, documentos de referencia) y lo variable al final, con puntos de caché donde termina cada tramo estable.

El diagnóstico de caché (cache diagnostics) mira cache_read_input_tokens y cache_creation_input_tokens: muchas escrituras y pocas lecturas indican que el prefijo cambia entre llamadas (un timestamp, un ID de usuario o herramientas en otro orden) o que el TTL vence entre pedidos. Se arregla estabilizando el prefijo o ajustando el TTL, no cambiando de modelo.

Lote o tiempo real

La API de lotes ofrece un descuento importante para trabajo que puede esperar horas. La regla: lo que no tiene a una persona esperando (evaluaciones, clasificación masiva, reprocesos) va a lote; lo interactivo, no. Y se combinan: un lote con un prefijo en caché suma ambos ahorros.

Presupuesto por tenant

Para que un cliente no consuma el margen de los demás, el presupuesto por tenant (per-tenant budget) se hace cumplir en tu capa: se mide el gasto de cada tenant en tokens y costo, y se aplican límites (suave: alerta y degradación a un modelo más barato; duro: corte o cola). Los espacios de trabajo de la consola y las claves separadas permiten además atribuir el gasto y poner límites de gasto a nivel de la cuenta de Anthropic. El cumplimiento tiene que estar fuera del prompt.

Las trampas típicas

  • Optimizar sobre la factura total, sin desglosar por función y por tenant.
  • Pasar todo al modelo más chico sin evaluar la calidad.
  • Cachear un prefijo que cambia en cada llamada.
  • Tiempo real para trabajo diferible.
  • Presupuesto por tenant que solo se mira a fin de mes.

En el examen

Primero el desglose, después la palanca: enrutar si la tarea es heterogénea, caché si el prefijo se repite, lote si puede esperar, tope por tenant si un cliente domina el gasto.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A compliance team classifies about two million archived documents each night into retention categories using Claude. The job is triggered by a scheduler at midnight, and the results are read by an analyst at nine the next morning. Today it calls the Messages API synchronously with a worker pool, and the monthly bill has become the largest line item of the project.

Nobody needs an individual result in less than a few hours, and a failed document can simply be retried the following night.

Which change gives the largest cost reduction without hurting the business need?

Practicá este dominio en el simulacro →