CCDV-P · Integración en producción, confiabilidad y conocimiento de base
Escala y rendimiento, cuál es la restricción que manda
Una plataforma de análisis de documentos creció diez veces en un trimestre. Los usuarios empiezan a ver errores 429 en las horas pico. El equipo propone “pedir más cuota”, pero al mirar los datos descubre que un solo cliente grande consume la mayor parte de los tokens, que la mitad del trabajo no es interactivo y que los límites que se agotan son los de tokens de entrada, no los de pedidos por minuto.
Cuál es la restricción que manda
Antes de actuar, identificá qué límite se está agotando. Los límites de la API se miden en varias dimensiones (pedidos por minuto, tokens de entrada por minuto, tokens de salida por minuto) y cada una pide una acción distinta:
| Restricción | Señal | Palanca |
|---|---|---|
| Pedidos por minuto | muchos pedidos chicos | agrupar, evitar llamadas redundantes, cachear resultados |
| Tokens de entrada por minuto | pedidos grandes, mucho contexto repetido | recortar contexto y usar caché de prompts (en la mayoría de los modelos, los tokens leídos del caché no cuentan contra este límite; verificalo en la documentación de límites) |
| Tokens de salida por minuto | respuestas largas | acotar max_tokens, pedir formatos más breves |
| Economía | costo por documento fuera del margen | procesar en lote, enrutar a un modelo más chico |
Pedir más cuota sirve cuando la demanda legítima supera el límite aun después de optimizar; no reemplaza el diseño.
Colas y contrapresión
Un sistema sin cola recibe un pico y lo traduce en 429 al usuario. Con una cola entre la aplicación y la API, el trabajo se suaviza. La contrapresión (backpressure) es la señal que el sistema le devuelve a quien produce el trabajo cuando no da abasto: rechazar con un mensaje claro, ralentizar la admisión, priorizar lo interactivo sobre lo diferible. Sin contrapresión, la cola crece sin tope, las latencias se disparan y el sistema responde cosas que el usuario ya abandonó.
Lotes
Message Batches procesa pedidos de forma asíncrona con un descuento (50 % sobre el precio estándar al momento de escribir esto) y un plazo de hasta 24 horas, con tope de cantidad y tamaño por lote. Sirve para trabajo no interactivo: clasificación masiva, evaluaciones, reprocesos. Un pipeline de lotes se diseña con un identificador personalizado por pedido (para reconciliar resultados), manejo de pedidos individuales que fallan y reintento solo de esos. Es la palanca de economía y de rendimiento para lo diferible, y deja libre la cuota en tiempo real para lo que sí es interactivo. No sirve cuando alguien espera la respuesta.
Multi-tenant: cuotas y aislamiento
Cuando varios clientes comparten tu cuenta, uno puede agotar el límite de todos. El aislamiento multi-tenant (multi-tenant isolation) combina: cuotas internas por cliente (tokens y pedidos), colas o prioridades separadas, y la separación de cargas por espacios de trabajo o claves distintas cuando necesitás límites y gasto independientes. Así un cliente ruidoso se frena a sí mismo y no a los demás.
Planificación de capacidad
La planificación de capacidad (capacity planning) parte de datos: pedidos y tokens por hora en el pico, relación entrada/salida, tasa de acierto del caché, parte diferible. Con eso se pronostica el límite que hace falta con margen, y se decide qué se pide como mayor cuota, qué pasa a lotes y qué se optimiza. Se vuelve a medir tras cada cambio de prompt o de modelo, porque cambian los tokens por pedido.
Las trampas típicas
- Pedir más cuota sin mirar qué límite se agota ni quién consume.
- Reintentar más fuerte en lugar de hacer cola y contrapresión.
- Mandar a lotes trabajo que necesita respuesta inmediata, o dejar en tiempo real lo que puede esperar.
- Una cuota compartida sin tope por cliente.
- Dimensionar con el promedio en vez del pico.
En el examen
Primero la restricción (¿pedidos, tokens o economía?), después la palanca. Trabajo diferible, lotes; picos, cola con contrapresión; un cliente que ahoga a los demás, cuotas por tenant.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A bank's internal policy assistant retrieves passages from a policy repository and writes answers for relationship managers. An audit found two problems: some answers include a citation to a policy document that does not contain the claim made, and when the retrieved passages are only loosely related to the question, the assistant still writes a confident answer instead of saying it could not find the policy.
Managers rely on these answers for client conversations, and the compliance team wants measurable grounding rather than a general instruction to be careful.
Which TWO practices best improve grounding? (Select TWO.)
Elegí todas las que correspondan.