claudio.cool
CCDV-PLecciones

CCDV-P · Integración en producción, confiabilidad y conocimiento de base

Confiabilidad, reintentos, circuit breakers y fallbacks que distinguen la causa

⏱ 3 min de lecturaBorrador

Un servicio de clasificación de tickets envuelve cada llamada a Claude en un reintento que repite hasta cinco veces ante cualquier falla. Un viernes el proveedor se degrada y el reintento multiplica el tráfico justo cuando menos conviene; a la vez, un lote de llamadas falla por un parámetro inválido y se reintenta igual, cinco veces cada una, sin chances de éxito. El problema no es la cantidad de reintentos: es que no se distingue por qué terminó cada llamada.

Primero, clasificar la causa

El motivo de detención (stop reason) y el código de error dicen qué pasó. Cada causa pide una respuesta distinta:

Qué pasó Respuesta correcta Por qué no reintentar a ciegas
Límite de tasa (HTTP 429, con encabezado retry-after) o sobrecarga (529) y errores 5xx reintento con backoff exponencial (exponential backoff retry), con jitter y tope es transitorio; reintentar es lo correcto
stop_reason: max_tokens subir el presupuesto de salida o pedir una respuesta más corta repetir la misma llamada reproduce el corte y gasta tokens
Corte por ventana de contexto recortar o compactar la entrada reintentar no cambia el tamaño
stop_reason: refusal o respuesta que declina camino de manejo de seguridad: respuesta controlada, escalamiento, no reintento automático repite el rechazo y suma costo; en algunos casos reintentar sería inapropiado
400 (solicitud inválida) corregir la solicitud nunca se arregla solo
401 o 403 corregir credenciales o permisos idem

Los SDK de Anthropic ya reintentan por defecto algunos errores transitorios (con una cantidad configurable). Si además reintentás en tu capa, los reintentos se multiplican: definí una sola capa responsable.

Circuit breaker y degradación elegante

Si el proveedor está degradado, reintentar con más fuerza empeora todo (tormenta de reintentos). Un circuit breaker corta las llamadas después de una tasa de fallas, deja pasar unas pocas de prueba y vuelve a cerrar cuando se recupera. Mientras está abierto, el sistema aplica degradación elegante (graceful degradation): una respuesta guardada, una versión reducida de la función, una cola para procesar después o un mensaje claro al usuario. Se diseña de antemano qué se sacrifica primero.

Fallbacks entre modelos, regiones y plataformas

Un fallback a otro modelo, región o plataforma (por ejemplo, la API de Anthropic y una nube como Amazon Bedrock o Google Vertex AI) agrega resiliencia pero también diferencias:

  • Paridad de funciones (feature parity): no toda función o herramienta beta está disponible en todas las plataformas ni al mismo tiempo. Un fallback que depende de una función ausente falla justo cuando se lo necesita. Verificá la matriz de funciones de cada plataforma y probá el camino de fallback con tráfico real o de prueba.
  • Comportamiento: otro modelo puede responder distinto; el fallback pasa por la misma evaluación que el primario.
  • Cuotas y datos: la región o plataforma alternativa tiene sus propios límites y requisitos de residencia de datos.
  • El fallback se dispara por la causa correcta: se pasa al secundario ante una caída o saturación, no ante un rechazo de seguridad (se rechazaría igual o peor).

Las trampas típicas

  • Un solo camino de reintento para todos los errores.
  • Subir los reintentos y la ventana de backoff para “que alguna vez salga”.
  • Reintentar 400 o rechazos como si fueran transitorios.
  • Reintentos anidados (SDK, cliente, cola) que se multiplican.
  • Fallback permanente a un modelo más barato “porque anda”.
  • Fallback a una plataforma que no tiene una función que el flujo necesita.

En el examen

Si el escenario mezcla causas bajo un mismo manejo, elegí la opción que ramifica por motivo de detención y código. Si un fallback “no anda” en la plataforma alternativa, sospechá de la paridad de funciones. Si el proveedor está caído, la respuesta es circuit breaker y degradación, no más reintentos.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A document-processing service runs 200 concurrent workers that call the Messages API. After a traffic spike the API began returning 429 rate-limit errors. Each worker retries immediately after a fixed one-second pause, up to ten times. Instead of recovering, the service has stayed at a high error rate for twenty minutes, and workers now log "retries exhausted" for many documents.

The responses include a retry-after header, which the code ignores. The on-call engineer notes that error rates were normal an hour before the spike and that the queue of pending documents is growing.

Which change is most likely to restore stable operation?

Practicá este dominio en el simulacro →