claudio.cool
CCDV-PLecciones

CCDV-P · Integración en producción, confiabilidad y conocimiento de base

MCP en producción y cambios de modelo o de prompt sin sustos

⏱ 3 min de lecturaBorrador

Un equipo actualiza el modelo de producción a la versión nueva. En staging todo pasó. En producción, un servidor MCP interno empieza a recibir argumentos con otro formato, un prompt que dependía de un comportamiento viejo produce salidas más largas y nadie sabe qué versión del prompt está corriendo en cada servicio. Operar es gestionar el cambio.

MCP en producción

Un servidor MCP local por stdio sirve para desarrollo; en producción lo habitual es un MCP remoto (remote MCP) por HTTP (el transporte actual es Streamable HTTP). Eso trae preguntas de operación:

  • Autenticación: el estándar de MCP para servidores remotos se apoya en OAuth 2.1. El servidor valida el token y autoriza por herramienta; no se confía en que “solo el agente lo llama”. Las claves no van en la definición de la herramienta ni en el prompt.
  • Versionado de herramientas y esquemas (schema versioning): cambiar el nombre, los parámetros o el significado de una herramienta rompe a los agentes que la usan. Los cambios compatibles (un parámetro opcional nuevo) conviven; los que rompen se publican como versión nueva y se retiran con aviso. Las descripciones de herramientas también son contrato: un cambio de texto cambia cómo el modelo las elige.
  • Observabilidad y límites: registro de cada llamada con identidad, tiempo y resultado; límites de uso y tiempos de espera para que una herramienta lenta no cuelgue al agente.
  • Superficie mínima: cada agente ve solo los servidores y herramientas que necesita.

Migrar de modelo

Un modelo nuevo no es un reemplazo transparente. Las migraciones se prueban contra los cambios de comportamiento que rompen que documenta Anthropic para cada versión (parámetros que dejan de aceptarse, cambios en el estilo y largo de las respuestas, en el uso de herramientas o en los motivos de detención). El procedimiento: correr tu suite de evaluación con el modelo nuevo y el actual lado a lado, revisar las diferencias por categoría, ajustar prompts donde haga falta y recién entonces mover tráfico. Fijá la versión exacta del modelo en producción, y planificá los retiros que Anthropic anuncia con anticipación.

Paridad de configuración por plataforma y gateways

Si el mismo sistema corre contra la API de Anthropic y contra Bedrock o Vertex AI, la configuración no es idéntica: identificadores de modelo, autenticación, regiones y disponibilidad de funciones beta difieren. Una gateway (gateway) o capa de enrutamiento centraliza esas diferencias (credenciales, enrutamiento por modelo o región, límites, registro) para que las aplicaciones no las repitan. Esa capa también es un punto de falla y de cambio: se versiona, se observa y se prueba como cualquier otro servicio.

Prompts versionados y despliegue progresivo

El prompt es código: vive en control de versiones, tiene identificador de versión que se registra en cada llamada (así una regresión se ata a un cambio concreto), pasa por la evaluación y se despliega de forma controlada. El despliegue progresivo (progressive rollout) sube el cambio por etapas (un porcentaje chico de tráfico, un tenant interno, luego más) mirando métricas de calidad, costo y errores contra la versión vigente. Cada etapa tiene criterio de avance y de rollback (rollback): volver a la versión anterior debe ser una acción de minutos, con la versión previa todavía desplegable.

Las trampas típicas

  • Migrar de modelo cambiando solo el identificador y mirando “que responda”.
  • Cambiar una herramienta MCP en el lugar, sin versión.
  • Servidor MCP remoto sin autenticación o con una clave estática compartida.
  • Prompts editados directamente en producción, sin versión registrada.
  • Lanzar al 100 % y mirar después.
  • Suponer que la configuración de la API de Anthropic funciona igual en la nube del cliente.

En el examen

Para un cambio de modelo, prompt o herramienta, la secuencia buena es versión explícita, evaluación comparada, despliegue por etapas con métricas y rollback listo. Si el problema aparece solo en una plataforma, sospechá de paridad de configuración y funciones.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A support assistant answers questions using a vector index of product manuals. Complaints focus on queries that contain exact product codes such as "XR-4410-B", where the assistant gives answers about a different model. The team measured each stage: for natural-language questions the right passage appears in the top 50 candidates 93% of the time, but for code queries only 41% of the time. Adding a stronger reranker over the top 50 barely moved the results for code queries.

Generation quality is fine when the correct passage is supplied in the prompt.

Which change best addresses the root cause?

Practicá este dominio en el simulacro →