Expectativas y SLA, nada de 100%, metas contra la línea de base y latencia por percentil

La sponsor de un proyecto de clasificación de documentos lo dijo en la reunión de arranque: “lo lanzamos cuando tenga 100% de precisión”. Dos semanas después, el área comercial pide que cada interacción con el nuevo agente tarde menos de dos segundos, aunque algunas tareas encadenan varias herramientas y tardan entre ocho y veinte. Aceptar las dos metas para no generar fricción es la forma más segura de que el proyecto fracase.

La precisión se acuerda contra la línea de base

Nadie puede prometer 100% de precisión con un sistema probabilístico, y tampoco hace falta: el proceso actual tampoco es perfecto. La meta se ancla en la línea de base:

• medir el proceso actual: si hoy las personas clasifican bien el 95%, ese es el punto de comparación;
• acordar la meta contra ese número, por tipo de documento si los errores no cuestan lo mismo;
• definir un camino de escalamiento (escalation path): los casos de baja confianza o de mala calidad, como un escaneo ilegible, van a una persona en lugar de forzar una respuesta;
• dejarlo escrito en los criterios de aceptación (acceptance criteria), junto con el set de prueba contra el que se mide.

Negarse a comprometer cualquier número porque “el modelo es probabilístico” tampoco sirve: deja al negocio sin forma de evaluar el proyecto. Y los benchmarks públicos del proveedor no son una meta; miden otras tareas con otros datos.

Latencia: por flujo y por percentil

Un acuerdo de nivel de servicio (service level agreement (SLA)) con un promedio único esconde la cola: un promedio de dos segundos puede convivir con un 10% de pedidos que tardan veinte. Se define por tipo de flujo y por percentil 95 (p95):

Flujo	Qué necesita el usuario	Cómo se expresa el SLA
Pregunta simple	que se sienta inmediato	tiempo hasta el primer token (time to first token) en p95, con streaming
Tarea de varios pasos	saber que avanza	finalización en p95, con progreso visible paso a paso
Informe o proceso masivo	tenerlo a una hora	finalización asíncrona con aviso cuando está listo

Forzar todo al modelo más chico para cumplir los dos segundos sacrifica calidad sin preguntarle a nadie.

Comunicar el trade-off

Cuando una decisión técnica cambia lo que el negocio pidió, se explica en sus términos y decide quien es dueño del resultado:

• datos propios: precisión medida con el set de la empresa, costo por transacción, horas de corrección de los errores;
• opciones con una recomendación: por ejemplo, “el informe se procesa de noche, está listo a las 8, cuesta menos; si lo necesitan antes, esto es lo que cambia”;
• sin decidir en silencio ni mandar una nota técnica para que el negocio “elija solo”.

Un circuito de retroalimentación

Las expectativas se alinean una vez y se sostienen con datos: un piloto antes del lanzamiento completo, revisiones periódicas con los interesados contra las metas acordadas, ejemplos reales de aciertos y errores, y un proceso para priorizar los pedidos de cambio.

Las trampas típicas

• Aceptar el 100% para conservar el apoyo de la sponsor y “agregar revisión después”.
• Prometer la precisión de un benchmark público.
• Un promedio único para todas las interacciones, chico o generoso.
• Cumplir el SLA cambiando todo al modelo más chico sin evaluar.
• Pasar a lotes sin avisar porque “igual leen el informe a la mañana”.

En el examen

Si alguien espera 100%, buscá la opción que acuerda una meta contra la línea de base del proceso actual, con escalamiento para los casos dudosos y por escrito. Si piden un único tiempo para todo, buscá SLA por flujo y por p95, con streaming o progreso visible. Si hay que justificar una decisión ante un ejecutivo, buscá números propios en términos del negocio y una recomendación.