Humano en el circuito según el riesgo y cómo evitar el sesgo de automatización

Una aseguradora discute su agente de aprobación de siniestros. Legal quiere que un liquidador firme cada decisión; operaciones quiere automatizar todo y dejar que los reclamos de los clientes corrijan los errores. En otra área, los revisores aprueban el 99,6% de las cartas que redacta la IA en cuatro segundos promedio, y los errores llegan igual a los clientes. Las dos situaciones son el mismo problema mal resuelto: la revisión humana puesta donde no agrega valor.

Ni en todo ni en nada

El humano en el circuito (human-in-the-loop) es un control caro y limitado: la atención de las personas. Revisar todo lo agota en lo rutinario; no revisar nada deja pasar los errores que más duelen. La revisión según el riesgo (risk-based review) la concentra donde importa:

Factor	Ejemplo	Revisión
Impacto alto	montos grandes, decisiones legales o de salud	antes de ejecutar
Irreversibilidad	un pago, un envío, un borrado	antes de ejecutar
Decisión adversa para una persona	un rechazo, una baja, una sanción	antes de comunicarla
Baja confianza o validaciones fallidas	foto dudosa, datos que no cierran, caso fuera de lo habitual	antes de ejecutar
Rutina de bajo riesgo	lo que la evaluación muestra que sale bien	pasa sola, con muestreo de auditoría (audit sampling)

El muestreo es lo que mantiene honesta la automatización: una porción al azar de lo que pasa solo se revisa después, y si la tasa de error sube, se ajustan los umbrales. Las correcciones de los revisores también vuelven a la suite de evaluación.

El sesgo de automatización

El sesgo de automatización (automation bias) es la tendencia a aceptar lo que propone el sistema sin verificarlo. Las señales son claras: aprobaciones cerca del 100%, segundos por revisión y errores que aparecen después. La revisión existe en el papel, no en la práctica. Se corrige con diseño:

• mandar a revisión solo lo sustantivo: si todo pasa por la cola, todo se aprueba en automático;
• mostrar la evidencia de cada afirmación: de dónde sale cada cifra, qué cláusula se aplicó, para que verificar sea rápido;
• sembrar errores conocidos (seeded errors) en la cola y medir cuántos detectan los revisores;
• dimensionar la cola: si la carga supera la capacidad, la gente aprueba para vaciarla.

Pedir una justificación escrita por cada aprobación o sumar un segundo revisor a todo agrega trabajo sin atacar la causa: dos personas que confían en el sistema siguen confiando en el sistema.

Las trampas típicas

• Un revisor firmando cada decisión “porque toda decisión automática tiene riesgo”.
• Automatizar todo y usar las apelaciones de los clientes como control de calidad.
• Elegir qué se automatiza por criterios ajenos al riesgo, como la antigüedad del cliente.
• Sacar la revisión porque “igual aprueban casi todo”.
• Medir a los revisores por velocidad y no por errores detectados.

En el examen

Si el escenario plantea “revisar todo o nada”, buscá la opción que pone revisión en los casos de alto impacto, baja confianza o decisión adversa y audita una muestra del resto. Si los revisores aprueban casi todo en segundos, buscá la combinación: solo lo sustantivo a revisión, la evidencia a la vista y errores sembrados para medir. Descartá las que suman burocracia o eliminan el control.