CCAO-F · Evaluación y validación de respuestas
Cuánta revisión humana hace falta: graduarla por riesgo
Una líder de atención al cliente usó Claude a la mañana para tres cosas: ideas para el encuentro del equipo, el mail semanal interno y la respuesta a un cliente que amenaza con acciones legales por un reembolso demorado, donde se ofrece una compensación concreta. Tiene una asesora legal disponible media hora. Su jefe propone que, “por las dudas”, todo lo que haga Claude pase por legal.
Suena prudente, pero gasta la media hora en una lista de ideas para un encuentro. Y si se hace al revés, nada revisado, la respuesta al cliente sale sin que nadie con criterio legal la lea.
La revisión se gradúa
La revisión humana (human review) no es un sí o no. Va de un vistazo de quien manda el texto a la firma de un especialista. Lo que decide cuánta hace falta es el impacto (impact) de que la salida esté mal:
- ¿Sale de la organización? Un cliente, un regulador, el público, inversores.
- ¿Compromete algo? Plata, una promesa, una posición legal.
- ¿Afecta salud, seguridad o derechos de alguien? Instrucciones de uso de un dispositivo médico, una decisión sobre un empleado.
- ¿Es difícil de deshacer? Un mail enviado, un folleto impreso, un dato publicado.
- ¿Tiene otro control más adelante? Un texto que el equipo va a reescribir, una prueba A/B con un público chico.
| Situación | Revisión que corresponde |
|---|---|
| Borrador interno, bajo riesgo, que alguien va a editar igual | Control rápido de quien lo usa |
| Texto que sale afuera pero sin datos nuevos (acortar un comunicado ya aprobado) | Control de quien lo publica |
| Cifras o afirmaciones nuevas para un público que confía en ellas | Verificación adicional (additional verification) contra la fuente |
| Salud, seguridad, derechos, compromisos legales o financieros | Revisión experta (expert review) antes de usarlo |
Aplicarlo a una cola de tareas
Un equipo de comunicación de una empresa de dispositivos médicos tiene cinco salidas para revisar y poco tiempo de la especialista regulatoria y de finanzas. ¿Qué mandar?
- Un folleto para pacientes con instrucciones de limpieza y reuso: afecta la seguridad. Experta regulatoria.
- Un párrafo para inversores con un crecimiento de ingresos que calculó Claude: resultado de la empresa, publicado. Finanzas.
- Treinta asuntos de mail que se van a probar con un público chico: la prueba es el control.
- Un borrador de preguntas frecuentes que RRHH va a reescribir: ya tiene otro control.
- Una versión corta de un comunicado aprobado, sin afirmaciones nuevas: control de quien lo publica.
Fijate que lo que define no es lo pulido que se ve ni a cuánta gente llega, sino qué pasa si está mal.
Humano en el circuito
Para lo de alto impacto, la idea es un humano en el circuito (human in the loop): una persona con criterio revisa y decide antes de que la salida tenga efecto. No alcanza con que alguien “le eche un ojo” si esa persona no puede juzgar el contenido; para un tema legal, la revisión tiene que ser de alguien que sepa de eso.
Las trampas típicas
- Revisión experta para todo. Agota a los especialistas y retrasa lo que no la necesitaba.
- Nada de revisión porque “Claude suele acertar”. El acierto habitual no cubre el caso que importa.
- Priorizar por alcance (lo que llega a más gente) en lugar de por impacto. El mail interno a cuarenta personas pesa menos que la respuesta a un solo cliente que amenaza con un juicio.
- Confundir prolijidad con exactitud. Que salió rápido y bien escrito no cambia el riesgo.
- Que revise alguien sin el conocimiento necesario.
En el examen
Estos escenarios dan varias tareas y un recurso de revisión escaso. Ordenalas por impacto: lo que sale afuera, compromete a la organización o toca salud, plata o derechos va al experto; lo interno, de bajo riesgo o con un control posterior, lleva un control liviano. Desconfiá de las opciones con “todo” o “nada”, y de las que priorizan por cantidad de lectores o por lo bien que se ve el texto.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A sales operations analyst at a beverage distributor prepares the quarterly business review for the commercial director. She uploaded the thirty-page sales report to Claude and asked for a one-page executive summary with the main figures.
The summary states that "total revenue grew 18% year over year." While building the slides, she searches the report for that figure and finds 18% only in the table for the northern region; the company total in the same report is 9%.
The rest of the summary contains another eight figures. The review meeting is the day after tomorrow, and the director tends to quote the executive summary directly in her own presentation to the board.
The analyst's manager suggests just correcting the 18% and moving on, since the other figures "look about right."
What is the most appropriate way to handle the summary?