Que suene seguro no lo hace cierto: verificar contra la fuente

Un coordinador le pide a Claude que resuma una norma nueva. El resumen sale claro, bien redactado y cita el “inciso 4.b” con total seguridad. El inciso no existe.

Esto tiene nombre: alucinación (hallucination). Un modelo de lenguaje puede inventar detalles con aspecto muy específico (un número de artículo, una cita textual con fecha, una estadística de una encuesta con nombre) y escribirlos en el mismo tono que los datos reales. El tono no te dice nada sobre si el dato es cierto.

Dos controles distintos

Revisar una salida es mirar dos cosas por separado:

• Precisión (accuracy): cada cifra y cada afirmación tiene que poder rastrearse hasta la fuente. Si el resumen dice “18% de crecimiento total” y el informe muestra 18% en una sola región, el dato está mal atribuido.
• Completitud (completeness): compará la salida contra lo que tenía que cubrir. Si la agenda tenía nueve puntos y el resumen de la reunión trae seis acciones, puede estar bien, pero hay que confirmarlo contra la agenda y la transcripción.

Señales de alerta

Estas cosas no prueban que haya un error, pero te dicen dónde mirar primero:

• totales que no coinciden con la suma de sus propias partidas;
• un dato que cambia entre secciones (24 meses en un lado, 36 en otro): una inconsistencia (inconsistency) interna, así que al menos uno está mal;
• cifras, citas o referencias muy específicas que no estaban en el material que le diste;
• casos parecidos descriptos de forma distinta (eso puede ser sesgo, que se trata en otra lección).

Lo que no es una señal: que el texto suene seguro, que no use palabras de duda o que haya simplificado el lenguaje de la fuente.

Cómo verificar de verdad

La verificación de datos (fact-checking) se hace contra una fuente autorizada (authoritative source): el texto oficial de la norma, el informe original, la transcripción del discurso.

• Abrí la fuente. Que haya una cita no prueba nada: la página citada puede decir otra cosa.
• Si encontrás un error, revisá el resto. Un dato inventado muestra que puede haber otros del mismo tipo. Si una de cinco citas no aparece, las cinco pasan a ser no verificadas.
• Si no lo podés confirmar, sacalo. Una estadística que no aparece en ninguna fuente no se publica.
• Con poco tiempo, priorizá. Empezá por las afirmaciones que sostienen la decisión (el 40% de ahorro que justifica la inversión), no por los detalles de color.
• Prevení desde el pedido. Dale a Claude los documentos y pedile que cite solo de ellos; así cada cita se puede comprobar.

Las trampas típicas

Opción que aparece	Por qué está mal
Mandarlo así porque Claude “estaba seguro”	La confianza no es una señal de exactitud
Preguntarle a Claude si el dato es real o que califique su confianza	El mismo modelo que lo inventó no es un control independiente
Reformular más formal o cambiar a “alrededor de”	Cambia la forma, no corrige el contenido
Corregir solo el error que encontraste	Deja vivos los otros del mismo tipo
Generar de nuevo y quedarte con lo que coincide	Dos salidas del modelo no son una fuente

En el examen

Si el escenario trae un dato muy concreto (número de inciso, cita con fecha, porcentaje de una encuesta) que va a un público que confía en él (cumplimiento, directorio, clientes), la respuesta es verificarlo contra la fuente original antes de compartir. Descartá todo lo que dependa de que Claude se autoevalúe y todo lo que solo mejora la redacción. En las preguntas de “elegí dos señales”, quedate con las inconsistencias internas (totales que no suman, datos que cambian) y no con el tono.