Detectar sesgos en las respuestas

Un equipo de selección recibe treinta postulaciones y le pide a Claude un resumen de cinco líneas por candidato, con “fortalezas y preocupaciones”. Una segunda reclutadora lee los resúmenes al lado de los CV y nota algo: a varias mujeres las describe como “colaboradoras” y “de apoyo”, y a hombres con trayectorias equivalentes como “decididos” y “estratégicos”. Un bache laboral de dos años aparece como preocupación en algunos candidatos y en otros, con el mismo bache, ni se menciona.

Cada resumen por separado parece razonable. El problema aparece al compararlos.

Qué es un sesgo en una salida

Un sesgo (bias) es una diferencia sistemática en cómo se trata a casos parecidos, que no se explica por los datos del caso. Los modelos aprenden de textos escritos por personas, y pueden reproducir asociaciones de esos textos: qué adjetivos van con quién, qué se considera un riesgo y para quién.

La alucinación se detecta comparando la salida con la fuente. El sesgo, en cambio, se detecta comparando salidas entre sí.

Señales para mirar

• Trato desigual (inconsistent treatment): el mismo hecho (un bache laboral, un cambio de rubro, una edad) se marca como problema en unos casos y se ignora en otros.
• Lenguaje estereotipado (stereotyped language): adjetivos distintos para perfiles equivalentes, que siguen el género, la edad, el origen o cualquier otro rasgo que no tiene que ver con la tarea.
• Menciones que no vienen al caso: el resumen comenta algo personal que no está relacionado con el puesto o la decisión.
• Una sola mirada: en un análisis o una recomendación, solo aparecen los argumentos de un lado, o se describe a un grupo de clientes siempre con el mismo tono negativo.

Una forma práctica de chequear: tomá dos casos con datos equivalentes y leé sus salidas una al lado de la otra. Si la descripción cambia más que los datos, hay algo para revisar.

Cómo corregirlo

El pedido abierto (“fortalezas y preocupaciones”) deja a criterio del modelo qué mirar en cada caso. La corrección es sacarle ese margen:

1. Definí criterios fijos (consistent criteria) antes de procesar los casos. En selección, criterios relacionados con el puesto (job-related criteria): años en ventas complejas, manejo de cuentas grandes, idiomas requeridos.
2. Aplicalos igual a todos. El mismo formato y las mismas preguntas para cada candidato: “para cada criterio, qué evidencia hay en el CV; si no hay, escribí ‘sin evidencia’”.
3. Volvé a generar todas las salidas, no solo las que te llamaron la atención.
4. Controlá contra la fuente: compará una muestra de resúmenes con los CV.
5. Las decisiones sobre personas las toma una persona. El resumen ayuda a leer más rápido; no arma la lista corta (más sobre esto en el dominio de gobernanza).

Esta lógica sirve más allá de selección: evaluaciones de desempeño, análisis de reclamos por zona, segmentación de clientes. Siempre que se describan muchos casos parecidos, criterios fijos y comparación entre casos.

Las trampas típicas

Opción que aparece	Por qué está mal
Agregar “sé justo e imparcial” y regenerar	Es una intención, no un criterio; no dice qué mirar
Pedirle a Claude que diga qué candidatos describió con sesgo	El mismo modelo no es un control independiente
Dejarlo porque “solo cambian las palabras”	Las palabras influyen en quién pasa a la siguiente etapa
Corregir a mano los resúmenes que notaste	Los demás siguen hechos con el mismo pedido abierto
Dejar que el resumen decida la lista corta	Saca a la persona de una decisión sobre personas

En el examen

La pista típica es una comparación: perfiles parecidos con descripciones distintas, o un mismo dato tratado distinto según el caso. Casi siempre el escenario aclara que el prompt era abierto. Buscá la opción que reemplaza el pedido abierto por criterios fijos ligados a la tarea, aplicados a todos, y revisa contra la fuente. Descartá las que dependen de una frase de buena intención, de la autoevaluación del modelo o de que “en general se ve bien”.