Normativa y equidad, dónde se despliega y cómo se mide el sesgo

Una red de salud habilitó el modo HIPAA en su única organización de la API para un asistente clínico. Al otro día, las campañas de marketing empiezan a fallar con errores 400. En otro lado, un asistente que preselecciona currículums deja pasar menos candidatos con interrupciones en su carrera, y el equipo propone agregar al prompt “evaluá sin sesgos”. En los dos casos la respuesta está fuera del prompt.

Cada norma decide algo distinto

Ya viste en la lección de guardrails que el cumplimiento vive en el despliegue. Esto es lo que el examen espera que sepas de cada caso:

Norma	Qué exige en la práctica
HIPAA (datos de salud)	un acuerdo de socio comercial (business associate agreement (BAA)) firmado y una organización con HIPAA habilitado. Se aplica a toda la organización, es permanente y la API rechaza las funciones no elegibles. Para usos generales, otra organización
GDPR (datos personales en la UE)	base legal, minimización de datos (data minimization), retención definida, derechos de los titulares y control de dónde se procesan y guardan los datos
FedRAMP (cargas del gobierno de EE. UU.)	procesar dentro del límite autorizado: la región de gobierno del proveedor de nube, confirmando qué modelos y funciones hay ahí

En el caso de la red de salud, la salida no es apagar HIPAA para la campaña (no se puede) ni pedirle al modelo que no guarde datos: es separar las cargas, PHI en la organización habilitada y lo general en otra.

Para la residencia de datos (data residency) hay controles concretos: la API permite fijar la geografía donde corre la inferencia, por pedido o como valor por defecto del espacio de trabajo, y en las plataformas de nube la región la da el endpoint. La minimización también es arquitectura: lo que no necesita el modelo no se le manda, y lo que se loguea se define como requisito.

El sesgo se mide por grupo

Pedirle al modelo que sea imparcial no prueba nada. La equidad se mide:

1. Dataset representativo con los grupos que importan, aunque el modelo nunca vea el atributo.
2. Tasa de selección por grupo (selection rate by group) y tasas de error por grupo, comparadas entre sí.
3. Buscar variables sustitutas (proxy variables): criterios que no están en los requisitos del puesto pero correlacionan con un grupo protegido, como la continuidad laboral, el código postal o ciertas instituciones. Si no son requisitos, se sacan.
4. Volver a medir después de cada cambio, como parte de la suite.

Borrar el género y la edad del currículum no alcanza: las sustitutas siguen ahí. Y que los reclutadores coincidan mucho con el sistema no demuestra equidad; puede ser sesgo de automatización.

Transparencia desde el principio

• Avisar a las personas que se usa IA en el proceso antes de que interactúen, no después de un incidente.
• Explicar qué criterios se evalúan y ofrecer un camino para pedir revisión humana.
• Documentar las limitaciones conocidas y los resultados de las mediciones de sesgo.

Las trampas típicas

• Desactivar HIPAA un rato y volver a activarlo, o reintentar los 400 hasta que pasen.
• Un system prompt que prohíbe retener datos como medida de cumplimiento.
• Pedir un BAA para resolver un requisito de alojamiento federal.
• Agregar “no discrimines” al prompt y revisar el trimestre que viene.
• Avisar del uso de IA solo si alguien pregunta.

En el examen

Si aparece una norma, buscá la respuesta en contratos, organización, región o límite autorizado. Si una organización mezcla PHI con usos generales, separalas. Si hay un resultado dispar entre grupos, buscá la opción que mide por grupo, saca los criterios sustitutos que no hacen al puesto y transparenta el uso de IA desde el principio.