Machine Learning responsable: sesgos, privacidad y explicabilidad

Por qué “responsable” importa en Machine Learning

Un modelo no “descubre la verdad” por sí solo: aprende patrones de los datos disponibles. Si esos datos reflejan desigualdades históricas, errores de medición o decisiones humanas previas, el modelo puede repetirlas o incluso amplificarlas al automatizar decisiones a gran escala. En contextos de alto impacto (crédito, empleo, salud, educación, justicia, seguros), esto puede traducirse en daños reales: exclusión, trato desigual, pérdida de oportunidades o vigilancia injustificada.

Sesgos: cómo nacen y cómo se amplifican

1) Los datos pueden reflejar desigualdades

Ejemplo práctico: una empresa ha contratado históricamente más a un grupo que a otro. Si entrenas un modelo con esos datos para predecir “candidato recomendado”, el modelo puede aprender que pertenecer al grupo históricamente favorecido se asocia con “éxito”, aunque la causa real sea un proceso de selección sesgado.

• Sesgo de selección: quién aparece en el dataset no representa a la población real (p. ej., solo usuarios de una app premium).
• Sesgo de medición: la variable medida no captura bien el fenómeno (p. ej., “número de arrestos” como proxy de “criminalidad” puede reflejar patrones de vigilancia).
• Sesgo histórico: el pasado contiene decisiones injustas que quedan “congeladas” en los datos.

2) Variables sensibles y proxies (sustitutos)

Variables sensibles son atributos que requieren especial cuidado por su potencial de discriminación o por regulación: sexo/género, origen étnico, edad, discapacidad, religión, orientación sexual, nacionalidad, etc. Un error común es pensar: “si elimino la variable sensible, ya no hay sesgo”. En la práctica, el modelo puede usar proxies: variables correlacionadas que actúan como sustitutos.

Ejemplos de proxies:

• Código postal puede correlacionar con nivel socioeconómico u origen étnico.
• Tipo de dispositivo o horario de conexión puede correlacionar con ingresos o tipo de empleo.
• Historial de compras puede correlacionar con edad o situación familiar.

3) Correlaciones engañosas

Un modelo puede aprender correlaciones que “funcionan” en el dataset pero son frágiles o injustas. Por ejemplo, si en un hospital se atiende más rápido a ciertos pacientes, el modelo puede asociar “tiempo de espera” con “gravedad” de forma errónea. O si un dataset de imágenes tiene más fotos de una clase tomadas en exteriores, el modelo puede usar el fondo como pista (no el objeto).

Continúa en nuestra aplicación.

• Escuche el audio con la pantalla apagada.
• Obtenga un certificado al finalizar.
• ¡Más de 5000 cursos para que explores!

O continúa leyendo más abajo...

Descargar la aplicación

Señales de alerta:

• La variable predictora parece un atajo (“shortcut”) que no debería causar el resultado.
• El patrón cambia al mover el modelo a otra región, época o canal de adquisición.
• El modelo falla más en subgrupos específicos.

4) Consecuencias reales de decisiones automáticas

Automatizar no solo acelera: también escala. Un error que antes afectaba a 50 casos puede afectar a 50.000. Además, las decisiones automáticas pueden crear bucles de retroalimentación: si un modelo niega crédito a un grupo, ese grupo tendrá menos historial crediticio “positivo” en el futuro, reforzando la predicción.

Guía práctica: cómo detectar y mitigar sesgos

Paso 1: define el “daño” y el contexto de uso

• ¿Qué decisión se tomará con la predicción? (informar, recomendar, bloquear, asignar recursos)
• ¿Quiénes son los afectados directos e indirectos?
• ¿Qué errores son más graves? (falsos positivos vs falsos negativos) Esto puede variar por grupo.
• ¿Hay requisitos legales o políticas internas para variables sensibles?

Paso 2: revisa representatividad y cobertura

Antes de “arreglar el modelo”, revisa el dataset:

• ¿Hay grupos con muy pocos ejemplos? (riesgo de rendimiento peor e inestable)
• ¿La distribución del dataset coincide con la población real?
• ¿Faltan casos “difíciles” o “raros” que sí ocurren en producción?

Acciones típicas:

• Recolectar más datos de grupos infrarrepresentados (si es viable y ético).
• Mejorar el proceso de etiquetado para reducir sesgo humano (guías, doble revisión, auditorías).
• Separar periodos o fuentes si hay cambios de política que alteran el significado de las etiquetas.

Paso 3: identifica variables sensibles y posibles proxies

Haz un inventario de variables:

• Sensibles directas: las que explícitamente describen atributos protegidos.
• Potenciales proxies: ubicación, escuela, empleo, hábitos, dispositivos, etc.

Preguntas útiles:

• Si elimino la variable sensible, ¿qué otras variables podrían “reconstruirla” aproximadamente?
• ¿Esta variable es necesaria para el objetivo o es un atajo?

Paso 4: evalúa resultados por grupos (no solo el promedio)

Un modelo puede tener buen desempeño global y aun así fallar en un subgrupo. Evalúa métricas por grupo (por ejemplo, por rangos de edad, por región, por sexo si está permitido y justificado). Además de métricas de rendimiento, mira métricas de impacto: tasas de aprobación/denegación, derivaciones a revisión manual, etc.

Checklist práctico:

• Comparar tasa de decisión positiva por grupo (p. ej., % de aprobaciones).
• Comparar errores por grupo (p. ej., falsos rechazos en crédito).
• Analizar calibración por grupo: si el modelo dice 0,8, ¿significa lo mismo en todos los grupos?

Paso 5: aplica mitigaciones (elige según causa)

No existe una única técnica universal. Algunas mitigaciones comunes:

• Mejoras en datos: recolectar datos más representativos, corregir etiquetas, eliminar variables claramente injustificadas, reducir ruido de medición.
• Reponderación o muestreo: dar más peso a ejemplos de grupos con menor presencia para equilibrar el aprendizaje (con cuidado para no introducir artefactos).
• Umbrales por política: en ciertos casos, ajustar umbrales de decisión o introducir revisión humana para reducir daños (esto requiere gobernanza y justificación).
• Restricciones de uso: limitar el modelo a escenarios donde se ha validado; bloquear usos no previstos.

Importante: “igualar métricas” puede implicar trade-offs. Por eso conviene decidir con stakeholders (negocio, legal, compliance, ética, usuarios afectados) qué criterio es aceptable y por qué.

Paso 6: documenta supuestos, límites y pruebas

La documentación es parte del producto. Debe permitir que otra persona entienda qué hace el modelo y qué no hace.

• Propósito: para qué se diseñó y para qué no.
• Datos: origen, periodo, cobertura, variables sensibles, calidad, sesgos conocidos.
• Evaluación: métricas globales y por grupos, escenarios de estrés, validación temporal/geográfica.
• Riesgos: posibles fallos, impacto, mitigaciones y plan de monitoreo.

Privacidad: prácticas concretas para usar datos con cuidado

Minimización de datos (recoge lo necesario)

Principio práctico: si no necesitas un dato para el objetivo, no lo recolectes ni lo conserves. Menos datos reduce riesgo de filtraciones, uso indebido y obligaciones regulatorias.

• Evita recolectar identificadores directos (nombre, documento) si no son imprescindibles para el entrenamiento.
• Reduce granularidad cuando sea suficiente (p. ej., edad en rangos en lugar de fecha exacta).
• Define periodos de retención: ¿cuánto tiempo necesitas esos datos?

Consentimiento y propósito

En la práctica, “tener el dato” no implica “poder usarlo para cualquier cosa”. Alinea el uso con el propósito comunicado y el consentimiento obtenido. Si cambias el propósito (por ejemplo, de “mejorar el servicio” a “compartir con terceros”), reevalúa permisos y expectativas.

Anonimización (conceptual) y por qué no es magia

Anonimizar no es solo borrar el nombre. Muchas veces se puede reidentificar a una persona combinando variables (por ejemplo, código postal + fecha de nacimiento + sexo). Por eso se habla de anonimización como un objetivo difícil y dependiente del contexto.

Buenas prácticas conceptuales:

• Pseudonimización: reemplazar identificadores por claves (sigue siendo dato personal si existe una tabla de correspondencia).
• Agregación: usar estadísticas por grupos en lugar de registros individuales cuando sea posible.
• Separación de funciones: limitar quién puede acceder a datos crudos vs datos procesados.
• Control de acceso y auditoría: registrar quién accede y para qué.

Checklist práctico de privacidad para un proyecto ML

• ¿Qué datos personales se usan y por qué son necesarios?
• ¿Se puede lograr el objetivo con menos granularidad o menos variables?
• ¿Quién tendrá acceso a datos crudos? ¿Cómo se audita?
• ¿Cómo se gestionan solicitudes de borrado/corrección si aplican?
• ¿Qué pasa si hay una filtración? (plan de respuesta)

Explicabilidad: clave cuando el impacto es alto

Qué significa “explicar” un modelo en la práctica

Explicabilidad no es solo “ver variables importantes”. Es poder responder, de forma útil para el contexto:

• Por qué se tomó una decisión en un caso concreto (explicación local).
• Qué factores influyen en general (explicación global).
• Qué cambiaría el resultado (explicaciones contrafactuales del tipo “si X fuera distinto, la decisión cambiaría”).

Cuándo es imprescindible

• Decisiones con consecuencias difíciles de revertir (denegación de crédito, despidos, tratamientos).
• Entornos regulados o con derecho a explicación/impugnación.
• Cuando hay riesgo de discriminación o de proxies sensibles.
• Cuando el modelo se usa para priorizar recursos escasos (salud, ayudas).

Formas prácticas de mejorar explicabilidad (sin entrar en fórmulas)

• Preferir modelos interpretables cuando el impacto es alto y el desempeño es suficiente (p. ej., reglas claras o modelos con estructura fácil de inspeccionar).
• Explicaciones por caso: mostrar los principales factores que empujaron la decisión y su dirección (aumenta/disminuye).
• Contrafactuales: “Para pasar de ‘no aprobado’ a ‘aprobado’, necesitarías X” (cuidando no sugerir cambios imposibles o discriminatorios).
• Revisión humana: canal de apelación y revisión para casos límite o sensibles.
• Pruebas de coherencia: verificar que el modelo no cambie drásticamente por pequeñas variaciones irrelevantes.

Guía paso a paso: preparar una explicación útil para usuarios y para auditoría

1. Define la audiencia: no es lo mismo explicar a un analista interno que a una persona afectada por la decisión.

2. Elige el tipo de explicación: global (cómo decide en general), local (por qué este caso), contrafactual (qué cambiaría).

3. Evita explicaciones engañosas: si una variable es proxy sensible, no la presentes como “razón legítima” sin contexto.

4. Incluye límites: “esto es una estimación”, “no considera X”, “válido para población Y y periodo Z”.

5. Habilita acción: si corresponde, indica pasos concretos (p. ej., aportar documentación, corregir datos, solicitar revisión).

6. Registra trazabilidad: versión del modelo, datos de entrada, umbral aplicado y explicación generada para auditoría.

Mini-caso integrador: un modelo de riesgo y sus controles

Imagina un modelo que estima riesgo para decidir si una solicitud pasa a aprobación automática o a revisión manual.

• Sesgo posible: el código postal actúa como proxy socioeconómico; el modelo deriva más a revisión manual a ciertos barrios, aumentando fricción y rechazo.
• Mitigación: evaluar tasas de derivación por zona y por grupos permitidos; revisar si el código postal es necesario o si puede reemplazarse por variables más directamente relacionadas con capacidad de pago; ajustar políticas de revisión para evitar castigar sistemáticamente a un grupo.
• Privacidad: minimizar datos (no usar identificadores directos en entrenamiento), limitar accesos, retención definida.
• Explicabilidad: para cada derivación, generar una explicación local y un contrafactual razonable; habilitar canal de apelación y corrección de datos.