Sesgo en IA: qué pueden probar realmente los auditores

Un sistema de IA aprueba el 72 % de las solicitudes de un grupo y el 58 % de otro. La diferencia parece importante. Pero ¿demuestra, por sí sola, que el sistema es sesgado?

No necesariamente.

La disparidad puede ser una señal de riesgo, pero no explica su causa ni permite concluir automáticamente que existe discriminación, incumplimiento o un modelo estadísticamente injusto.

Ahí está el reto para Auditoría Interna. El auditor no necesita convertirse en científico de datos para aportar aseguramiento útil sobre sesgo en IA. Sí necesita saber qué puede probar con evidencia defendible y cuándo una conclusión exige validación especializada.

El sesgo no vive solo en el algoritmo

El NIST Special Publication 1270 distingue tres grandes fuentes de sesgo en IA: sistémico, estadístico y computacional, y humano. Esta distinción es importante porque evita reducir el problema a una pregunta demasiado estrecha: “¿el modelo tiene datos representativos?”.

Un sistema puede producir resultados problemáticos aun cuando el código funcione como fue diseñado. Criterios históricos, variables proxy, supervisión humana débil o un uso fuera del contexto validado pueden introducir o amplificar el riesgo.

El NIST AI Risk Management Framework incorpora la equidad —con el sesgo perjudicial gestionado— entre las características de una IA confiable y subraya que la confianza depende del contexto. No existe una única métrica capaz de resolver por sí sola qué significa “justo” para todas las decisiones.

Para auditoría, el modelo es solo una parte del sistema: también importan propósito, datos, reglas de negocio, personas, controles, proveedores y efectos observados.

Tres niveles de prueba que no deben confundirse

Una auditoría de sesgo es más sólida cuando separa explícitamente tres niveles de trabajo.

Nivel	Pregunta de auditoría	Pruebas típicas	Capacidad habitual
1. Gobierno y controles	¿La organización ha definido, evaluado y controlado el riesgo de sesgo?	Política, inventario, evaluación de impacto, calidad y procedencia de datos, supervisión humana, monitoreo, incidentes	Auditor interno generalista con alfabetización en IA
2. Resultados observados	¿Los resultados muestran diferencias que requieren investigación?	Tasas por grupo, errores, tendencias, excepciones, anulaciones humanas, análisis por segmento	Auditor con capacidades de datos/IA
3. Equidad estadística	¿El sistema satisface una definición técnica de equidad apropiada para el contexto?	Selección de métricas, significancia, incertidumbre, causalidad, proxies, calibración, mitigación	Especialista en ciencia de datos, riesgo de modelos u otra disciplina relevante

Una diferencia entre grupos es una señal para investigar, no una conclusión automática de sesgo, discriminación o incumplimiento.

La separación también protege la calidad del trabajo. Las Normas Globales de Auditoría Interna exigen que los auditores reúnan u obtengan las competencias necesarias y, al planificar un trabajo, identifiquen recursos apropiados y suficientes. El alcance no debería prometer una validación técnica que el equipo no está preparado para ejecutar.

Nivel 1: el gobierno del sesgo ya es auditable

Gran parte del riesgo puede evaluarse sin revisar el código del modelo.

ISO/IEC 42001:2023 establece un sistema de gestión para gobernar los riesgos y oportunidades de IA e incorpora procesos como la evaluación de riesgos, la evaluación de impacto de sistemas de IA, la gestión de datos, el monitoreo y la auditoría interna. Su lógica permite preguntar si la organización ha diseñado un proceso repetible para identificar impactos y responder a ellos.

ISO/IEC 23894:2023, por su parte, proporciona orientación para integrar la gestión de riesgos específicos de IA en las actividades de la organización. Es una guía de gestión de riesgos, no una norma certificable equivalente a ISO/IEC 42001.

En un trabajo de auditoría, las pruebas de gobierno pueden revisar si:

el caso de uso, la decisión apoyada por IA y las partes afectadas están claramente definidos;
existe un propietario responsable del sistema y del riesgo;
la evaluación de riesgos o impacto identifica posibles efectos desiguales;
la organización documenta procedencia, calidad, limitaciones y posibles problemas de sesgo en los datos;
los criterios para intervención humana, anulación y escalamiento son concretos y no meramente nominales;
los contratos con terceros asignan responsabilidades sobre datos, cambios, pruebas, incidentes y monitoreo;
las quejas, excepciones y resultados adversos alimentan un proceso de revisión;
cambios relevantes en datos, modelo, configuración o contexto de uso activan una nueva evaluación.

Este nivel encaja con el Artificial Intelligence Auditing Framework del IIA, que orienta a evaluar gobierno, riesgos, datos, algoritmos y controles. También es coherente con el enfoque de COSO sobre IA y gestión de riesgos empresariales: el riesgo se gestiona mediante responsabilidades, decisiones, procesos y supervisión, no solo dentro del modelo.

Nivel 2: los auditores también pueden probar resultados

El siguiente nivel consiste en buscar evidencia de cómo se comporta el sistema en la práctica. Esto no equivale todavía a certificar la equidad estadística.

El NIST AI RMF Playbook propone evaluar diferencias entre grupos, dentro de los grupos y en grupos interseccionales; revisar tasas de falsos positivos y falsos negativos; examinar distribuciones de datos y considerar métricas de equidad adaptadas al contexto. Para Auditoría Interna, estas ideas pueden convertirse en pruebas descriptivas y de excepción.

El auditor puede comparar tasas de aprobación, rechazo o escalamiento entre segmentos; revisar errores cuando existe un resultado de referencia; analizar cambios en el tiempo y anulaciones humanas; y rastrear casos desde los datos de entrada hasta la decisión final.

El criterio debe existir antes de interpretar el número. Puede provenir de una obligación legal, una política interna, una evaluación de impacto, el apetito de riesgo o un umbral aprobado por la organización. Calcular una razón entre grupos sin saber qué riesgo pretende evaluar produce una cifra, no evidencia de auditoría.

Además, no siempre será lícito o apropiado utilizar atributos sensibles. La función de auditoría debe coordinar con privacidad, legal y cumplimiento cuando el análisis requiera datos personales o categorías protegidas. Inferir atributos sensibles para “hacer una prueba de sesgo” puede crear un riesgo nuevo si la organización no tiene una base válida para hacerlo.

La frontera: cuándo comienza la validación especializada

La dificultad aumenta cuando la conclusión depende de demostrar que una determinada definición de equidad es técnicamente adecuada.

Métricas como paridad demográfica, igualdad de oportunidades o equalized odds responden a preguntas distintas. Elegir entre ellas implica comprender el contexto de decisión, la distribución de resultados, los tipos de daño y los compromisos con otras propiedades del sistema. El propio NIST insiste en seleccionar métricas según el contexto de uso y en documentar incertidumbre, limitaciones y efectos sobre los grupos afectados.

Normalmente conviene obtener apoyo especializado cuando el trabajo requiere:

justificar formalmente la métrica de equidad y el umbral aceptable;
evaluar significancia estadística, intervalos de confianza o potencia en grupos pequeños;
analizar causalidad o distinguir correlación de discriminación;
detectar variables proxy y sus efectos;
evaluar calibración y compensaciones entre tipos de error;
diseñar o validar técnicas de mitigación, reentrenamiento o ajuste de umbrales;
valorar robustez, deriva del modelo o desempeño en subgrupos complejos.

La responsabilidad de Auditoría Interna no desaparece con un especialista. El auditor debe formular la pregunta de aseguramiento, evaluar su competencia y objetividad, comprender el método lo suficiente para cuestionarlo e integrar la evidencia en la conclusión.

Un programa de trabajo defendible empieza por la pregunta, no por la métrica

Una forma práctica de diseñar el trabajo es avanzar en este orden:

Definir la decisión y el daño potencial. ¿Qué hace realmente la IA y quién puede verse afectado?
Identificar el criterio. ¿Qué significa un resultado aceptable según ley, política, evaluación de impacto, riesgo y propósito?
Evaluar gobierno y datos. ¿Existen responsables, controles, documentación, procedencia, calidad y supervisión?
Probar resultados observados. ¿Hay diferencias, errores o excepciones que contradigan el criterio o merezcan investigación?
Evaluar monitoreo y respuesta. ¿La organización detecta, investiga, corrige y vuelve a validar cuando cambian las condiciones?
Escalar cuando la conclusión lo exija. ¿El hallazgo puede sustentarse con evidencia de auditoría o necesita validación estadística especializada?

La Norma 14.1 de las Normas Globales de Auditoría Interna exige información relevante, fiable y suficiente para sustentar análisis y conclusiones. Esa disciplina es especialmente importante en IA: un gráfico llamativo o una diferencia porcentual no sustituyen un criterio claro ni una explicación de las limitaciones.

La mejor auditoría de sesgo no es la que utiliza la métrica más sofisticada. Es la que formula una conclusión proporcional a la evidencia. Auditoría Interna puede detectar debilidades de gobierno, cuestionar datos y decisiones, probar resultados y demostrar que el monitoreo es insuficiente sin afirmar, indebidamente, que ha realizado una validación completa de equidad.

Ese límite aumenta el valor del auditor: concentra el trabajo generalista donde puede producir aseguramiento sólido y utiliza especialistas donde el riesgo y la complejidad técnica lo justifican.