Auditar IA sin ser científico de datos
Una función de auditoría descubre que varias áreas ya utilizan inteligencia artificial para redactar comunicaciones, priorizar clientes y apoyar decisiones operativas. El equipo de auditoría reconoce el riesgo, pero aparece una objeción inmediata: “No podemos auditar IA porque no tenemos científicos de datos”.
Esa conclusión confunde dos preguntas distintas. Una es si el auditor puede construir, entrenar o validar técnicamente un modelo. Otra es si puede evaluar cómo la organización gobierna su uso, qué riesgos acepta, qué controles exige y qué evidencia utiliza para decidir que el sistema es adecuado.
Para gran parte de una auditoría, la segunda pregunta es la importante. El auditor interno no necesita convertirse en científico de datos antes de empezar a auditar IA. Necesita comprender lo suficiente para formular buenas preguntas, reconocer dónde puede fallar el sistema y saber cuándo una conclusión excede la competencia disponible.
La frontera profesional no está entre “auditoría” y “tecnología”. Está entre lo que el equipo puede demostrar con evidencia y lo que estaría afirmando sin la competencia necesaria.
El estándar exige competencia, no omnisciencia técnica
Las Normas Globales de Auditoría Interna, vigentes desde el 9 de enero de 2025, establecen en la Norma 3.1 que los auditores internos deben reunir u obtener las competencias necesarias para cumplir sus responsabilidades y que la función, colectivamente, debe contar con las capacidades necesarias para prestar sus servicios.
La palabra colectivamente cambia la conversación. La expectativa profesional no es que cada auditor domine riesgo, ciberseguridad, privacidad, estadística, machine learning, regulación, procesos de negocio y ciencia de datos al mismo nivel. La expectativa es que la función sepa qué competencias requiere el trabajo y cómo obtenerlas.
La Norma 13.5 lleva esa lógica al trabajo concreto: durante la planificación deben identificarse los tipos y la cantidad de recursos necesarios, considerando la naturaleza y complejidad del encargo y si los recursos humanos y tecnológicos son apropiados y suficientes. Si no lo son, la respuesta correcta es obtener capacidad adicional, modificar el enfoque o transparentar la limitación; no simular profundidad técnica que el equipo no posee.
El Artificial Intelligence Auditing Framework, 2nd Edition del IIA refuerza esa idea como orientación práctica. Señala que los auditores internos no tienen que ser expertos en cada tema auditado, pero sí necesitan un enfoque disciplinado, pensamiento crítico, identificación de riesgos y un conocimiento operativo de IA. Para aspectos más técnicos, incluso contempla la necesidad de incorporar recursos especializados.
Lo que un auditor generalista ya puede evaluar
Gran parte del riesgo de IA se materializa antes y alrededor del algoritmo. Un modelo técnicamente sofisticado puede seguir estando mal gobernado, utilizarse para un propósito no aprobado, alimentarse con datos sin controles suficientes o producir resultados que nadie monitorea.
Un auditor generalista con alfabetización básica en IA puede evaluar, por ejemplo:
| Área | Pregunta de auditoría | Evidencia que puede revisar |
|---|---|---|
| Gobierno y responsabilidad | ¿Quién aprueba el uso y quién responde por sus resultados? | Mandatos, comités, RACI, aprobaciones, inventarios y escalamiento. |
| Objetivo y caso de uso | ¿Qué problema resuelve la IA y qué resultado se espera? | Caso de negocio, requisitos, criterios de éxito y límites de uso. |
| Riesgo | ¿Se identificaron riesgos legales, operativos, éticos, de privacidad o reputación antes del despliegue? | Evaluaciones de riesgo, decisiones, excepciones y aceptación de riesgo residual. |
| Políticas y uso aceptable | ¿Las reglas son claras y se aplican en la práctica? | Políticas, formación, solicitudes de uso, aprobaciones y excepciones. |
| Datos y acceso | ¿Existen responsables, controles de acceso y verificaciones de calidad sobre los datos utilizados? | Roles, permisos, conciliaciones, controles de integridad y registros de calidad. |
| Terceros | ¿La organización entiende qué depende del proveedor y cómo supervisa esa dependencia? | Due diligence, contratos, SLA, reportes de control y monitoreo del proveedor. |
| Cambios y despliegue | ¿Los cambios relevantes requieren prueba y autorización antes de producción? | Flujos de cambio, pruebas, aprobaciones, versiones y registros de liberación. |
| Supervisión y resultados | ¿Alguien revisa resultados, excepciones, incidentes y desempeño después del despliegue? | KPIs, alertas, revisiones, quejas, incidentes y decisiones correctivas. |
Estas preguntas no son “menos técnicas”. Son preguntas de gobierno, riesgo y control aplicadas a una tecnología nueva. El marco de IA del IIA dedica una parte importante de su orientación precisamente a estrategia, roles, políticas, datos, ciberseguridad, terceros, formación, pruebas y monitoreo.
La frontera aparece cuando la conclusión depende de una afirmación técnica
El error opuesto es pensar que, porque un auditor puede evaluar el proceso, también puede concluir sobre cualquier propiedad del modelo.
Una regla práctica ayuda: pregunta qué afirmación tendrá que defender el informe.
Si la conclusión es “la organización no exige una aprobación documentada antes de utilizar herramientas de IA con datos confidenciales”, un auditor generalista probablemente puede obtener evidencia suficiente. Si la conclusión es “el modelo no presenta sesgo material para determinados grupos”, la afirmación depende de decisiones sobre población, métricas de equidad, calidad y representatividad de datos, diseño estadístico y resultados de pruebas. Esa segunda conclusión puede exigir especialistas.
Lo mismo ocurre cuando el trabajo pretende afirmar que un modelo es técnicamente robusto, que una arquitectura es segura, que un algoritmo fue validado adecuadamente o que determinadas métricas de desempeño son estadísticamente apropiadas. El auditor puede revisar si existe un proceso de validación, quién lo aprobó, si es independiente, qué excepciones surgieron y cómo se gestionaron. Pero evaluar la calidad técnica de la validación puede requerir conocimiento especializado.
La diferencia es importante: revisar el gobierno de una prueba no equivale a repetir o validar técnicamente la prueba.
Cuándo incorporar a un especialista
No hace falta fijar una lista universal de temas “reservados” para científicos de datos. La decisión depende del objetivo, el riesgo y el tipo de evidencia. Cuatro señales son especialmente útiles:
- El objetivo del trabajo contiene una afirmación técnica. Si se pretende concluir sobre exactitud, robustez, sesgo, explicabilidad, seguridad o desempeño del modelo, debe evaluarse si el equipo puede desafiar la metodología empleada.
- La evidencia solo puede interpretarse con métodos especializados. Código, métricas estadísticas, arquitectura de modelos, pruebas adversariales o configuraciones complejas pueden requerir experiencia que no se adquiere con una explicación superficial.
- El impacto de equivocarse es alto. Cuanto mayor sea la consecuencia potencial para clientes, empleados, decisiones financieras, cumplimiento o seguridad, menos defendible es aceptar una brecha de competencia material.
- La opacidad limita el aseguramiento. En modelos de terceros o sistemas complejos, puede ser necesario combinar especialistas técnicos, evidencia contractual, reportes independientes y pruebas compensatorias para entender qué puede realmente concluir auditoría.
Incorporar un especialista no significa transferirle la auditoría. El auditor sigue siendo responsable de que los objetivos, alcance, criterios y procedimientos respondan al riesgo; el especialista aporta profundidad donde la evidencia requiere conocimientos específicos.
El modelo más útil es una competencia en forma de T
Esperar a que cada auditor pueda explicar matemáticamente un modelo antes de cubrir IA produciría una brecha de aseguramiento precisamente cuando el riesgo está creciendo. El extremo contrario —auditar sistemas complejos con listas genéricas y sin capacidad de desafiar evidencia técnica— produce una confianza igualmente falsa.
Una función más sostenible desarrolla una base amplia de alfabetización en IA para todo el equipo y mantiene acceso a especialización profunda cuando el trabajo la necesita. La formación general debería permitir comprender casos de uso, datos, modelos, riesgos, controles, limitaciones, terceros y supervisión humana. La especialización puede obtenerse mediante personal interno, co-sourcing, expertos de otras funciones o proveedores externos, siempre que la independencia, el alcance y la calidad de su trabajo se gestionen adecuadamente.
La orientación reciente del IIA sobre desarrollo de capacidades de IA apunta en la misma dirección: combinar formación formal con experimentación práctica y aprendizaje aplicado al flujo de auditoría, en lugar de tratar la IA como una especialidad aislada.
El punto de partida no es preguntar “¿sé construir este modelo?”. Es preguntar: ¿entiendo el riesgo, sé qué afirmación necesito probar y cuento con el equipo competente para obtener evidencia suficiente?
Esa pregunta mantiene al auditor dentro de su profesión y, al mismo tiempo, le permite empezar a auditar IA hoy.