ES
Español English

Auditar el riesgo de modelos sin ser especialista en modelos

Un modelo puede fallar por una mala especificación técnica. Pero también puede fallar porque nadie sabe quién es responsable, porque una validación independiente nunca ocurrió, porque los límites de uso no quedaron documentados o porque el desempeño se deterioró sin activar ninguna respuesta. Para Auditoría Interna, esa distinción es importante: gran parte del riesgo de modelos puede auditarse sin reconstruir el algoritmo.

El error común es asumir que solo un científico de datos puede auditar un modelo. El extremo opuesto es igualmente peligroso: revisar únicamente políticas y comités y declarar que el riesgo está cubierto. La posición más útil está en medio. Un auditor generalista con alfabetización en IA puede evaluar si existe un sistema de gobierno suficientemente sólido para decidir qué modelos pueden utilizarse, bajo qué condiciones, con qué evidencia y con qué mecanismos de seguimiento. Cuando el objetivo exige comprobar la validez estadística del modelo en profundidad, entonces debe incorporarse competencia especializada.

Las Normas Globales de Auditoría Interna apoyan precisamente este enfoque. La Norma 3.1 exige que los auditores posean u obtengan las competencias necesarias para sus responsabilidades, y la Norma 13.5 exige considerar si los recursos humanos y tecnológicos son apropiados y suficientes para cumplir los objetivos del trabajo. El mensaje no es que cada auditor deba convertirse en modelador, sino que el alcance y el equipo deben diseñarse con criterio.

El error es confundir auditoría con revalidación técnica

La validación técnica es una disciplina especializada. Puede incluir pruebas estadísticas, análisis de sensibilidad, revisión de supuestos, evaluación de estabilidad, benchmarking, pruebas de sesgo o análisis del comportamiento fuera de muestra. Auditoría Interna no necesita reejecutar todas esas pruebas para evaluar si el proceso de validación es confiable.

Un auditor generalista puede preguntar quién valida, con qué independencia, contra qué criterios, antes de qué decisión, con qué documentación y qué ocurre cuando el resultado no es satisfactorio. También puede comprobar si las excepciones se aprueban de forma visible, si las limitaciones del modelo llegan a los usuarios y si una modificación material obliga a revalidar. Esto es auditoría de gobierno, control y evidencia, no ingeniería de modelos.

La guía del IIA Auditing Model Risk Management, 2nd Edition es Global Guidance recomendada, no un requisito obligatorio equivalente a las Normas. Su valor es ayudar a estructurar la evaluación de gobierno, cumplimiento y confiabilidad del sistema de gestión del riesgo de modelos. De forma complementaria, el AI Auditing Framework del IIA ayuda a conectar estrategia, gobierno, gestión, riesgos y controles de IA con el papel de Auditoría Interna.

Cuatro preguntas que sí puede responder un auditor generalista

Área Qué puede evaluar el auditor generalista Evidencia útil Cuándo sumar un especialista
Gobierno y propiedad Si existe inventario, clasificación de riesgo, propietario de negocio, responsable técnico y autoridad de aprobación Inventario, RACI, actas, política, criterios de clasificación Cuando la arquitectura impide identificar qué componente produce el riesgo o quién controla un modelo complejo de terceros
Validación y aprobación Si la validación es previa al uso, suficientemente independiente, basada en criterios definidos y vinculada a una decisión de aprobación Informe de validación, criterios, hallazgos, excepciones, aprobación de puesta en producción Cuando el objetivo exige reejecutar pruebas estadísticas, desafiar supuestos matemáticos o evaluar metodologías especializadas
Monitoreo y cambios Si existen métricas, umbrales, alertas, revisión de drift, revalidación y reglas para suspender o ajustar el modelo Dashboard, logs, alertas, tickets, historial de versiones, evidencias de revalidación Cuando debe determinarse técnicamente si una métrica o umbral es estadísticamente adecuado
Uso y supervisión Si los usuarios conocen limitaciones, existe revisión humana donde corresponde y están controladas las dependencias de terceros Procedimientos, instrucciones de uso, evidencia de revisión, SLA, contrato, incidentes Cuando se requieren pruebas avanzadas de equidad, explicabilidad, robustez o seguridad adversarial

Esta tabla resume una frontera práctica: el auditor puede comprobar si el sistema de gestión funciona sin afirmar que ha demostrado matemáticamente que el modelo es óptimo.

Validación: auditar el proceso, no fingir ser el validador

NIST ofrece una referencia útil. El AI Risk Management Framework 1.0 es voluntario y organiza la gestión del riesgo en cuatro funciones: Govern, Map, Measure y Manage. Dentro de Measure, NIST enfatiza pruebas antes del despliegue y durante la operación, criterios de desempeño adecuados al contexto, documentación de limitaciones y participación de evaluadores suficientemente independientes. Esto permite transformar una conversación técnica en preguntas de aseguramiento.

Por ejemplo, si un modelo de fraude se aprueba con demasiados falsos positivos, la pregunta de Auditoría Interna no tiene que ser “¿puedo recalcular el modelo?”. Puede ser “¿quién definió el nivel aceptable de falsos positivos, qué impacto operativo se evaluó, qué evidencia respaldó la aprobación y qué umbral obliga a revisar el modelo?”. Son preguntas sobre decisiones y controles, pero pueden revelar un problema de modelo muy material.

A septiembre de 2026, NIST mantiene AI RMF 1.0 como la versión pública vigente mientras trabaja en su revisión. Para un programa de auditoría, esto refuerza una práctica sencilla: versionar los criterios utilizados y registrar la fecha de la referencia normativa o técnica.

El monitoreo es donde el riesgo de modelo se vuelve operativo

Un modelo que funcionó bien en validación puede deteriorarse después. Cambian los datos, la población, el proceso de negocio, los incentivos, la regulación o el entorno tecnológico. Por eso el monitoreo no debe limitarse a preguntar si existe un dashboard.

ISO/IEC 42001:2023 establece requisitos para un sistema de gestión de IA y sitúa el monitoreo, la medición, la evaluación del desempeño, los cambios y la mejora dentro de un ciclo de gestión. Su guía de implementación también contempla que el desempeño puede cambiar por data drift o concept drift, incluso cuando el sistema no aprende continuamente. El auditor puede revisar si la organización ha definido qué mide, con qué frecuencia, quién responde ante una desviación y qué condiciones obligan a reentrenar, restringir o retirar el modelo.

El cuestionario de apoyo del IIA para riesgo y control de IA traduce esa lógica a evidencia muy concreta: monitoreo de exactitud, estabilidad, equidad y calidad de datos; umbrales; acciones de respuesta; revalidación; ajustes o retirada de producción. Es un buen ejemplo de cómo una auditoría generalista puede profundizar sin convertirse en un ejercicio de ciencia de datos.

La propiedad del riesgo importa más que la sofisticación del algoritmo

La pregunta “¿quién es dueño del modelo?” suele producir respuestas incompletas. Puede existir un equipo de datos que construye el modelo, un proveedor que lo hospeda, un área de negocio que usa su salida y una función de riesgo que define controles. Ninguno de esos roles elimina la responsabilidad del negocio sobre la decisión que el modelo apoya.

El Three Lines Model ayuda a mantener esa separación: la primera línea posee y gestiona el riesgo; la segunda aporta especialización, monitoreo y challenge; la tercera proporciona aseguramiento independiente. COSO ERM puede complementar esta visión al conectar riesgo, apetito, estrategia y desempeño, pero no sustituye una metodología específica de validación de modelos.

En la práctica, Auditoría Interna debería poder seguir una cadena clara: propósito del modelo → propietario responsable → clasificación de riesgo → criterios de aprobación → validación → límites de uso → monitoreo → incidentes y cambios → decisión de continuar, ajustar o retirar.

Saber cuándo llamar a un especialista también es competencia

Un auditor generalista puede llegar lejos si entiende el propósito del modelo, sus consecuencias y la evidencia que debería existir. El límite aparece cuando la conclusión de auditoría depende de una afirmación técnica que el equipo no puede sostener de forma competente.

Puede requerirse apoyo especializado para revalidar estadísticamente un modelo, revisar código o arquitectura, diseñar pruebas avanzadas de equidad, evaluar robustez adversarial o determinar si una métrica compleja es apropiada para una población específica. En esos casos, Auditoría Interna sigue siendo responsable de definir la pregunta de aseguramiento, evaluar la suficiencia del trabajo especialista, integrar la evidencia y comunicar la conclusión.

Ese es el punto central: no ser modelador no significa no poder auditar el riesgo de modelos. Significa separar con disciplina lo que Auditoría Interna puede comprobar directamente de aquello que necesita evidencia técnica especializada.

La competencia del auditor no se mide por si puede reconstruir el modelo, sino por si sabe qué debe gobernarse, demostrarse y escalarse.

Fuentes