Sesgo de automatización: cuando las personas dejan de cuestionar a la IA

Un analista recibe una recomendación de IA: rechazar una solicitud, bloquear una transacción, priorizar un candidato o escalar una alerta. La política exige aprobación humana, así que técnicamente existe un “humano en el proceso”. El analista revisa la pantalla durante unos segundos y confirma la recomendación.

El control parece funcionar. Pero quizá la persona ya no está tomando una decisión: está ratificando la de la máquina.

Ese es el problema del sesgo de automatización. La automatización puede mejorar velocidad, consistencia y cobertura, pero también puede cambiar la forma en que las personas buscan información, ponderan señales contradictorias y ejercen juicio. Para auditoría, la consecuencia es importante: la aprobación humana no debe evaluarse por su mera existencia, sino por su capacidad real para desafiar, corregir y detener a la IA.

El riesgo no es que desaparezca la persona, sino que deje de decidir

La literatura sobre factores humanos distingue dos patrones clásicos. En los errores de omisión, la persona deja pasar un problema porque el sistema automatizado no lo señaló. En los errores de comisión, sigue una recomendación incorrecta aun cuando existen señales que la contradicen. Estudios experimentales sobre ayudas automatizadas mostraron ambos tipos de error y, posteriormente, revisiones de la evidencia concluyeron que el fenómeno puede afectar tanto a usuarios novatos como a expertos.

Esto importa porque el control “revisión humana” suele diseñarse bajo una premisa demasiado simple: si una persona está presente, el juicio humano compensará los errores del sistema. En realidad, el comportamiento depende del diseño del trabajo. La persona puede tener poco tiempo, información incompleta, incentivos para procesar casos rápidamente o una interfaz que presenta la recomendación de la IA como la respuesta principal y deja la evidencia contraria en segundo plano.

Un humano en el circuito no es necesariamente un humano ejerciendo juicio.

El sesgo de automatización tampoco significa que los usuarios deban desconfiar sistemáticamente de la IA. Si un sistema funciona bien, una alta tasa de coincidencia entre la recomendación y la decisión final puede ser perfectamente razonable. El riesgo aparece cuando la organización no puede demostrar que el desacuerdo era posible, estaba respaldado y ocurría cuando la evidencia lo exigía.

La supervisión humana debe diseñarse, no suponerse

El Reglamento de Inteligencia Artificial de la Unión Europea convierte esta cuestión en algo explícito para los sistemas de IA de alto riesgo. Su artículo 14 exige supervisión humana efectiva y señala que las personas encargadas deben ser capaces de comprender las capacidades y limitaciones relevantes del sistema, interpretar sus salidas, ignorarlas o revertirlas cuando corresponda e intervenir en su operación. El propio artículo menciona expresamente la tendencia a confiar automática o excesivamente en las salidas del sistema: el sesgo de automatización.

El alcance jurídico debe mantenerse claro. El artículo 14 se refiere a sistemas de IA de alto riesgo dentro del marco del Reglamento; no convierte el mismo mecanismo de supervisión en una obligación idéntica para toda aplicación de IA en cualquier jurisdicción.

El NIST AI Risk Management Framework adopta una lógica diferente y voluntaria. En su función Govern, pide definir y diferenciar responsabilidades para las configuraciones humano-IA y la supervisión. En Measure, incorpora la evaluación de esas configuraciones y promueve pruebas en condiciones próximas al uso real. La idea práctica es relevante para auditoría: la supervisión humana no es solo una política de gobierno; también es un comportamiento que puede y debe evaluarse.

ISO/IEC 42001:2023 añade la perspectiva del sistema de gestión. Su estructura de controles e implementación considera responsabilidades de supervisión humana, uso responsable, monitoreo y objetivos de supervisión significativa durante el ciclo de vida. La guía asociada contempla, entre otras prácticas, que revisores humanos puedan comprobar salidas y disponer de autoridad para invalidar decisiones. Estas orientaciones deben interpretarse dentro de la lógica de ISO/IEC 42001 y no como una regla legal universal aplicable a todo sistema de IA.

Cómo una aprobación humana se convierte en un control débil

La debilidad suele aparecer mucho antes de que una persona pulse “aprobar”. Hay cinco preguntas que ayudan a distinguir una revisión real de una formalidad:

¿La persona tiene autoridad? Un revisor que técnicamente puede discrepar, pero necesita una escalación difícil o teme consecuencias por hacerlo, tiene poca capacidad de control.
¿Tiene información alternativa? Si solo ve la puntuación o recomendación de la IA, no puede contrastarla de forma independiente.
¿Dispone de tiempo y competencia? Un proceso que asigna segundos a una decisión compleja convierte la supervisión en una tarea de confirmación.
¿La interfaz favorece el desafío? Mostrar primero una recomendación muy destacada puede condicionar el análisis posterior. La incertidumbre, las limitaciones y la evidencia relevante también deben ser visibles.
¿La organización aprende del desacuerdo? Si los rechazos, correcciones y escalaciones no se registran, se pierde una fuente crítica para detectar errores, deriva y problemas de diseño.

Una organización puede, por tanto, cumplir formalmente con un paso de aprobación y seguir teniendo un control inefectivo. El diseño debería especificar quién revisa, qué revisa, contra qué criterios, en qué momento, con qué información, con qué autoridad y qué evidencia queda de la decisión.

Qué puede probar auditoría interna

Auditar el sesgo de automatización no exige empezar con una validación estadística avanzada del modelo. Una parte importante del riesgo vive en el proceso de decisión y puede evaluarse mediante walkthroughs, análisis de registros, observación, entrevistas y pruebas de casos.

Dimensión	Evidencia a solicitar	Procedimiento de auditoría	Señal de alerta
Autoridad del revisor	Matriz de roles, procedimiento, reglas de escalación	Seleccionar casos donde la salida fue modificada o rechazada y comprobar si el revisor tenía autoridad real	Las excepciones requieren autorizaciones desproporcionadas o casi nunca prosperan
Calidad del desafío	Historial de decisiones, motivos de override, apelaciones, incidencias	Analizar una muestra de acuerdos y desacuerdos; comprobar si se consideró evidencia contradictoria	Aprobaciones casi automáticas sin razonamiento documentado
Condiciones de revisión	Diseño de pantalla, tiempos de proceso, cargas de trabajo, formación	Observar el proceso y medir si existe tiempo e información suficientes para una revisión independiente	Revisiones de segundos, información clave oculta o formación genérica
Aprendizaje del sistema	Logs, feedback, quejas, correcciones y métricas de monitoreo	Rastrear si errores detectados por personas alimentan el monitoreo, la recalibración o cambios de control	Overrides y quejas quedan aislados y no generan acción
Comportamiento bajo error	Casos de prueba, resultados de validación o simulaciones	Introducir escenarios controlados con señales contradictorias y observar si el usuario cuestiona la recomendación	El revisor sigue la IA incluso cuando existen indicadores fiables en contra

Las tasas de override son útiles, pero no deben convertirse en un KPI ingenuo. Una tasa baja no demuestra por sí sola sesgo de automatización, del mismo modo que una tasa alta no demuestra buen control. Auditoría debe relacionar el patrón con la precisión del sistema, el tipo de decisión, las consecuencias, la calidad de las explicaciones y los casos donde la IA estuvo equivocada.

Cuando las decisiones afectan derechos, seguridad, empleo, crédito, acceso a servicios u otras consecuencias relevantes, la prueba debe profundizar. Puede ser necesario involucrar especialistas en modelos, factores humanos, privacidad, legal o cumplimiento para evaluar aspectos que superan el alcance del auditor generalista.

El reto también aplica al propio auditor

El riesgo no termina al auditar procesos de negocio. Auditoría interna también puede caer en sesgo de automatización cuando utiliza IA para resumir evidencia, proponer riesgos, analizar excepciones o redactar hallazgos.

La Norma 4.3 de las Normas Globales de Auditoría Interna exige aplicar escepticismo profesional, evaluar críticamente la fiabilidad de la información y buscar evidencias adicionales cuando algo puede ser incompleto, incoherente, falso o inducir a error. La obligación no desaparece porque una respuesta haya sido generada por una herramienta sofisticada o porque un auditor la haya leído antes de incorporarla a un papel de trabajo.

El Marco de Auditoría de Inteligencia Artificial del IIA refuerza la necesidad de evaluar gobernanza, riesgos y controles de IA con una perspectiva estructurada. Para una función de auditoría que adopta IA, el principio debería ser simétrico: si exigimos supervisión significativa al negocio, también debemos diseñarla para nuestro propio uso de la tecnología.

La pregunta más útil, por tanto, no es “¿hay un humano aprobando?”. Es otra: ¿qué evidencia demuestra que esa persona todavía puede detectar que la IA está equivocada y actuar en consecuencia? Esa diferencia separa una firma en el flujo de trabajo de un control real.