Alucinaciones de IA: del error del modelo al riesgo de negocio

Un asistente de IA redacta una respuesta clara, cita una política y propone el siguiente paso. El usuario no detecta nada extraño. El problema aparece después: la política no dice eso, la cita no existe o el dato pertenece a otro contexto. En ese momento, el error deja de ser un asunto del modelo y se convierte en una decisión, una comunicación o una acción de negocio.

Eso es lo que hace que las alucinaciones importen a Auditoría Interna. La pregunta relevante no es simplemente “¿puede equivocarse el modelo?”. Ya sabemos que puede. La pregunta es qué ocurre en la organización cuando una respuesta falsa parece suficientemente convincente como para ser utilizada.

El caso Moffatt v. Air Canada ofrece una buena ilustración del principio de responsabilidad. Un chatbot del sitio web de la aerolínea proporcionó información incorrecta sobre tarifas por duelo que era inconsistente con otra página de la propia compañía. El tribunal concluyó que Air Canada era responsable de la información publicada mediante su chatbot y que no había tomado un cuidado razonable para asegurar su exactitud. La decisión no demuestra que aquel sistema fuera un LLM ni que hubiera “alucinado” en el sentido técnico actual; su valor para el auditor es otro: el cliente interactúa con la organización, no con una excusa tecnológica.

Una alucinación no es simplemente una respuesta incorrecta

El NIST Generative AI Profile utiliza el término confabulation para describir contenido erróneo o falso presentado con confianza por un sistema de IA generativa. También incluye salidas que se apartan de la instrucción recibida o que se contradicen dentro del mismo contexto. “Hallucination” es el término coloquial más extendido.

La distinción importa porque un error tradicional suele dejar alguna señal: una fórmula falla, un campo queda vacío o una regla produce una excepción. Una alucinación puede tener gramática impecable, estructura lógica aparente y hasta referencias inventadas. Su forma puede parecer más fiable que su contenido.

Esto deriva, en parte, de cómo funcionan los modelos generativos. Un modelo de lenguaje produce secuencias plausibles a partir del contexto y de patrones estadísticos aprendidos. No consulta necesariamente una “base de verdad” antes de formular cada frase. Por eso, fluidez y exactitud son atributos diferentes.

También conviene evitar el extremo contrario. Una alucinación no significa que todo resultado de IA sea poco fiable. El riesgo depende del caso de uso, de las fuentes disponibles, del diseño de la aplicación, del nivel de verificación y, sobre todo, de la consecuencia de equivocarse.

El problema de control no es que una IA pueda producir una afirmación falsa. Es que la organización permita que esa afirmación avance demasiado lejos sin una verificación proporcional a su impacto.

El riesgo aparece cuando el texto entra en el proceso

Una misma tasa de error puede ser tolerable en una lluvia de ideas y completamente inaceptable en un proceso de pagos, una comunicación regulatoria o una conclusión de auditoría. El riesgo, por tanto, no reside únicamente en el modelo. Surge de la combinación entre salida, contexto de uso, autoridad para actuar y capacidad de detectar el error.

Contexto	Cómo puede aparecer la alucinación	Consecuencia empresarial	Pregunta de auditoría
Proceso	Inventa un requisito, estado de proveedor o paso operativo.	Retrabajo, pagos erróneos, incumplimiento o interrupción.	¿Qué salidas pueden activar acciones y qué validación ocurre antes?
Decisión	Resume incorrectamente hechos, alternativas o criterios.	Aprobaciones, precios, crédito o prioridades basados en premisas falsas.	¿Quién verifica hechos críticos y con qué evidencia?
Reporting	Genera cifras, explicaciones o referencias no sustentadas.	Información de gestión o externa incorrecta.	¿La información generada se reconcilia con sistemas y fuentes autorizadas?
Cliente	Inventa una política, condición, compromiso o explicación.	Quejas, compensaciones, exposición legal y pérdida de confianza.	¿Cómo se controla la exactitud y cómo se escala una respuesta dudosa?
Aseguramiento	Fabrica una cita, una fuente o una interpretación de evidencia.	Hallazgos o conclusiones sin soporte suficiente.	¿La IA apoya el análisis o se está convirtiendo, de facto, en fuente de evidencia?

Este enfoque cambia la conversación. “Reducir alucinaciones” es demasiado abstracto para ser un objetivo de control. “Evitar que una respuesta no verificada modifique un dato maestro, llegue a un cliente o sustente una conclusión” es auditable.

No existe un único control contra las alucinaciones

La respuesta más sólida es una defensa por capas. El NIST AI 600-1 recomienda, entre otras acciones, evaluar el rendimiento en condiciones similares al despliegue, verificar fuentes y citas durante las pruebas y el monitoreo, y mantener procesos de seguimiento posteriores al despliegue específicamente para riesgos como la confabulación.

En la práctica, esas ideas se traducen en varios controles que se refuerzan entre sí.

Primero, clasificar el caso de uso por consecuencia. No toda tarea necesita el mismo nivel de control. Un borrador interno de baja criticidad puede admitir revisión ligera; una respuesta contractual, una decisión de crédito o una comunicación de auditoría requiere un umbral mucho mayor.

Segundo, acotar el conocimiento que puede utilizar el sistema. La generación aumentada por recuperación, o RAG, puede mejorar el anclaje al recuperar políticas, contratos o procedimientos autorizados antes de generar la respuesta. Pero RAG no elimina el riesgo: una fuente obsoleta, incompleta o recuperada fuera de contexto puede producir una respuesta bien citada y todavía incorrecta.

Tercero, diseñar la verificación. Pedir al modelo que “revise su respuesta” no constituye control independiente. Para hechos materiales, conviene exigir trazabilidad hacia una fuente autorizada, reconciliación con datos de origen o revisión por una persona competente.

Cuarto, limitar lo que puede ocurrir después de la respuesta. Cuanto mayor sea la capacidad de una IA para enviar mensajes, modificar registros, aprobar transacciones o activar herramientas, menos razonable resulta confiar solo en una revisión posterior. Los límites de permisos, reglas de negocio y puntos de aprobación reducen la consecuencia de una salida falsa.

Finalmente, monitorear errores reales. Quejas, correcciones, respuestas anuladas por usuarios, citas inválidas, excepciones y casi incidentes son señales de control. ISO/IEC 42001:2023 refuerza esta lógica al situar la gestión de riesgos, el monitoreo y la mejora continua dentro de un sistema de gestión para IA. La guía de COSO sobre control interno y GenAI también traslada el problema desde la tecnología aislada hacia los objetivos de operaciones, reporting y cumplimiento.

Para Auditoría Interna, la pregunta cambia: ¿qué evidencia aceptamos?

Las alucinaciones tienen una implicación especial cuando Auditoría Interna utiliza IA. Una herramienta puede resumir entrevistas, comparar políticas, redactar un hallazgo o sugerir causas posibles. Eso puede mejorar velocidad y cobertura. Pero ninguna de esas ventajas cambia el estándar profesional aplicable a la evidencia.

La Norma 14.1 de las Normas Globales de Auditoría Interna exige recopilar información relevante, fiable y suficiente para realizar los análisis y evaluaciones. La fiabilidad aumenta, entre otros factores, cuando la información procede de una fuente independiente, está corroborada o proviene de un sistema con procesos eficaces de gobierno, gestión de riesgos y control. Una respuesta generada por IA no se vuelve evidencia fiable por ser clara, incluir citas o coincidir con la expectativa del auditor.

Para un trabajo de auditoría sobre el uso de IA generativa, un auditor generalista puede probar mucho sin convertirse en especialista en modelos:

seleccionar casos de uso materiales y rastrear qué ocurre desde el prompt hasta la decisión o acción final;
inspeccionar las fuentes autorizadas, su vigencia y los controles de acceso que alimentan sistemas con RAG;
revisar pruebas previas al despliegue con preguntas representativas, datos incompletos y casos límite;
tomar una muestra de respuestas aceptadas, corregidas y rechazadas para comprobar si la supervisión humana detecta errores relevantes;
verificar que las citas y afirmaciones materiales pueden reconstruirse desde una fuente real;
revisar métricas, quejas, incidentes, anulaciones y mecanismos de escalamiento posteriores al despliegue.

El apoyo especialista se vuelve más importante cuando el objetivo exige evaluar comparativamente modelos, diseñar métricas técnicas de factualidad, validar estadísticamente tasas de error o analizar el comportamiento interno del modelo. Auditoría Interna puede formular la pregunta de aseguramiento y evaluar la evidencia del especialista sin intentar sustituirlo.

El objetivo útil es la confianza controlada, no cero alucinaciones

Prometer “cero alucinaciones” rara vez es un objetivo de gobernanza realista. Tampoco lo es aceptar el riesgo como una característica inevitable de la tecnología. La organización necesita decidir dónde puede tolerar incertidumbre, dónde debe exigir verificación y dónde una salida de IA simplemente no debería tener autoridad suficiente para causar una consecuencia material por sí sola.

Ese es el punto en el que la alucinación deja de ser una curiosidad técnica y se convierte en un tema clásico de auditoría: objetivos, riesgos, controles, evidencia y responsabilidad.

La IA puede generar la respuesta. La organización sigue siendo responsable de lo que hace con ella.