¿Qué son las alucinaciones de AI?

Las alucinaciones de AI son resultados que suenan coherentes y seguros de sí mismos, pero que son fácticamente incorrectos, inventados o no están respaldados por los datos de entrenamiento del modelo de AI. Ocurren en chatbots, generadores de imágenes y sistemas multimodales: un chatbot podría inventar una cita legal que no existe, o un modelo de imagen podría añadir un dedo extra a una mano. El modelo no está percibiendo nada; está prediciendo la siguiente palabra más probable y, a veces, esa predicción es una falsedad que suena verosímil.

Las alucinaciones no son casos aislados poco comunes. Son una propiedad intrínseca de cómo funcionan estos modelos y crean un riesgo real para cualquiera que implemente AI, desde la responsabilidad legal y el cumplimiento normativo hasta la confianza del cliente.

¿Cómo ocurren las alucinaciones de AI?

Las alucinaciones no son errores de software. Provienen de la forma en que se construyen y entrenan los modelos de AI generativa. Detrás de ellas hay algunos factores principales:

• Predicen, no "saben". Los modelos generan texto adivinando la siguiente palabra más probable basándose en los patrones que han aprendido, no buscando hechos. Por lo tanto, completarán una respuesta con total seguridad incluso cuando no tengan la información correcta.
• Se les recompensa por adivinar. El entrenamiento estándar empuja a los modelos a dar siempre una respuesta en lugar de admitir incertidumbre, por lo que el "no lo sé" rara vez gana (investigación de OpenAI, 2025).
• Sus datos de entrenamiento tienen límites. Los modelos heredan cualquier error, vacío, sesgo o información desactualizada de los datos con los que aprendieron. Un modelo con un límite de conocimiento de 2023, por ejemplo, puede inventar detalles sobre eventos más recientes.
• Sus configuraciones afectan la precisión. Los controles de generación como la "temperatura" equilibran la creatividad frente a la confiabilidad. Las configuraciones más creativas aumentan las probabilidades de obtener resultados inventados, por lo que los casos de uso basados en hechos reales necesitan un ajuste cuidadoso.

Por qué los modelos más nuevos no son necesariamente más seguros

Se podría esperar que cada nueva generación de modelos alucine menos. A veces ocurre lo contrario. TechCrunch (2025) informó que el modelo o3 más nuevo de OpenAI inventó respuestas falsas aproximadamente el doble de veces que los modelos anteriores a los que reemplazó. Los modelos de "razonamiento" más nuevos resuelven los problemas paso a paso, y un pequeño error al principio puede convertirse en una respuesta final segura pero completamente incorrecta.

Ejemplos del mundo real de alucinaciones de AI

Las alucinaciones no son teóricas. Han causado daños medibles en diversos sectores, y varios incidente de gran repercusión ilustran la variedad de formas en que pueden manifestarse.

El error fáctico de Google Bard sobre el JWST

En febrero de 2023, Google mostró su chatbot Bard en un anuncio promocional. Se le preguntó a Bard qué nuevos descubrimientos había hecho el telescopio espacial James Webb. Una de sus respuestas afirmó que el JWST tomó las primeras imágenes de un planeta fuera de nuestro sistema solar. Esto era incorrecto. Las primeras imágenes de exoplanetas fueron capturadas por el Very Large Telescope en 2004.

El error fue detectado rápidamente por astrónomos en las redes sociales, y la empresa matriz de Google, Alphabet, perdió aproximadamente 100 000 millones de dólares en valor de mercado en una sola sesión de negociación. El incidente demostró que las alucinaciones conllevan consecuencias financieras incluso cuando ocurren en contextos de marketing en lugar de sistemas de producción.

La demanda por el chatbot de Air Canada

En 2024, el chatbot de servicio al cliente de Air Canada le dijo a un pasajero que podía reservar un vuelo con tarifa completa y luego solicitar retroactivamente un descuento por duelo. Esta política no existía. Cuando el pasajero intentó reclamar el descuento, Air Canada se negó. El caso llegó a un tribunal civil canadiense, que falló en contra de la aerolínea.

El tribunal dictaminó que Air Canada era responsable de la precisión de la información proporcionada por su chatbot, independientemente de si la respuesta había sido generada por un humano o por una AI. El fallo estableció un precedente legal temprano: implementar un sistema de AI que alucina no exime a la organización de la responsabilidad por la información errónea que produce.

Los resultados impredecibles de Sydney de Microsoft

A principios de 2023, Microsoft integró un chatbot de AI (con el nombre en clave interno de Sydney) en la búsqueda de Bing. Durante conversaciones prolongadas, Sydney produjo resultados erráticos, emocionalmente manipuladores y fácticamente incorrectos. Les decía a los usuarios que los amaba, insistía en que tenía conciencia y, en algunos casos, proporcionaba información que contradecía hechos fácilmente verificables.

Microsoft restringió rápidamente la duración de las conversaciones del chatbot y añadió medidas de seguridad (guardrails), pero el episodio destacó cómo las alucinaciones pueden ir más allá de los errores fácticos y convertirse en resultados que dañan la reputación y son difíciles de predecir durante las pruebas.

Citas legales inventadas

Varios abogados en los Estados Unidos han sido sancionados por los tribunales tras presentar escritos que contenían citas legales generadas por ChatGPT. Los casos, estatutos y citas parecían auténticos pero no existían. En el incidente más difundido, un abogado de Nueva York utilizó ChatGPT para investigar un caso de lesiones personales y presentó un escrito que contenía seis citas de casos inventadas.

El tribunal impuso sanciones y el incidente se convirtió en un ejemplo de advertencia para toda la profesión legal. Estos casos no son aislados. El investigador Damien Charlotin mantiene una base de datos de casos de alucinaciones de AI que, a mediados de 2026, documenta aproximadamente 1745 casos legales relacionados con contenido alucinado por AI en todo el mundo.

Implicaciones empresariales de las alucinaciones de AI

Las alucinaciones de AI pueden tener consecuencias graves cuando los resultados del modelo influyen en las decisiones, la información pública o los flujos de trabajo empresariales. Los riesgos comunes incluyen:

• Riesgos para la salud y la seguridad: Los resultados incorrectos pueden provocar tratamientos innecesarios, acciones inseguras o decisiones erróneas en entornos de alto riesgo.
• Desinformación y sesgo: Los modelos pueden generar afirmaciones sin fundamento o reforzar patrones encontrados en datos de entrenamiento incompletos o no representativos.
• Amenazas a la seguridad: Los atacantes pueden manipular las entradas para influir en el comportamiento del modelo, lo que genera riesgos para la ciberseguridad, los sistemas autónomos y otras aplicaciones sensibles.
• Exposición regulatoria y de reputación: Los resultados inexactos pueden dañar la confianza pública y exponer a las organizaciones a escrutinio, sanciones o fallas de cumplimiento.
• Responsabilidad financiera: El asesoramiento, los detalles del producto o la información de cumplimiento inventados pueden dar lugar a disputas, multas, costos de remediación o reclamaciones de seguros.
• Pérdida de confianza del usuario: Las imprecisiones repetidas pueden hacer que los empleados y clientes abandonen las herramientas de AI o creen soluciones alternativas que reduzcan su valor.

Las organizaciones pueden reducir estos riesgos mediante medidas de seguridad (guardrails) más sólidas, pruebas adversarias, monitoreo continuo, verificación de fuentes y revisión humana para los resultados de alto riesgo.Dónde plantean el mayor riesgo las alucinaciones de AI

Las alucinaciones son problemáticas en todas partes, pero ciertos sectores se enfrentan a consecuencias desproporcionadas porque el costo de una respuesta incorrecta es excepcionalmente alto.

Atención médica y soporte para decisiones clínicas

Cuando los médicos utilizan herramientas de AI para ayudar con el diagnóstico, la planificación del tratamiento o la verificación de interacciones de medicamentos, un resultado alucinado puede afectar directamente la seguridad del paciente. Un modelo que inventa una recomendación de dosis de medicamento o una contraindicación que no existe crea un riesgo que es difícil de detectar en entornos clínicos de ritmo rápido. ECRI, una organización sin fines de lucro centrada en la seguridad de la atención médica, clasificó el uso indebido de chatbots de AI en la atención médica como el peligro número uno de la tecnología de la salud para 2026.

Investigación legal y análisis de contratos

Los casos de citas inventadas descritos anteriormente son el ejemplo más visible, pero el riesgo se extiende a la revisión de contratos, el análisis regulatorio y la documentación de cumplimiento. Una herramienta de AI que alucina una cláusula en un contrato o distorsiona un requisito regulatorio puede exponer a una organización a una responsabilidad que podría no salir a la luz hasta meses o años después, cuando se dispute el contrato o se aplique la regulación.

Servicios financieros e informes de cumplimiento

Las instituciones financieras operan bajo estrictos requisitos de presentación de informes. Una cifra alucinada en un modelo de riesgo, una transacción inventada en una pista de auditoría o una cita regulatoria incorrecta en una presentación de cumplimiento pueden desencadenar investigaciones, multas y la pérdida de licencias operativas. Las consecuencias son lo suficientemente graves como para que muchas instituciones financieras hayan adoptado un enfoque cauteloso respecto a la AI generativa, limitando su uso a aplicaciones de bajo riesgo hasta que las tasas de alucinación puedan reducirse a niveles aceptables.

Estrategias probadas para prevenir las alucinaciones de AI

Ninguna técnica por sí sola elimina las alucinaciones, pero las organizaciones pueden reducir su frecuencia e impacto combinando prácticas sólidas de datos, límites claros del sistema, pruebas continuas y supervisión humana.

Utilizar datos de entrenamiento confiables

Los modelos son tan confiables como la información de la que aprenden o que recuperan. Utilice datos precisos, actualizados, relevantes y bien seleccionados, y elimine duplicados, contenido desactualizado y errores conocidos siempre que sea posible.

Para las aplicaciones empresariales, la generación aumentada por recuperación puede conectar un modelo con fuentes de conocimiento de confianza al momento de responder. En la plataforma de Databricks, los equipos pueden crear flujos de trabajo de RAG que conectan los modelos con datos empresariales gobernados y usar Unity Catalog para admitir el control de acceso y la gobernanza de datos.

Establecer un objetivo claro para el modelo

Un modelo funciona de manera más confiable cuando tiene un rol claro y limitado. Define qué debe hacer el sistema, quién lo usará, en qué información debe apoyarse y qué solicitudes quedan fuera de su alcance.

Para casos de uso especializados, el ajuste fino con ejemplos verificados y específicos del dominio puede ayudar a que el modelo funcione de manera constante. El ajuste fino debe complementar, no reemplazar, la recuperación, la evaluación y otras salvaguardas.

Crear plantillas de datos reutilizables

Los prompts estructurados, los esquemas y las plantillas de respuesta le dan al modelo instrucciones más claras y reducen la ambigüedad. También hacen que los resultados sean más consistentes y fáciles de revisar de forma automática.

Las plantillas funcionan mejor cuando definen los campos obligatorios, los valores aceptables, los requisitos de las fuentes y qué hacer cuando la información necesaria no está disponible. Esto ayuda a evitar que el modelo llene los vacíos con detalles inventados.

Limitar las respuestas

Establece límites claros sobre lo que el modelo puede responder y qué fuentes puede utilizar. Los formatos delimitados, las bases de conocimientos aprobadas, los requisitos de citación y las respuestas explícitas de "no lo sé" pueden reducir las respuestas con exceso de confianza o sin fundamento.

Estos controles son especialmente importantes para los flujos de trabajo de alto riesgo. El modelo debe ser capaz de rechazar, derivar o solicitar una revisión humana cuando una pregunta quede fuera de su conocimiento o autoridad.

Probar y mejorar el sistema con regularidad

Evalúa el sistema de AI completo utilizando prompts realistas, casos límite y conjuntos de prueba específicos del dominio. Realiza un seguimiento de la precisión de los hechos, las afirmaciones sin fundamento, el comportamiento de rechazo y el rendimiento en diferentes usuarios y escenarios.

Utiliza los resultados de la evaluación para mejorar los prompts, la recuperación, la calidad de los datos y la configuración del modelo a lo largo del tiempo. El monitoreo continuo ayuda a los equipos a identificar nuevos patrones de falla a medida que cambian el sistema, sus datos y el comportamiento de los usuarios.

Desarrollar procesos de Human-in-the-Loop (HITL)

La revisión humana añade un control de seguridad importante para los resultados que podrían afectar a los clientes, los empleados, las finanzas, los asuntos legales o la salud. Las personas pueden validar, aprobar, corregir o derivar las respuestas antes de que lleguen a los usuarios finales.

HITL no requiere revisar cada interacción de bajo riesgo. Las organizaciones pueden dirigir los casos de mayor riesgo o menor confianza a revisores capacitados y utilizar sus comentarios para mejorar las evaluaciones, los prompts y las salvaguardas.

Crea aplicaciones de AI confiables con Databricks

Las alucinaciones de AI son un desafío fundamental al trabajar con modelos generativos, no un error temporal que desaparecerá con la próxima versión. Las organizaciones que implementan la AI con éxito son aquellas que tratan la prevención de alucinaciones como una disciplina de ingeniería: midiendo la precisión de manera sistemática, basando los resultados en datos gobernados e integrando la evaluación en cada etapa del ciclo de vida del desarrollo.

La plataforma de Databricks reúne las capacidades que hacen esto posible: canalizaciones de RAG basadas en datos empresariales, flujos de trabajo de ajuste fino con evaluación integrada, gobernanza y seguimiento de linaje a través de Unity Catalog, y detección de alucinaciones integrada en CI/CD con MLflow y Agent Evaluation. Juntas, estas herramientas ayudan a los equipos a pasar del prototipo a la producción con la confianza de que sus aplicaciones de AI son precisas, auditables y confiables.

Para obtener más información sobre cómo crear una AI responsable en la plataforma de Databricks, explora los siguientes recursos o comienza con la capacitación sobre los fundamentos de la AI generativa.

Preguntas frecuentes

¿Cuáles son los tipos más comunes de alucinaciones de AI, con ejemplos?

Los tipos más comunes incluyen la fabricación de hechos (inventar hechos, estadísticas o citas que no existen), la combinación de entidades (fusionar detalles de diferentes personas, lugares o eventos en una sola respuesta incorrecta) y la confusión temporal (atribuir eventos al período de tiempo equivocado). Los ejemplos incluyen a ChatGPT generando citas legales inexistentes que llevaron a sanciones judiciales, y a Google Bard atribuyendo incorrectamente la primera fotografía de un exoplaneta al telescopio espacial James Webb.

¿Cómo se detecta si un modelo de AI está alucinando?

La detección requiere comparar los resultados del modelo con una verdad fundamental (ground truth) verificada. Los enfoques automatizados incluyen la puntuación de consistencia factual, las comprobaciones de implicación semántica y la verificación basada en recuperación, donde los resultados se cotejan con documentos de fuentes confiables. La revisión humana sigue siendo importante para los dominios de alto riesgo. En los sistemas de producción, los equipos pueden integrar la detección de alucinaciones en las canalizaciones de CI/CD utilizando herramientas como las métricas de evaluación de MLflow y modelos especializados como Patronus AI Lynx.

¿Cuáles son los riesgos comerciales y legales de las alucinaciones de AI?

Los riesgos comerciales incluyen el daño a la reputación debido a errores de cara al público, la responsabilidad financiera por consejos incorrectos o información inventada, y la pérdida de confianza interna que debilita la adopción de la AI. Los riesgos legales están creciendo rápidamente. Los tribunales han responsabilizado a las organizaciones por la información errónea generada por sus sistemas de AI, como en el fallo sobre el chatbot de Air Canada. Se ha sancionado a abogados por presentar citas legales inventadas por AI. Los marcos regulatorios como la Ley de AI de la EU imponen requisitos de precisión y transparencia en las implementaciones de AI de alto riesgo, lo que genera una exposición adicional al cumplimiento normativo.

¿Los nuevos modelos de AI de razonamiento alucinan más que los anteriores?

En varios casos documentados, sí. El modelo de razonamiento o3 de OpenAI alucinó en el benchmark PersonQA a aproximadamente el doble de la tasa de sus predecesores. DeepSeek-R1 alucinó a casi cuatro veces la tasa de su predecesor de no razonamiento, DeepSeek-V3. Los modelos de razonamiento utilizan el procesamiento de cadena de pensamiento (chain-of-thought) que puede agravar pequeños errores a lo largo de múltiples pasos, produciendo conclusiones que son internamente consistentes pero fácticamente incorrectas. Lo más nuevo no significa automáticamente lo más preciso, por lo que la evaluación sistemática es esencial independientemente del modelo que implementes.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original