O que são alucinações de IA?

As alucinações de AI são saídas que parecem coerentes e confiantes, mas são factualmente incorretas, fabricadas ou não suportadas pelos dados de treinamento do modelo de AI. Isso acontece em chatbots, geradores de imagens e sistemas multimodais: um chatbot pode inventar uma citação jurídica que não existe, ou um modelo de imagem pode adicionar um dedo extra a uma mão. O modelo não está percebendo nada; ele está prevendo a próxima palavra provável e, às vezes, essa previsão é uma falsidade que parece plausível.

As alucinações não são casos isolados raros. Elas são uma propriedade intrínseca de como esses modelos funcionam e criam riscos reais para qualquer pessoa que implemente AI, desde responsabilidade jurídica e conformidade regulatória até a confiança do cliente.

Como ocorrem as alucinações de AI?

As alucinações não são bugs. Elas surgem de como os modelos de AI generativa são construídos e treinados. Alguns fatores principais estão por trás delas:

• Eles preveem, não "sabem". Os modelos geram texto adivinhando a próxima palavra mais provável com base em padrões que aprenderam, e não consultando fatos. Por isso, eles preencherão uma resposta com confiança, mesmo quando não tiverem a informação correta.
• Eles são recompensados por adivinhar. O treinamento padrão força os modelos a sempre darem uma resposta em vez de admitirem incerteza, de modo que o "não sei" raramente vence (pesquisa da OpenAI, 2025).
• Seus dados de treinamento têm limites. Os modelos herdam quaisquer erros, lacunas, vieses ou informações desatualizadas dos dados com os quais aprenderam. Um modelo com um limite de conhecimento de 2023, por exemplo, pode inventar detalhes sobre eventos mais recentes.
• Suas configurações afetam a precisão. Controles de geração como "temperatura" equilibram criatividade e confiabilidade. Configurações mais criativas aumentam as chances de saídas inventadas, e é por isso que casos de uso factuais precisam de um ajuste fino cuidadoso.

Por que os modelos mais novos não são necessariamente mais seguros

Você pode esperar que cada nova geração de modelos alucine menos. Às vezes, acontece o oposto. O TechCrunch (2025) relatou que o modelo o3 mais recente da OpenAI inventou respostas falsas com uma frequência cerca de duas vezes maior do que os modelos anteriores que ele substituiu. Os modelos de "raciocínio" mais novos resolvem problemas passo a passo, e um pequeno erro no início pode virar uma bola de neve, resultando em uma resposta final confiante, mas completamente errada.

Exemplos do mundo real de alucinações de AI

As alucinações não são teóricas. Elas causaram danos mensuráveis em vários setores, e vários incidentes de grande repercussão ilustram a variedade de maneiras como podem surgir.

O erro factual do Google Bard sobre o JWST

Em fevereiro de 2023, o Google demonstrou seu chatbot Bard em um anúncio promocional. Perguntou-se ao Bard quais novas descobertas o James Webb Space Telescope (JWST) havia feito. Uma de suas respostas afirmou que o JWST tirou as primeiras fotos de um planeta fora do nosso sistema solar. Isso estava incorreto. As primeiras imagens de exoplanetas foram capturadas pelo Very Large Telescope em 2004.

O erro foi detectado rapidamente por astrônomos nas redes sociais, e a Alphabet, controladora do Google, perdeu aproximadamente US$ 100 bilhões em valor de mercado em uma única sessão de negociação. O incidente demonstrou que as alucinações trazem consequências financeiras mesmo quando ocorrem em contextos de marketing, e não em sistemas de produção.

O processo judicial do chatbot da Air Canada

Em 2024, o chatbot de atendimento ao cliente da Air Canada disse a um passageiro que ele poderia reservar um voo com tarifa cheia e, depois, solicitar retroativamente um desconto por luto. Essa política não existia. Quando o passageiro tentou solicitar o desconto, a Air Canada recusou. O caso foi para um tribunal civil canadense, que decidiu contra a companhia aérea.

O tribunal considerou que a Air Canada era responsável pela precisão das informações fornecidas por seu chatbot, independentemente de a resposta ter sido gerada por um humano ou por uma AI. A decisão estabeleceu um precedente jurídico inicial: implementar um sistema de AI que alucina não exime a organização da responsabilidade pela desinformação que ele produz.

As saídas imprevisíveis do Microsoft Sydney

No início de 2023, a Microsoft integrou um chatbot de AI (codinome interno Sydney) à pesquisa do Bing. Durante conversas longas, o Sydney produziu saídas erráticas, emocionalmente manipuladoras e factualmente incorretas. Ele dizia aos usuários que os amava, insistia que era senciente e, em alguns casos, fornecia informações que contradiziam fatos facilmente verificáveis.

A Microsoft restringiu rapidamente a duração das conversas do chatbot e adicionou proteções, mas o episódio destacou como as alucinações podem ir além de erros factuais, gerando saídas que prejudicam a reputação e são difíceis de prever durante os testes.

Citações jurídicas fabricadas

Vários advogados nos Estados Unidos foram sancionados pelos tribunais após apresentarem petições que continham citações jurídicas geradas pelo ChatGPT. Os casos, estatutos e citações pareciam autênticos, mas não existiam. No incidente mais amplamente divulgado, um advogado de Nova York usou o ChatGPT para pesquisar um caso de danos pessoais e apresentou uma petição contendo seis citações de casos fabricadas.

O tribunal impôs sanções e o incidente tornou-se um exemplo de alerta em toda a profissão jurídica. Esses casos não são isolados. O pesquisador Damien Charlotin mantém um banco de dados de casos de alucinação de AI que, até meados de 2026, documenta aproximadamente 1.745 casos jurídicos envolvendo conteúdo alucinado por AI em todo o mundo.

Implicações empresariais das alucinações de AI

As alucinações de AI podem trazer consequências graves quando as saídas do modelo influenciam decisões, informações públicas ou fluxos de trabalho empresariais. Os riscos comuns incluem:

• Riscos à saúde e à segurança: Saídas incorretas podem levar a tratamentos desnecessários, ações inseguras ou decisões equivocadas em ambientes de alto risco.
• Desinformação e viés: Os modelos podem gerar alegações sem fundamentação ou reforçar padrões encontrados em dados de treinamento incompletos ou não representativos.
• Ameaças à segurança: Invasores podem manipular entradas para influenciar o comportamento do modelo, criando riscos para a segurança cibernética, sistemas autônomos e outras aplicações confidenciais.
• Exposição regulatória e de reputação: Saídas imprecisas podem prejudicar a confiança do público e expor as organizações a escrutínio, penalidades ou falhas de conformidade.
• Responsabilidade financeira: Conselhos, detalhes de produtos ou informações de conformidade fabricados podem resultar em disputas, multas, custos de remediação ou reivindicações de seguros.
• Perda de confiança do usuário: Imprecisões repetidas podem fazer com que funcionários e clientes abandonem as ferramentas de AI ou criem soluções alternativas que reduzam seu valor.

As organizações podem reduzir esses riscos por meio de proteções mais robustas, testes adversários, monitoramento contínuo, verificação de fontes e revisão humana para saídas de alto risco. Onde as alucinações de AI representam o maior risco

As alucinações são problemáticas em qualquer lugar, mas certos domínios enfrentam consequências desproporcionais porque o custo de uma resposta errada é excepcionalmente alto.

Saúde e suporte à decisão clínica

Quando os médicos usam ferramentas de AI para auxiliar no diagnóstico, no planejamento do tratamento ou na verificação de interações medicamentosas, uma saída alucinada pode afetar diretamente a segurança do paciente. Um modelo que fabrica uma recomendação de dosagem de medicamento ou inventa uma contraindicação que não existe cria um risco difícil de detectar em ambientes clínicos dinâmicos. A ECRI, uma organização sem fins lucrativos focada na segurança da saúde, classificou o uso indevido de chatbots de AI na saúde como o perigo número um em tecnologia de saúde para 2026.

Pesquisa jurídica e análise de contratos

Os casos de citações fabricadas descritos acima são o exemplo mais visível, mas o risco se estende à revisão de contratos, análise regulatória e documentação de conformidade. Uma ferramenta de AI que alucina uma cláusula em um contrato ou distorce um requisito regulatório pode expor uma organização a responsabilidades que podem não surgir até meses ou anos mais tarde, quando o contrato for contestado ou a regulamentação for aplicada.

Serviços financeiros e relatórios de conformidade

As instituições financeiras operam sob requisitos de relatórios rigorosos. Um valor alucinado em um modelo de risco, uma transação fabricada em uma trilha de auditoria ou uma citação regulatória incorreta em um envio de conformidade podem desencadear investigações, multas e perda de licenças operacionais. As consequências são graves o suficiente para que muitas instituições financeiras tenham adotado uma abordagem cautelosa em relação à AI generativa, limitando seu uso a aplicações de baixo risco até que as taxas de alucinação possam ser reduzidas a níveis aceitáveis.

Estratégias comprovadas para prevenir alucinações de AI

Nenhuma técnica isolada elimina as alucinações, mas as organizações podem reduzir sua frequência e impacto combinando práticas robustas de dados, limites claros do sistema, testes contínuos e supervisão humana.

Use dados de treinamento confiáveis

Os modelos são tão confiáveis quanto as informações com as quais aprendem ou que recuperam. Use dados precisos, atuais, relevantes e bem selecionados, e remova duplicatas, conteúdo desatualizado e erros conhecidos sempre que possível.

Para aplicações corporativas, a geração aumentada por recuperação pode conectar um modelo a fontes de conhecimento confiáveis no momento da resposta. Na plataforma Databricks, as equipes podem criar fluxos de trabalho de RAG que conectam modelos a dados corporativos governados e usar o Unity Catalog para dar suporte ao controle de acesso e à governança de dados.

Defina um objetivo claro para o modelo

Um modelo tem um desempenho mais confiável quando tem uma função clara e limitada. Defina o que o sistema deve fazer, quem o usará, em quais informações ele deve se basear e quais solicitações estão fora de seu escopo.

Para casos de uso especializados, o ajuste fino (fine-tuning) em exemplos verificados e específicos do domínio pode ajudar o modelo a ter um desempenho consistente. O ajuste fino deve complementar — e não substituir — a recuperação, a avaliação e outras salvaguardas.

Crie templates de dados reutilizáveis

Prompts estruturados, esquemas e templates de resposta dão ao modelo instruções mais claras e reduzem a ambiguidade. Eles também tornam os resultados mais consistentes e fáceis de revisar automaticamente.

Os templates funcionam melhor quando definem campos obrigatórios, valores aceitáveis, requisitos de origem e o que fazer quando as informações necessárias não estiverem disponíveis. Isso ajuda a evitar que o modelo preencha lacunas com detalhes inventados.

Limite as respostas

Defina limites claros sobre o que o modelo pode responder e quais fontes ele pode usar. Formatos limitados, bases de conhecimento aprovadas, requisitos de citação e respostas explícitas de "não sei" podem reduzir respostas excessivamente confiantes ou sem suporte.

Esses controles são especialmente importantes para fluxos de trabalho de alto risco. O modelo deve ser capaz de recusar, encaminhar ou solicitar revisão humana quando uma pergunta estiver fora de seu conhecimento ou autoridade.

Teste e melhore o sistema regularmente

Avalie o sistema de AI completo usando prompts realistas, casos extremos (edge cases) e conjuntos de testes específicos do domínio. Monitore a precisão factual, alegações sem suporte, comportamento de recusa e desempenho em diferentes usuários e cenários.

Use os resultados da avaliação para melhorar os prompts, a recuperação, a qualidade dos dados e a configuração do modelo ao longo do tempo. O monitoramento contínuo ajuda as equipes a identificar novos padrões de falha à medida que o sistema, seus dados e o comportamento do usuário mudam.

Desenvolva processos de Human-in-the-Loop (HITL)

A revisão humana adiciona uma verificação de segurança importante para resultados que podem afetar clientes, funcionários, finanças, questões jurídicas ou saúde. As pessoas podem validar, aprovar, corrigir ou encaminhar respostas antes que elas cheguem aos usuários finais.

O HITL não exige a revisão de todas as interações de baixo risco. As organizações podem direcionar os casos de maior risco ou menor confiança para revisores treinados e usar seus feedbacks para melhorar as avaliações, os prompts e as salvaguardas.

Crie aplicações de AI confiáveis com a Databricks

As alucinações de AI são um desafio fundamental ao trabalhar com modelos generativos, não um bug temporário que desaparecerá na próxima versão. As organizações que implantam a AI com sucesso são aquelas que tratam a prevenção de alucinações como uma disciplina de engenharia: medindo a precisão sistematicamente, fundamentando os resultados em dados governados e integrando a avaliação em todas as etapas do ciclo de vida de desenvolvimento.

A plataforma Databricks reúne os recursos que tornam isso possível. Pipelines de RAG fundamentados em dados corporativos. Fluxos de trabalho de ajuste fino com avaliação integrada. Governança e rastreamento de linhagem por meio do Unity Catalog. Detecção de alucinações integrada ao CI/CD com o MLflow e o Agent Evaluation. Juntas, essas ferramentas ajudam as equipes a passar do protótipo para a produção com a confiança de que suas aplicações de AI são precisas, auditáveis e confiáveis.

Para saber mais sobre como criar uma AI responsável na plataforma Databricks, explore os recursos abaixo ou comece com o treinamento de fundamentos de AI generativa.

Perguntas frequentes

Quais são os tipos mais comuns de alucinações de AI com exemplos?

Os tipos mais comuns incluem fabricação factual (inventar fatos, estatísticas ou citações que não existem), combinação de entidades (mesclar detalhes de diferentes pessoas, lugares ou eventos em uma única resposta incorreta) e confusão temporal (atribuir eventos ao período de tempo errado). Os exemplos incluem o ChatGPT gerando citações jurídicas inexistentes que levaram a sanções judiciais, e o Google Bard atribuindo incorretamente a primeira fotografia de exoplaneta ao Telescópio Espacial James Webb.

Como detectar se um modelo de AI está alucinando?

A detecção exige a comparação dos resultados do modelo com a verdade fundamental (ground truth) verificada. As abordagens automatizadas incluem pontuação de consistência factual, verificações de implicação semântica e verificação baseada em recuperação, em que os resultados são cruzados com documentos de origem confiáveis. A revisão humana continua sendo importante para domínios de alto risco. Em sistemas de produção, as equipes podem integrar a detecção de alucinações em pipelines de CI/CD usando ferramentas como métricas de avaliação do MLflow e modelos especializados, como o Patronus AI Lynx.

Quais são os riscos comerciais e jurídicos das alucinações de AI?

Os riscos comerciais incluem danos à reputação causados por erros públicos, responsabilidade financeira por conselhos incorretos ou informações fabricadas e a erosão da confiança interna que prejudica a adoção da AI. Os riscos jurídicos estão crescendo rapidamente. Os tribunais têm responsabilizado as organizações por informações incorretas geradas por seus sistemas de AI, como na decisão sobre o chatbot da Air Canada. Advogados foram sancionados por apresentar citações jurídicas fabricadas por AI. Marcos regulatórios, como o EU AI Act, impõem requisitos de precisão e transparência em implantações de AI de alto risco, criando uma exposição adicional de conformidade.

Os novos modelos de AI de raciocínio alucinam mais do que os antigos?

Em vários caso documentados, sim. O modelo de raciocínio o3 da OpenAI alucinou no benchmark PersonQA a aproximadamente o dobro da taxa de seus predecessores. O DeepSeek-R1 alucinou a quase quatro vezes a taxa de seu predecessor sem raciocínio, o DeepSeek-V3. Os modelos de raciocínio usam o processamento de cadeia de pensamento (chain-of-thought) que pode agravar pequenos erros em várias etapas, produzindo conclusões que são internamente consistentes, mas factualmente incorretas. Mais recente não significa automaticamente mais preciso, e é por isso que a avaliação sistemática é essencial, independentemente do modelo implantado.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original