Desvendando Contratos Complexos com GenAI no Azure Databricks

Em uma fabricante líder de produtos de diagnóstico de saúde, a gestão de contratos em toda a região EMEA apresentou um desafio significativo. Com contratos distribuídos em várias plataformas regionais e gerenciados individualmente por gerentes de contrato, a extração de dados críticos era um processo manual e trabalhoso que poderia levar até 2 dias por contrato. Essa abordagem fragmentada prejudicou o desempenho de vendas, aumentou os custos operacionais e retardou a tomada de decisões estratégicas.

Trabalhando com a Advancing Analytics e a Databricks, a empresa implementou uma inovadora solução de IA Generativa que transformou seu processo de análise de contratos, proporcionando ganhos de eficiência notáveis e insights de negócios. Aqui está como eles fizeram.

O Desafio: Complexidade de Contratos em toda a EMEA

O extenso portfólio de produtos da empresa abrange produtos de diagnóstico usados globalmente. No entanto, o processo de gestão de contratos estava os atrasando:

• Os dados do contrato foram distribuídos em várias plataformas regionais
• Não havia uma abordagem centralizada ou padronizada para a gestão de contratos
• O processo de revisão manual exigia que os gerentes de contrato examinassem documentos inteiros
• Contratos são uma mistura de documentos digitais, documentos escritos à mão e documentos digitalizados
• A extração de atributos-chave levava até 2 dias por contrato
• Contratos multilíngues (inglês, francês e alemão) adicionaram complexidade

"Nossos gerentes de contrato estavam gastando quase 2 dias em cada contrato apenas para extrair informações básicas", explica um executivo da empresa. "Com centenas de contratos em toda a EMEA, essa abordagem manual era insustentável e nos impedia de obter as percepções necessárias para tomar decisões estratégicas."

A Solução: Um Pipeline Alimentado por Gen AI Construído pela Advancing Analytics na Databricks

Em parceria com a Advancing Analytics, a empresa implementou um pipeline de Geração Aprimorada por Recuperação (RAG) que funciona de ponta a ponta no Azure Databricks:

• A ingestão automatizada do SharePoint coloca PDFs em tabelas Delta governadas pelo Catálogo Unity com rastreamento completo de auditoria.
• Azure AI Document Intelligence realiza OCR em varreduras, escrita à mão e idiomas mistos.
• Francês e alemão, e qualquer texto não inglês é encaminhado através de modelos de tradução para processamento consistente a jusante.
• Os blocos são incorporados e indexados com a Pesquisa de Vetor AI Mosaic, proporcionando buscas de similaridade em milissegundos.
• Um conjunto de endpoints LLM (hospedados pela Databricks e Azure OpenAI) puxa os pedaços certos e extrai ~100 atributos, endurecendo a saída com uma cadeia de correção JSON.

Novos arquivos são gerenciados por um sistema de fila personalizado baseado no Unity Catalog, com total rastreabilidade das propriedades da fila, itens, tempos de execução e falhas. Isso permite que o sistema equilibre efetivamente os recursos, ao mesmo tempo que fornece uma fila escalável de tamanho quase indefinido. Também garante que as taxas de processamento e os resultados de todos os arquivos de entrada permaneçam totalmente visíveis e rastreáveis.

Uma abordagem de conjunto inovadora: Precisão em que você pode confiar

A maioria das pipelines de extração confia em um único modelo. Nós não. Inspirado pelo artigo de pesquisa de 2024 Consensus Probabilístico através da Validação de Conjunto (arXiv:2411.06535), executamos três LLMs em paralelo e aceitamos um valor apenas quando pelo menos dois concordam. O retorno é dramático:

• Confiável: detecta alucinações sem diminuir a taxa de transferência
• Modelo-agnóstico: troque por modelos mais baratos ou específicos do domínio e ainda mantenha a qualidade alta
• Rastreabilidade de qualidade de auditoria: cada discordância é registrada para revisão de SME

Acreditamos que esta é uma das primeiras soluções GenAI validadas por conjunto em produção no lakehouse da Databricks para contratos multilíngues e regulamentados.

Fluxos de trabalho confiáveis e atualizações não disruptivas

O fluxo de trabalho da solução é totalmente automatizado, desde a ingestão de documentos por meio do SharePoint até a entrega final por meio de arquivos Excel e painéis personalizados. Os fluxos de trabalho do Databricks permitem que esse processo ocorra em um ritmo regular, resultando em taxas de tráfego previsíveis que ajudam na provisão de recursos e previsões de custos.

Atualizações e melhorias neste processo são propagadas de ambientes de desenvolvimento para produção através de robustos pipelines de CI/CD, centrados em Databricks Asset Bundles. Isso garante que notebooks, fluxos de trabalho e recursos permaneçam sincronizados e se atualizem sem interrupções, sem arriscar interrupções em trabalhos de produção em andamento.

Impacto Real nos Negócios

A implementação desta solução alimentada por Databricks pela Advancing Analytics trouxe um valor comercial significativo:

• redução de 95% no tempo de processamento: A análise de contrato que antes levava até 2 dias agora é concluída em horas
• Melhor precisão: A solução atinge aproximadamente 90% de precisão, validada por especialistas
• Visibilidade aprimorada: Banco de dados centralizado de atributos-chave do cliente melhora a colaboração entre equipes regionais
• Escalabilidade: A solução lida eficientemente tanto com extensos arquivos de documentos quanto com requisitos de processamento ad-hoc
• Capacidade multilíngue: Processamento contínuo de contratos em inglês, francês e alemão e até 15 outros idiomas

Para esta empresa, essa solução se traduz em milhões em economia anual, ciclos de negócios acelerados e uma nova capacidade poderosa: consultar todos os contratos da EMEA instantaneamente, usando linguagem natural.

Especialistas no assunto agora podem perguntar ao chatbot por insights e atributos que antes estavam enterrados em documentos ou simplesmente não capturados em tabelas padrão.

Além disso, o processo é 92% mais rápido e, por ser totalmente automatizado, os especialistas gastam praticamente nenhum tempo gerenciando-o. Em vez disso, eles podem se concentrar em trabalhos de maior valor enquanto o sistema cuida do trabalho pesado.

Por que funcionou

• Uma plataforma, zero silos: Databricks unificou ETL, busca vetorial, serviço LLM e governança
• Estratégia de modelo híbrido: Troque modelos, usando os endpoints de serviço de modelo Mosaic AI, conforme o custo ou a precisão ditam sem reconfigurar o código
• Humano no loop: Especialistas validaram as primeiras execuções e alimentaram casos de borda de volta nos modelos de prompt, aumentando significativamente a precisão
• Disciplina de implantação: Asset Bundles e Workflows fornecem CI/CD para garantir a propagação bem-sucedida de mudanças entre ambientes sem interrupção de processos ao vivo

Olhando para o Futuro: Expandindo o Impacto

Com o sucesso da solução de Análise de Contratos, a empresa agora está explorando aplicações adicionais de IA Generativa em suas operações. A arquitetura escalável construída pela Advancing Analytics no Databricks fornece uma base para futuras inovações, com possíveis aplicações em desenvolvimento de produtos, conformidade regulatória e atendimento ao cliente.

Esta implementação demonstra como as organizações podem aproveitar a expertise da Advancing Analytics com Databricks e Azure para transformar processos complexos e manuais em fluxos de trabalho eficientes e automatizados que entregam valor real para o negócio. Ao combinar o poder da IA Generativa com uma robusta gestão e governança de dados, as empresas podem desbloquear insights anteriormente ocultos em dados não estruturados, impulsionando uma melhor tomada de decisões e excelência operacional.

Este projeto é o modelo de como dados, IA e expertise de domínio se unem. Não apenas aceleramos um processo, desbloqueamos um ativo estratégico. — Dra. Gavita Regunath, Diretora de IA, Advancing Analytics

À medida que as empresas continuam a lidar com volumes crescentes de documentos complexos, este estudo de caso oferece um plano convincente de como a Advancing Analytics e a Databricks podem ajudar a transformar desafios documentais em vantagens estratégicas.

Três pontos para líderes de dados e IA

1. Comece com a dor do negócio: Tempo de ciclo, custo e risco orientaram cada escolha de design.
2. Construa governança interna, não externa: Unity Catalog e Delta Lake mantiveram as equipes de segurança satisfeitas desde o primeiro dia
3. Trate o GenAI como uma capacidade de plataforma: Com a Pesquisa Vetorial, Funções de IA e Mosaic AI em vigor, novos casos de uso pesados em documentos estão a semanas, não meses, de distância.

(This blog post has been translated using AI-powered tools) Original Post