Automatizando a Documentação de Dados com IA: Como a 7-Eleven Preencheu a Lacuna de Metadados

O Dilema da Documentação de Dados da 7-Eleven

O ecossistema de dados da 7-Eleven é massivo e complexo, abrigando milhares de tabelas com centenas de colunas em nosso ambiente Databricks. Esses dados formam a espinha dorsal de nossas operações, análises e processos de tomada de decisão. Tradicionalmente, o dicionário de dados e a documentação do 7-Eleven residiam nas páginas do Confluence, meticulosamente mantidos pelos membros de nossa equipe de dados que documentavam manualmente as definições de tabelas e colunas.

Nós enfrentamos um obstáculo crítico ao começar a explorar os recursos alimentados por IA na Plataforma de Inteligência de Dados do Databricks, incluindo AI/BI Genie, dashboards inteligentes e outras aplicações. Essas ferramentas avançadas dependem fortemente de metadados de tabela e comentários incorporados diretamente dentro do Databricks para gerar insights, responder perguntas sobre nossos dados e construir visualizações automatizadas. Sem comentários adequados em tabelas e colunas no próprio Databricks, estávamos essencialmente negligenciando poderosas capacidades de IA. Por exemplo, quando o Genie não possui definições de colunas, ele pode interpretar erroneamente o significado de colunas personalizadas, exigindo que os usuários finais esclareçam. Uma vez que enriquecemos nossos metadados, o entendimento contextual do Genie melhorou dramaticamente – identificando corretamente os propósitos das colunas, expondo as tabelas certas em resposta a consultas de linguagem natural, e gerando insights muito mais relevantes e acionáveis. Simplificando, Genie, como todos os agentes de IA, se torna mais atencioso e útil quando tem metadados melhores para trabalhar.

A lacuna entre nossas páginas bem documentadas no Confluence e nosso ambiente Databricks "leve em metadados" estava nos impedindo de perceber todo o potencial do nosso investimento em plataforma de dados.

A Escala Impossível da Migração Manual

Quando inicialmente consideramos a migração de nossa documentação do Confluence para o Databricks, a escala do desafio tornou-se imediatamente aparente. Com milhares de tabelas contendo centenas de colunas cada, uma migração manual exigiria:

• Trabalho intensivo de tempo: Centenas de horas-homem para copiar e colar documentação
• Atualizações manuais de metadados: Criando milhares de declarações SQL individuais para atualizar metadados ou acessando cada interface de usuário de tabela
• Supervisão do projeto: Implementando um sistema de rastreamento para garantir que todas as tabelas foram atualizadas corretamente
• Garantia de qualidade: Criando um processo de validação para pegar inevitáveis erros humanos
• Manutenção contínua: Estabelecer um protocolo de manutenção contínuo para manter ambos os sistemas sincronizados

O erro humano seria inevitável mesmo que dedicássemos recursos significativos a esse esforço. Algumas tabelas seriam perdidas, comentários seriam formatados incorretamente, e o processo provavelmente precisaria ser repetido à medida que a documentação evoluísse. Além disso, a natureza tediosa do trabalho provavelmente leva a uma qualidade inconsistente em toda a documentação.

A maior preocupação foi o custo de oportunidade. Enquanto nossa equipe de dados se concentrava nessa migração, eles não podiam trabalhar em iniciativas de maior valor. Todos os dias, enfrentávamos atrasos em fortalecer nossos metadados do Databricks, deixando um potencial inexplorado nas capacidades de IA/BI já ao nosso alcance.

O Pipeline de Processamento Inteligente de Documentos

Para resolver esse desafio, a 7-Eleven desenvolveu um fluxo de trabalho sofisticado de IA agente, alimentado pelo Llama 4 Maverick, implantado pelo Mosaic AI Model Serving, que automatizou todo o processo de migração de documentação através de um pipeline de múltiplos estágios inteligente:

1. Fase de descoberta: O agente utiliza APIs do Databricks para obter todas as tabelas, nomes de tabelas e estruturas de colunas.
2. Recuperação de documentos: O agente extrai todos os documentos relevantes do dicionário de dados do Confluence, criando um corpus de fontes de documentação potenciais.
3. Reclassificação e filtragem: Implementando algoritmos avançados de reclassificação, o sistema prioriza a documentação mais relevante para cada tabela, filtrando ruídos e conteúdos irrelevantes. Esse passo crítico garante que associamos as tabelas à sua documentação adequada mesmo quando as convenções de nomenclatura não são perfeitamente consistentes.
4. Correspondência inteligente: Para cada tabela Databricks, o agente de IA analisa possíveis correspondências de documentação, usando a compreensão contextual para determinar a página correta do Confluence mesmo quando os nomes não coincidem exatamente.
5. Extração direcionada: Uma vez identificada a documentação correta, o agente extrai inteligentemente descrições relevantes tanto para as tabelas quanto para suas colunas, preservando o significado original enquanto formata adequadamente para os metadados do Databricks.
6. Geração de SQL: O sistema gera automaticamente declarações SQL devidamente formatadas para atualizar os comentários de tabelas e colunas do Databricks, lidando com caracteres especiais e requisitos de formatação.
7. Execução e verificação: O agente executa as atualizações SQL e, através do rastreamento e avaliação do MLflow, verifica se os metadados foram aplicados corretamente, registra os resultados e reporta quaisquer questões para revisão humana.
8. Monitoramento e insights: A equipe também usa o Painel AI/BI Genie para acompanhar as métricas do projeto em tempo real, garantindo transparência, controle de qualidade e melhoria contínua.

Este pipeline inteligente transformou meses de trabalho tedioso e propenso a erros em um processo automatizado que completou a migração inicial em dias. A capacidade do sistema de entender o contexto e fazer correspondências inteligentes entre recursos de nomes ou estruturas diferentes foi chave para alcançar alta precisão.

Desde a implementação desta solução, planejamos migrar a documentação de mais de 90% de nossas tabelas, desbloqueando o potencial total das funcionalidades de IA/BI do Databricks. O que começou como um assistente de IA pouco usado evoluiu para uma ferramenta diária em nossos fluxos de trabalho de dados. A habilidade de Genie de entender contexto agora espelha como um humano interpretaria os dados, graças aos metadados no nível da coluna que injetamos. Nossos cientistas de dados e analistas agora podem usar consultas de linguagem natural por meio do AI/BI Genie para explorar dados, e nossos painéis aproveitam os ricos metadados para fornecer visualizações e insights mais significativos.

A solução continua a fornecer valor como uma ferramenta de sincronização contínua, garantindo que à medida que nossa documentação evolui no Confluence, essas mudanças são refletidas em nosso ambiente Databricks. Este projeto demonstrou como agentes AI aplicados de forma pensativa podem resolver desafios complexos de governança de dados em escala empresarial, transformando o que parecia uma tarefa insuperável de documentação em uma elegante solução automatizada.

Quer aprender mais sobre IA/BI e como isso pode ajudar a desbloquear o valor dos seus dados? Saiba mais aqui.

(This blog post has been translated using AI-powered tools) Original Post