Alchemist: de Brickbuilder a um aplicativo do Databricks Marketplace

Por quase seis anos, a T1A fez parceria com a Databricks em projetos de migração de ponta a ponta de SAS para Databricks para ajudar as empresas a modernizar sua plataforma de dados. Como ex-parceiro SAS Platinum, temos um profundo conhecimento dos pontos fortes, peculiaridades e problemas ocultos da plataforma que decorrem do comportamento exclusivo do motor SAS. Hoje, essa experiência legada é complementada por uma equipe de Databricks Champions e uma prática dedicada de Engenharia de Dados, o que nos dá a rara habilidade de falar fluentemente tanto "SAS" quanto "Spark".

No início da nossa jornada, observamos um padrão recorrente: as organizações queriam abandonar o SAS por diversos motivos, mas todos os caminhos de migração pareciam penosos, arriscados ou ambos. Analisamos o mercado, pilotamos várias opções de ferramentas e concluímos que a maioria das soluções era insuficiente e tratava a migração do SAS como pouco mais do que “trocar dialetos SQL”. Essa lacuna nos levou a criar nosso próprio transpiler, e o Alchemist foi lançado pela primeira vez em 2022.

O Alchemist é uma ferramenta poderosa que automatiza sua migração do SAS para o Databricks: 

• Analisa o SAS e processa seu código para fornecer percepções detalhadas em todos os níveis, preenchendo as lacunas deixadas por profilers básicos e oferecendo uma compreensão clara da sua carga de trabalho
• Converte código SAS para Databricks usando as melhores práticas desenvolvidas por nossos arquitetos e especialistas em Databricks, fornecendo um código limpo e legível sem complexidade desnecessária
• Suporta todos os formatos comuns, incluindo código SAS (arquivos .sas), arquivos de projeto SAS EG e jobs SAS DI no formato .spk, extraindo tanto o código quanto metadados valiosos
• Oferece resultados flexíveis e configuráveis com funções de padrão personalizadas para atender até mesmo aos requisitos arquitetônicos mais rigorosos
• Integra recursos de AI LLM para estruturas de código atípicas, alcançando uma taxa de conversão de 100% em todos os arquivos.
• Integra-se facilmente com frameworks ou pipelines de CI/CD para automatizar todo o fluxo de migração, desde a análise até a validação final e a implantação.

O Alchemist, juntamente com todas as nossas ferramentas, não é mais apenas um acelerador de migração; é o motor principal e o driver da migração em nossos projetos.

Então, o que é o Alchemist em detalhes?

Analisador Alchemist 

Antes de mais nada, o Alchemist não é apenas um transpilador, é uma poderosa ferramenta de avaliação e análise. O Alchemist Analyzer analisa rapidamente qualquer lote de código, produzindo um perfil abrangente das características do código SAS. Em vez de gastar semanas com revisão manual, os clientes podem obter uma visão completa dos padrões e da complexidade do código em minutos.

O dashboard de análise é gratuito e agora está disponível de duas maneiras:

• Databricks Marketplace: T1A Alchemist
• Versão SaaS: https://live.getalchemist.io/
• Versão local: guia de início rápido em https://app.getalchemist.io/main

Esta análise fornece percepções sobre o tamanho do escopo da migração, destaca elementos exclusivos, detecta integrações e ajuda a avaliar as preferências da equipe para diferentes padrões programáticos. Ele também classifica os tipos de carga de trabalho, nos ajuda a prever as taxas de conversão de automação e estima o esforço necessário para a validação da qualidade dos resultados.

Mais do que apenas uma visão geral de alto nível, o Alchemist Analyzer oferece uma visualização detalhada em tabela (que chamamos de DDS) mostrando como os procedimentos e as opções são usados, a linhagem de dados e como os componentes do código dependem uns dos outros. 

Este nível de detalhe ajuda a responder a perguntas como:

• Qual caso de uso devemos selecionar para o MVP para demonstrar melhorias rapidamente?
• Como devemos priorizar a migração de código? Por exemplo, migrar primeiro os dados usados com frequência ou priorizar os produtores de dados críticos?
• Se refatorarmos uma macro específica ou alterarmos uma estrutura de origem, quais outros segmentos de código serão afetados?
• Para liberar espaço em disco ou para parar de usar um componente SAS caro, que ações devemos tomar primeiro?

Como o Analyzer expõe cada dependência, fluxo de controle e ponto de contato de dados, ele nos dá uma compreensão real do código, permitindo-nos fazer muito mais do que a conversão automatizada. Podemos identificar onde validar os resultados, dividir monólitos em blocos de migração significativos, revelar padrões repetíveis e otimizar os testes de ponta a ponta, recursos que já usamos em vários projetos de clientes.

Transpilador Alchemist

Vamos começar com uma breve visão geral das capacidades do Alchemist:

• Fontes: projetos SAS EG (.egp), código base SAS (.sas), Jobs SAS DI (.spk)
• Destinos: notebooks do Databricks, código Python com PySpark, pipelines do Prophecy etc.
• Cobertura: Quase 100% de cobertura e precisão para SQL, procedimentos e transformações comuns, passos de dados e código de macro.[[ ## completed ## ]]
• Pós-conversão com LLM: Identifica instruções problemáticas e as ajusta usando um LLM para melhorar o código final.
• Padrões: Recursos para redefinir o comportamento do conversor para atender a objetivos de refatoração ou de arquitetura de destino.

O transpiler Alchemist funciona em três passos:

1. Analisar Código: O código é analisado em uma Árvore de Sintaxe Abstrata (AST) detalhada, que descreve totalmente sua lógica.
2. Reconstruir código: Dependendo do dialeto de destino, uma regra específica é aplicada a cada nó AST para reconstruir a transformação no mecanismo de destino, passo a passo, de volta ao código.
3. Analisar o resultado e refinar: O resultado é analisado. Se alguma instrução encontrar erros, ela poderá ser convertida usando um LLM. Esse processo inclui o fornecimento da instrução original junto com todos os metadados relevantes sobre as tabelas usadas, o contexto do cálculo e os requisitos do código.

Tudo isso parece promissor, mas como isso se manifesta em um cenário de migração real? 

Vamos compartilhar algumas métricas de uma migração recente de várias unidades de negócios na qual migramos centenas de fluxos do SAS Enterprise Guide para o Databricks. Esses fluxos gerenciavam relatórios do dia a dia e a consolidação de dados, realizavam verificações de rotina do negócio e eram mantidos em grande parte por equipes de analítica. As entradas típicas incluíam arquivos de texto, pastas de trabalho XLSX e várias tabelas RDBMS; as saídas variavam de extrações em Excel/CSV e alertas por e-mail a resumos parametrizados na tela. A migração foi executada com o Alchemist v2024.2 (uma versão anterior à disponível atualmente), portanto, os usuários atuais podem esperar taxas de automação ainda maiores e uma qualidade de resultado superior.

Para apresentar alguns números, medimos as estatísticas de uma parte de 30 fluxos EG aleatórios migrados com o Alchemist.

Devemos começar com breves avisos:

1. Ao discutir a taxa de conversão, estamos nos referindo à porcentagem do código original que foi transformado automaticamente em código executável no Databricks. No entanto, a verdadeira precisão desta conversão só pode ser determinada após a execução de testes nos dados e a validação dos resultados.
2. As métricas são coletadas na versão anterior do Alchemist, e o uso de padrões, configurações adicionais e LLM foram desativados. 

Assim, obtivemos uma taxa de conversão de quase 75% com quase 90% de precisão (90% dos passos do fluxo passaram na validação sem alterações):

Com a versão mais recente do Alchemist, que conta com conversão baseada em IA, alcançamos uma taxa de conversão de 100%. No entanto, os resultados fornecidos pela IA ainda apresentavam o mesmo problema de falta de precisão. Isso torna a validação de dados o próximo "poço sem fundo" para a migração.

A propósito, vale ressaltar que a preparação completa do código, dos mapeamentos de objetos e de outras configurações é crucial para o sucesso das migrações. Código corrompido, mapeamento de dados incorreto, problemas com a migração da fonte de dados, código desatualizado e outros problemas relacionados à preparação são normalmente difíceis de identificar e isolar, mas impactam significativamente os cronogramas de migração.

Fluxo de trabalho de validação de dados e abordagem agentiva

Com a conversão de código automatizada e orientada por IA agora perto de 'um clique', o verdadeiro gargalo mudou para a validação de negócios e a aceitação do usuário. Na maioria dos casos, esta fase consome de 60 a 70% do cronograma geral da migração e é responsável pela maior parte do risco e custo do projeto. Ao longo dos anos, experimentamos diversas técnicas de validação, frameworks e ferramentas para encurtar a “fase de validação” sem perder a qualidade.

Os desafios de negócios típicos que enfrentamos com nossos clientes são:

• Quantos testes são necessários para garantir a qualidade sem expandir o escopo do projeto?
• Como alcançar o isolamento de testes para que eles meçam apenas a qualidade da conversão, permanecendo repetíveis e determinísticos? Comparação “de igual para igual”.
• Automatizando o ciclo completo: preparação de testes, execução, análise de resultados e correções
• Identificar o passo, a tabela ou a função exata que causa uma discrepância, permitindo que os engenheiros corrijam os problemas de uma vez e sigam em frente

Optamos por esta configuração: 

• Geração automática de testes com base em amostras de dados reais coletadas automaticamente no SAS
• Teste isolado em 4 fases:
  • Testes de unidade - teste isolado de cada instrução convertida
  • Teste E2E - teste completo do pipeline ou do notebook, usando dados copiados do SAS
  • Validação da fonte real - teste completo no ambiente de teste usando fontes de destino
  • Teste semelhante à produção - um teste completo em um ambiente semelhante ao de produção usando fontes reais para medir o desempenho, validar a implantação, coletar métricas estatísticas de resultados e executar vários cenários de uso
• Teste de 'vibe' - Os agentes de IA tiveram um bom desempenho na correção e ajuste de testes de unidade e testes E2E. Isso se deve ao seu contexto limitado, resultados de validação rápidos e iterabilidade por meio da amostragem de dados. No entanto, os agentes foram menos úteis nas duas últimas fases, onde são necessários profundo conhecimento e experiência.
• Relatórios. Os resultados devem ser consolidados em relatórios claros e reproduzíveis, prontos para revisão rápida pelas principais partes interessadas. Elas geralmente não têm muito tempo para validar o código migrado e estão prontas apenas para aceitar e testar o caso de uso completo.

Nós envolvemos este processo com frameworks, scripts e padrões para alcançar velocidade e flexibilidade. Não estamos tentando construir um produto "pronto para uso" porque cada migração é única, com diferentes ambientes, requisitos e níveis de participação do cliente. Mas ainda assim, a instalação e a configuração devem ser rápidas. 

A combinação da sofisticação técnica do Alchemist e nossa metodologia comprovada tem entregado consistentemente resultados mensuráveis: taxa de automação de conversão de quase 100%, reduções de 70% no tempo de validação e implantação. 

Finalizando a migração

A verdadeira medida de qualquer solução de migração não está em seus recursos, mas em seu impacto real nas operações do cliente. Na T1A, nosso foco vai além do lado técnico da migração. Sabemos que a migração não termina quando o código é convertido e testado. A migração está concluída quando todos os processos de negócios são migrados e consomem dados da nova plataforma, quando os usuários de negócios são integrados e quando já estão aproveitando as vantagens de trabalhar no Databricks. É por isso que não apenas migramos, mas também fornecemos suporte avançado a projetos pós-migração com nossos especialistas para garantir uma integração mais tranquila do cliente, incluindo:

• Monitoramento personalizado para sua plataforma de dados
• Workshops educacionais personalizáveis adaptados a diferentes públicos
• Dê suporte a equipes com níveis de engajamento flexíveis para atender a solicitações de usuários técnicos e de negócios
• Workshops de compartilhamento de melhores práticas
• Assistência na construção de um centro de excelência dentro da sua empresa.

Tudo isso, desde a análise abrangente de código e transpilação automatizada parametrizadas até frameworks de validação com tecnologia de AI e suporte pós-migração, foi testado em cenários reais em várias migrações corporativas. E estamos prontos para compartilhar nossa experiência com você. 

Nossos casos de sucesso

Então, é hora de resumir. Nos últimos anos, aplicamos essa abordagem integrada em diversas organizações de saúde e seguros, cada uma com desafios únicos, requisitos regulatórios e cargas de trabalho críticas para o negócio.

Temos aprendido, desenvolvido nossas ferramentas e aprimorado nossa abordagem, e agora estamos aqui para compartilhar nossa visão e metodologia com vocês. Aqui você pode ver apenas algumas das referências de nossos projetos, e estamos prontos para compartilhar mais mediante solicitação. 

E o que vem a seguir?

Acabamos de começar a adoção de uma abordagem agêntica, mas reconhecemos seu potencial para automatizar atividades de rotina. Isso inclui preparar configurações e mapeamentos, gerar dados de teste personalizados para alcançar a cobertura total do código e criar padrões automaticamente para satisfazer as regras de arquitetura, entre outras ideias.

Por outro lado, vemos que as capacidades atuais de IA ainda não são maduras o suficiente para lidar com certas tarefas e cenários altamente complexos. Portanto, prevemos que o caminho mais eficaz a seguir está na interseção entre IA e metodologias programáticas.

Participe do nosso próximo webinar - "Melhores práticas de migração do SAS: lições de mais de 20 Projetosempresariais" →

Compartilharemos em detalhes o que aprendemos, quais serão os próximos passos e as melhores práticas para a migração de ciclo completo para o Databricks. Ou assista à demonstração da nossa abordagem de migração → e a muitos outros materiais sobre migração em nosso canal.

Pronto para acelerar sua migração de SAS?

Comece com Risco Zero - Receba sua Avaliação Gratuita Hoje

Analise seu ambiente SAS em minutos →

Faça o upload do seu código SAS para uma análise instantânea e abrangente. Descubra a complexidade da migração, identifique ganhos rápidos e obtenha estimativas de dimensionamento automatizadas, totalmente grátis, sem necessidade de inscrição.

Dê um passo adiante

Para organizações prontas para a migração ([email protected]):

• Agende uma Consulta Estratégica - sessão de 45 minutos para revisar os resultados da sua análise e elaborar um roteiro de migração personalizado

• Solicite uma prova de conceito - Valide nossa abordagem com uma migração piloto dos seus fluxos de trabalho mais críticos

Para planejamento em estágio inicial:

• Faça o download do Checklist de Prontidão para Migração → Guia de autoavaliação para analisar o nível de preparação da sua organização

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original