Apresentando o Lakebridge: Migração de Dados Aberta e Gratuita para o Databricks SQL

Estamos animados para apresentar o Lakebridge, uma ferramenta de migração gratuita que simplifica e acelera as migrações de armazéns de dados corporativos (EDW) para o Databricks SQL.

Modernizar a partir de armazéns de dados legados e isolados é crucial para muitas organizações desbloquearem insights mais rápidos, reduzirem custos e consolidarem análises e cargas de trabalho de IA na plataforma unificada e aberta da Databricks. No entanto, as migrações são frequentemente vistas como de alto risco: o código SQL legado é complexo, as dependências estão ocultas e a documentação é escassa. Validar a lógica traduzida, garantir a qualidade dos dados e conciliar milhares de scripts SQL e procedimentos armazenados podem desacelerar até as equipes mais comprometidas.

A Lakebridge ajuda a superar esses desafios automatizando até 80% do processo de migração - incluindo criação de perfil, conversão SQL, validação e reconciliação - para que as equipes possam se mover com mais confiança e rapidez.

Modernize enquanto você migra com o Lakebridge

Databricks SQL é o armazém de dados que mais cresce na indústria, reconhecido por seu preço/desempenho, eficiência e insights alimentados por IA. À medida que mais organizações escolhem o Databricks como a base para sua arquitetura de dados aberta e flexível, a Lakebridge garante que as migrações não sejam mais um gargalo, mas uma vantagem estratégica.

• Visão clara do escopo e complexidade da migração
• Conversão e validação de código automatizadas e de alta fidelidade
• Fácil reconciliação de cargas de trabalho migradas para precisão de dados
• Um caminho comprovado para acelerar sua jornada para o Databricks SQL

A Lakebridge suporta a abordagem de migração lift-and-shift e híbrida. Com a abordagem híbrida, você não precisa modernizar tudo no primeiro dia - você pode construir em uma base estável enquanto se alinha com os requisitos futuros. 

Migrações rápidas e previsíveis para o Databricks 

Construído por engenheiros de campo experientes e profissionais que entendem os desafios das migrações em larga escala, Lakebridge aborda a complexidade dos sistemas legados com uma abordagem moderna, priorizando a automação. Além disso, o Lakebridge é extensível, permitindo que os parceiros da Databricks colaborem, contribuam com recursos e evoluam a ferramenta para atender a diversas necessidades de migração.

A Lakebridge oferece uma experiência de migração abrangente e de ponta a ponta por meio de três componentes-chave:

• Analisador: Realiza uma avaliação detalhada do seu ambiente de armazenamento de dados legado.
• Conversor: Converte de forma inteligente fluxos de trabalho ETL legados e scripts SQL - incluindo procedimentos armazenados - em código Databricks SQL ou Spark SQL compatível e performático.
• Validador: Garante a precisão e a correção dos dados com ferramentas de reconciliação integradas.

A Lakebridge também fornece painéis e relatórios integrados diretamente no Databricks para suportar transparência e controle durante as migrações. Essas visualizações permitem que as equipes acompanhem o progresso, validem os resultados e entendam melhor sua paisagem de dados em evolução, acelerando a adoção e entregando valor mais rapidamente.

Com esses recursos, o Lakebridge automatiza até 80% das tarefas de migração, ajudando as equipes a acelerar os cronogramas do projeto em até 2x. Hoje, o Ladebridge suporta mais de 10 armazéns de dados legados, com muitos outros a caminho.

Melhor planejamento de migração

A Lakebridge reduz a incerteza em seu projeto de migração, fornecendo uma visão detalhada e antecipada do seu ambiente legado por meio de sua ferramenta Analyzer integrada. Ele verifica metadados e código legado para gerar relatórios com várias abas que inventariam todos os objetos que requerem migração, como tabelas, visualizações, trabalhos de ETL e procedimentos armazenados, e classificam as cargas de trabalho por complexidade de baixa a média a complexa a muito complexa.

Essas percepções permitem que as equipes dimensionem projetos com precisão, priorizem pelo impacto nos negócios e planejem migrações faseadas com confiança. Ao identificar possíveis desafios antecipadamente, a Lakebridge ajuda a garantir uma execução mais suave, melhor planejamento de recursos e testes de aceitação do usuário mais eficazes - tornando a transição para o Databricks mais previsível e gerenciável.

Solução de migração abrangente

O Lakebridge é projetado para lidar com migrações empresariais complexas no mundo real, oferecendo robustas capacidades em ferramentas, cobertura de fontes e automação.

• Amplo suporte a fontes: Migre de mais de 10 principais armazéns de dados e ferramentas ETL, incluindo Teradata, Snowflake, Oracle, SQL Server, Informatica e mais. Conectores adicionais estão disponíveis em Visualização Privada e são continuamente adicionados. Entre em contato com sua equipe de conta para saber mais.
• Kit de ferramentas testado em batalha: O Lakebridge integra tecnologia comprovada da BladeBridge—um motor de migração confiável por integradores de sistemas como Accenture, Capgemini, Celebal Technologies e Tredence. Essas ferramentas alimentaram centenas de migrações bem-sucedidas, incluindo análise avançada de SQL, conversão de código e validação.
• Fluxo de trabalho de ponta a ponta: Desde a descoberta e avaliação de carga de trabalho até a conversão de código e validação de dados, o Lakebridge cobre todas as etapas do ciclo de vida da migração. Ferramentas como Code Converter e Data Validator garantem integridade e desempenho durante todo o processo.
• Resultados comprovados e previsíveis: Construído com tecnologia adotada por empresas líderes e parceiros, a Lakebridge ajuda as equipes a manterem o cronograma e atingirem os objetivos de modernização.

Parceiros e clientes também podem construir ferramentas de migração em cima do Lakebridge. Por exemplo, a DoorDash construiu sua fábrica de migração com o Lakebridge. 

A interoperabilidade de dados é essencial em uma arquitetura moderna de lakehouse. Ele possibilita o acesso contínuo aos dados em diferentes mecanismos e equipes sem comprometer o desempenho, a consistência ou a agilidade do desenvolvedor. Tradutores SQL como o Transaxle (desenvolvido no Lakebridge) são componentes essenciais para tornar essa interoperabilidade uma realidade. Eles preenchem lacunas de dialetos, reduzem erros humanos e possibilitam um uso mais rápido e colaborativo de ativos de dados compartilhados.

—Harsha Venkat Annapa Reddy, Gerente de Engenharia de Fundamentos de Dados, DoorDash

Lakebridge também permite que você modernize com base em padrões abertos, migrando seus dados e lógica para formatos, catálogos e tecnologias abertas. A solução converte sintaxe proprietária como BTEQ (Teradata), T-SQL (Microsoft) e PL/SQL (Oracle) em SQL aberto e compatível com ANSI que funciona perfeitamente no Databricks SQL. Essa abordagem liberta você do bloqueio do fornecedor e posiciona seu negócio para aproveitar ao máximo o ecossistema de dados aberto, interoperável e preparado para o futuro da Databricks.

Aumentar a confiança dos negócios

Migrar armazéns de dados e cargas de trabalho ETL para Databricks é uma decisão de negócios transformacional, mas os negócios precisam ter confiança na qualidade dos dados, compatibilidade e risco do projeto. O Lakebridge aborda essas preocupações fornecendo visibilidade clara para cada etapa da sua migração de armazenamento de dados. Com painéis em tempo real, validação automatizada e rastreabilidade de ponta a ponta, o Lakebridge garante que os líderes de negócios possam avançar com clareza e segurança ao longo das várias fases da migração, transformando a migração de uma fonte de incerteza em uma vantagem estratégica.

O que vem a seguir

A Databricks está comprometida em aprimorar o processo de migração, tornando-o mais rápido, inteligente e previsível. Nos próximos meses, será introduzida uma migração de próxima geração alimentada por IA avançada.

Em breve, a Lakebridge incorporará:

• Conversão de código alimentada por IA Mosaic, aproveitando o aprendizado por reforço para melhorar a precisão da tradução.
• Um módulo de Migração de Dados dedicado para automatizar e otimizar fluxos de trabalho de movimentação de dados.
• Uma interface gráfica do usuário (GUI) para navegação intuitiva, rastreamento de migração e insights de validação.

Esses aprimoramentos fazem parte de nossa visão mais ampla de entregar uma solução de migração alimentada por GenAI, construída para as necessidades empresariais que aplica grandes modelos de linguagem com guardrails no lugar. Ao contrário das ferramentas de IA de uso geral, a AI da Lakebridge é construída especificamente para garantir que toda a saída gerada seja validada, rastreável e baseada na lógica de origem.

Os clientes podem optar por recursos alimentados por GenAI em seu próprio ritmo, garantindo maior confiança, velocidade e controle ao longo da jornada de migração.

Introdução

Fundações da Lakebridge agora é gratuito para clientes e parceiros da Databricks. Seja você está planejando sua primeira migração ou escalando para centenas de cargas de trabalho, a Lakebridge fornece a automação, inteligência e confiabilidade de que você precisa para modernizar com confiança.

(This blog post has been translated using AI-powered tools) Original Post