Do Armazém ao Lakehouse: Abordagens de Migração para o Databricks

Antes de tomar decisões arquitetônicas, vale a pena revisitar a estratégia de migração mais ampla. Em nosso post anterior, apresentamos a abordagem dos Serviços Profissionais do Databricks para migrações complexas de armazéns de dados, destacando a importância das decisões iniciais sobre estratégia e design. Essas escolhas fundamentais influenciam diretamente a implementação e a arquitetura da plataforma alvo.

Também introduzimos duas estratégias de sequenciamento: ETL-first e BI-first. A abordagem BI-first entrega valor rápido ao modernizar a camada de consumo, enquanto a abordagem ETL-first se concentra em pipelines a montante. Cada uma tem seu lugar, dependendo das prioridades.

Neste post, exploramos uma das escolhas de design mais críticas: escolher entre uma abordagem de Lift-and-Shift ou Modernização. Explicamos o que cada abordagem envolve, quando usá-la e como combiná-las em uma abordagem híbrida para o sucesso a longo prazo no Databricks.

Da estratégia à abordagem de migração: escolhendo o caminho certo

Depois de alinhar a estratégia de migração mais ampla - ETL-first ou BI-first - a próxima grande decisão é como estruturar a migração. Você replica o que existe ou o reinventa para o futuro?

Essa decisão arquitetônica geralmente se resume a duas abordagens principais:

• Lift-and-Shift: Mover cargas de trabalho como estão para acelerar a migração
• Modernização: Redesenhar a plataforma para desbloquear eficiência e escala a longo prazo

A abordagem correta depende de seus objetivos, restrições e cronograma. Abaixo, detalhamos os trade-offs de cada um e incluímos um modelo híbrido que muitas organizações usam para combinar o melhor de ambos.

Migração Lift and Shift 

Lift-and-Shift envolve mover seus modelos de dados e base de código existentes para a nova plataforma com alterações mínimas. Você não introduz novos casos de uso e a arquitetura permanece inalterada.

Esta abordagem é atraente porque é mais fácil de escopo, planejamento e automação. Ferramentas como perfis e analisadores de código ajudam a medir padrões de carga de trabalho, complexidade e custo, tornando mais fácil avaliar e executar.

Os principais benefícios incluem:

• Cronogramas previsíveis
• Ferramentas automatizadas (por exemplo, conversores de código, validadores de reconciliação)
• Migração mais rápida ao enfrentar prazos ou licenças expirando

Por exemplo, os conversores de código podem lidar automaticamente com até 80% dos scripts. Como a funcionalidade permanece a mesma, a validação e a execução de consultas em ambos os sistemas e a comparação de saídas são mais fáceis.

No Databricks, Lift-and-Shift tira você rapidamente das plataformas legadas enquanto desbloqueia ganhos de desempenho imediatos usando recursos como z-ordering e clustering líquido. Depois de ter migrado, sua organização pode começar a modernizar a plataforma incrementalmente.

Modernize o padrão de migração

Modernizar, em contraste com Lift-and-Shift, significa construir uma nova plataforma de dados em seu sistema alvo sem ser restrito por sua arquitetura legada. O foco muda de simplesmente migrar ativos existentes para reimaginar casos de uso e projetar para necessidades futuras. Em vez de mapear otimizações desatualizadas, você implementa as melhores práticas e os pilares bem arquitetados do lakehouse.

Em um lakehouse aberto, isso envolve refatorar o código e reestruturar as estruturas de dados para atender aos requisitos atuais e futuros de escalabilidade, desempenho, custo e capacidade de sua organização, livre de limitações legadas.

As ferramentas continuam úteis, mas mais para descoberta e planejamento:

• Perfis e analisadores de código ajudam a inventariar o que você precisa migrar
• Conversores de código e ferramentas de reconciliação desempenham um papel mínimo, já que isso não é uma tradução direta de código

Esta abordagem é ideal quando você tem cronogramas flexíveis e um sistema legado desatualizado ou excessivamente complexo, muitas vezes com milhares de tabelas e scripts. Embora começar do zero possa parecer lento e avassalador, os benefícios a longo prazo são substanciais: arquitetura simplificada, melhor desempenho e redução da sobrecarga de manutenção.

Dito isso, migrar milhares de scripts muitas vezes significa manter sua complexidade de manutenção. Se isso parecer assustador, considere fazer parceria com os Serviços Profissionais do Databricks ou especialistas certificados em migração para ajudar a orientar a fase de planejamento e design e garantir um caminho mais suave.

Uma abordagem híbrida: lift and shift e, em seguida, modernizar

Outra abordagem é uma estratégia de migração híbrida que equilibra velocidade com valor a longo prazo. Você começaria com a abordagem Lift-and-Shift para eliminar sua plataforma legada o mais rápido possível, especialmente ao enfrentar restrições urgentes como licenças expirando. Automação e ferramentas repetíveis ajudam a acelerar esta fase inicial e reduzir o risco durante a execução.

Você pode entrar na fase de modernização depois de migrar suas cargas de trabalho para o Databricks. 

Na abordagem híbrida, você:

• Integra novas e modernas fontes de dados
• Implementa uma estratégia de produto de dados
• Habilita análises avançadas, IA e novos casos de uso que orientam decisões de negócios

Esta fase geralmente requer atualizações arquitetônicas, mas permite que você evolua gradualmente. Com uma estratégia híbrida, você não precisa modernizar tudo no primeiro dia - você constrói em uma base estável enquanto se alinha com os requisitos futuros.

Se você está seguindo esta abordagem, os Serviços Profissionais do Databricks e parceiros certificados podem ajudar a orientar seu roadmap, garantindo uma transição suave e uma arquitetura pronta para o futuro.

Nossa perspectiva

Selecionar uma abordagem de migração não é uma solução única para todos. A abordagem mais comum é a migração híbrida:

1. Crie uma fábrica de migração que aproveita as ferramentas de automação.
2. Lift-and-shift a maioria da base de código. 
3. Habilite otimizações prontas para uso, como z-ordering e liquid clustering, para iniciar seu esforço de modernização .

Databricks pode atuar como seu principal armazém de dados. Por exemplo, você pode migrar procedimentos armazenados para notebooks e usar SQL Scripting para escalabilidade e integração de IA sem sair do conforto do SQL. Migrar Transact-SQL para qualquer outro armazém de dados na nuvem requer um esforço semelhante ao de migrar esse Transact-SQL para um notebook com código Python envolvendo sua funcionalidade SQL. O benefício de usar um notebook é que você também obtém flexibilidade e uma ótima experiência de desenvolvimento.

O que fazer a seguir

Pronto para modernizar seu armazém de dados? Baixe nosso eBook, “Transformando Armazéns de Dados Legados: Um Plano Estratégico de Migração,” para estratégias detalhadas e melhores práticas que garantem uma transição de baixo risco para a Plataforma de Inteligência de Dados Databricks.

(This blog post has been translated using AI-powered tools) Original Post