Conheça uma abordagem de migração em fases para adotar o Databricks Lakehouse
por Takero Ibuki
Muitas organizações dão suporte a uma variedade de cargas de trabalho de dados e análises no BigQuery atualmente, mas estão explorando maneiras de trazer cargas de trabalho de BI, ETL e IA de múltiplos modelos para um único modelo de governança e operação. Um Lakehouse aberto com uma camada de governança unificada pode ajudar a simplificar as operações, otimizar a conformidade entre dados e IA, oferecer desempenho previsível conforme as necessidades crescem e criar uma base para novos casos de uso impulsionados por IA.
Uma migração bem-sucedida exige mais do que apenas copiar tabelas. Ela demanda uma estratégia em fases: mover dados para formatos abertos em serviços como o Google Cloud Storage, transformar a lógica de forma consciente e validar os resultados com ferramentas automatizadas. Este guia descreve uma estrutura de migração em três pilares – Processo, Tecnologia e Pessoas – para navegar por essa transição com o mínimo de interrupção e impacto comercial mensurável.
O pilar de Processo define como você migra. O sucesso depende da escolha do ponto de entrada correto e do gerenciamento eficaz do período de transição.

A jornada de migração acontece em sequência: avaliar o patrimônio de dados, escolher um ponto de entrada, migrar, validar em operação dupla e, em seguida, desativar. A avaliação vem antes de tudo: você não pode escolher o ponto de entrada certo sem saber o que executa hoje. Faça o perfil do ambiente do BigQuery primeiro — conjuntos de dados, histórico de consultas e consumo de slots — para descobrir quais cargas de trabalho geram custos, quais painéis são realmente usados e quais tabelas nunca são consultadas. Lakebridge, o kit de ferramentas de migração de código aberto do Databricks Labs, inclui um criador de perfil do BigQuery que automatiza essa descoberta, para que as ondas de migração sejam planejadas com base no que é realmente usado e não no que meramente existe.
Qualquer que seja o ponto de entrada escolhido, migre em ondas, não de uma só vez. Uma virada de chave única concentra todo o risco em um único momento — e, se algo falhar, a confiança em todo o programa também falha. As ondas mantêm o raio de impacto pequeno: classifique as cargas de trabalho em dois eixos — valor para a organização (quão visível é para a liderança, quão diretamente afeta a receita, quão urgente é o prazo de conformidade por trás disso, quantas pessoas dependem disso no dia a dia) e complexidade da migração — e comece onde o valor é alto e a complexidade é baixa. Cada onda entrega uma vitória comercial visível, reconcilia antes que a próxima comece e agiliza o playbook da equipe para a seguinte. Reserve a virada de chave única para os raros ambientes pequenos e de baixo risco em que executar duas plataformas custa mais do que protege.
A maioria das organizações passa por uma fase de Operação Dupla usando o Lakehouse Federation para "monitorar" cargas de trabalho para fins de validação. A chave para o ROI é definir "critérios de sucesso" claros (por exemplo, 99,9% de paridade) para acionar a desativação imediata de pipelines legados, eliminando o custo de executar duas plataformas.
A operação dupla funciona em ambas as direções, e a ponte certa depende do seu ponto de entrada. As equipes com foco em BI usam o Lakehouse Federation para que o Databricks possa ler o BigQuery enquanto os painéis são movidos primeiro. As equipes com foco em ETL fazem o oposto: movem a ingestão e a transformação para o Databricks, armazenam tabelas com curadoria em formatos abertos e deixam que o BigQuery continue servindo aos painéis e aplicativos existentes a partir dessa mesma cópia única — sem pipelines de gravação dupla, sem trabalhos de exportação, sem uma segunda cópia para reconciliar.
Migrar em ondas mantém essa janela de operação dupla curta e restrita: apenas as cargas de trabalho da onda atual carregam o custo de execução em duas plataformas ao mesmo tempo, portanto, a fatura da operação dupla permanece proporcional ao que está realmente em andamento, e não a todo o ambiente. Trate o BigQuery como camada de atendimento como um estado de transição e não como um destino: as tabelas externas são somente leitura no lado do BigQuery e apresentam limitações, como a atualização manual de esquema após alterações no esquema, portanto, planeje a migração da camada de atendimento para o Databricks Lakehouse como a etapa final da jornada.
O Unity Catalog transforma a governança de um obstáculo em um motor estratégico. Ele oferece um mapeamento contínuo de 3 camadas (Projeto → Catalog, Dataset → Schema, Table → Table) que replica as permissões do BigQuery, adicionando linhagem automática de ponta a ponta e tratando os modelos de IA como cidadãos de primeira classe.
O mapeamento vai além da hierarquia de objetos. O Unity Catalog oferece a mesma proteção refinada de forma nativa: os filtros de linha restringem o acesso linha por linha, e as máscaras de coluna e tags lidam com a segurança em nível de coluna — para que a proteção viaje junto com os dados, em vez de ser reconstruída do zero. E uma regra de sequência prática: migre as permissões antes dos dados, para que a virada de cada onda altere o local onde uma tabela está armazenada, nunca quem pode vê-la.
O pilar técnico concentra-se em mover dados para formatos abertos em serviços como o Google Cloud Storage, migrar a lógica para o Databricks SQL e Spark e validar os resultados.
Migrar do BigQuery para o Databricks envolve três fluxos de trabalho: Migração de Dados, Migração de Lógica e Validação.

Escolha o caminho com base no volume e na frequência de atualização. O histórico em massa é transferido mais rapidamente por meio da exportação do BigQuery para Parquet no Google Cloud Storage, geralmente a rota mais econômica em grande escala, e a exportação funciona como uma cópia congelada no tempo que simplifica a validação. Tabelas atualizadas continuamente são lidas por meio do conector Storage API ou redirecionadas na origem, e conjuntos de dados pequenos e com alterações frequentes podem permanecer consultáveis por meio de federação até que a sua onda chegue. Tudo chega em formatos abertos, pronto para as camadas do medallion.
Nunca faça a conversão manual de um ambiente inteiro. Três níveis cobrem isso: transpilação baseada em regras (por exemplo, Lakebridge) para a maior parte do SQL rotineiro, conversão assistida por LLM para peculiaridades de dialeto e engenheiros reservados para os casos verdadeiramente complexos. A orquestração segue o mesmo padrão: consultas agendadas e DAGs do Composer são mapeados para Lakeflow Jobs.
Reserve orçamento para a validação com a mesma seriedade que para a própria migração — na prática, ela frequentemente consome um esforço comparável. Execute-a em três níveis: integridade (contagem de linhas), consistência (esquemas e tipos) e precisão (reconciliação de agregados mais hash em nível de linha), automatizada com a reconciliação do Lakebridge, que oferece suporte ao BigQuery como uma origem nativa. Uma lição aprendida na prática: pequenas diferenças em funções integradas entre os dois dialetos SQL podem quebrar comparações de hash — investigue discrepâncias antes de presumir perda de dados. A paridade aqui é o que aciona a desativação na jornada de Processo.
A fundação aberta compensa antes mesmo de a migração terminar. Como o Delta Lake e o Apache Iceberg são formatos abertos, as tabelas que você coloca no Google Cloud Storage podem ser lidas por mais do que apenas o Databricks: o BigQuery lê o Delta por meio de tabelas externas do BigLake e o Iceberg por meio de tabelas externas do Iceberg, e a federação de catálogos entre o Unity Catalog e o BigQuery (atualmente em visualização) permite que ambas as plataformas gerenciem e consultem as mesmas tabelas sem copiá-las. O armazenamento é desacoplado do mecanismo — uma cópia de dados, vários mecanismos. Essa interoperabilidade não é um benefício secundário; é a capacidade por trás dos padrões de transição de baixo risco descritos na seção Processo.
O terceiro pilar fornece o ROI definitivo de uma migração: uma força de trabalho mais capaz e unificada.
Fim da cultura de repasse. Em pilhas legadas, a lacuna entre analistas de SQL e cientistas de dados cria silos. No Databricks, os Notebooks compartilhados permitem que toda a "squad" trabalhe no mesmo espaço de trabalho, reduzindo o esforço de comunicação.
Construindo o novo conjunto de habilidades. O Genie atua como a ponte para equipes focadas em SQL. Os analistas podem usar linguagem natural para gerar código Python ou Spark, transformando analistas tradicionais em profissionais de dados versáteis sem uma curva de aprendizado íngreme. Combine essa assistência diária de IA com treinamento estruturado, cursos da Databricks Academy e certificações baseadas em funções, para que o novo conjunto de habilidades seja adotado em toda a organização, em vez de depender apenas de alguns pioneiros autodidatas.
Rigor de engenharia. As equipes passam de "escrever consultas" para "construir produtos de dados" ao adotar práticas recomendadas de engenharia de software como Unity Catalog, integração com o Git e CI/CD.
Seis padrões se repetem em migrações bem-sucedidas do BigQuery com base na nossa experiência em projetos de migração:
Migrar para o Databricks não é um único salto — é uma sequência de decisões que você realmente pode planejar: qual ponto de entrada se adapta à sua equipe, como organizar as ondas para que cada uma garanta uma vitória antes que a próxima comece e qual ponte mantém o BigQuery e o Databricks funcionando lado a lado até que o último painel seja migrado. Acerte nessa sequência e Processo, Tecnologia e Pessoas se reforçarão mutuamente: a migração de dados, a transformação de lógica e a validação encerram o ambiente em um lado, enquanto os analistas consultam em linguagem natural com o Genie e os engenheiros entregam produtos de dados governados construídos sobre ele no outro.
O resultado é um lakehouse aberto, uma migração em que sua organização pode confiar onda após onda e uma equipe pronta para construir com base no que foi entregue.
Pronto para planejar sua migração? Explore o hub de migração do Databricks, avalie seu ambiente com o kit de ferramentas de código aberto Lakebridge ou entre em contato com a equipe da sua conta Databricks para uma avaliação de migração.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Lakehouse, Data Warehousing, Data Visualization, Business Intelligence, ETL/ELT, Open Table Formats e Orchestration
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.