Tornando as migrações serverless mais rápidas, seguras e fáceis
por Piyush Singh, Vijay Raja e Feng Lu
A computação serverless no Databricks oferece uma maneira mais simples e rápida de executar suas cargas de trabalho de dados e IA. Ela remove o peso operacional de gerenciar a infraestrutura, lidando automaticamente com o provisionamento, o escalonamento e a otimização para que as equipes possam se concentrar em seus resultados de negócios. Com o serverless, as organizações podem agir mais rápido, melhorar a eficiência e aproveitar os benefícios da computação nativa em nuvem sem precisar gerenciar e manter clusters complexos.
Nosso uso de serverless cresceu muito só no ano passado e, hoje, milhares de clientes executam notebooks e jobs nele. A maioria das equipes ainda tem uma frota clássica que deseja migrar para o mundo serverless para obter os benefícios de custo e operacionais sem gerenciar a infraestrutura por conta própria. O trabalho de mover cada carga de trabalho uma de cada vez geralmente impede que nossos clientes aproveitem os benefícios do serverless em suas cargas de trabalho existentes.
Você provavelmente já viu isso acontecer. Você escolhe um job, muda para serverless e, então, se depara com um erro, uma incompatibilidade no modo de acesso, uma configuração do Spark que não se aplica, uma biblioteca que está instalada no clássico, mas não no serverless. O que deveria levar uma tarde se estende por semanas, e a maior parte do tempo vai para a tradução que você já fez várias vezes antes.
Chega disso! Hoje temos o prazer de anunciar o lançamento do Genie Migrate for Serverless (em Beta), o agente do Databricks que migra seus jobs e notebooks do compute clássico para o serverless de forma fácil e sem esforço. A migração de uma carga de trabalho se torna uma etapa de revisão e aprovação, em vez de um projeto de pesquisa.
Até agora, migrar uma carga de trabalho para o serverless era manual. O conhecimento de como a configuração de um cluster clássico é mapeada para o serverless, quais bibliotecas são resolvidas, quais configurações do Spark ainda se aplicam e qual modo de acesso uma carga de trabalho precisa ficava na cabeça do profissional e no processo de tentativa e erro de executar o notebook ou job e ler a falha.
O Genie Migrate for Serverless transfere essa tradução de você para a plataforma, da mesma forma que o serverless transferiu o provisionamento e o escalonamento para a plataforma. O que fica com você é o julgamento: se deve migrar uma carga de trabalho agora, se as alterações propostas parecem corretas e se a execução migrada está saudável. O agente cuida da própria tradução, propondo um diff para sua revisão antes que qualquer alteração seja feita.
Para criar ferramentas de migração serverless bem-sucedidas, mantivemos estes princípios críticos em mente:
Essas três necessidades moldam a forma como o agente de migração funciona, e o fluxo de trabalho abaixo define como ele executa a migração: avaliar o que pode ser movido, traduzir e aplicar a alteração de forma reversível.

O agente é executado a partir do comando de barra /compute migrate no Genie em qualquer job ou notebook. Ele é totalmente gerenciado e você não precisa de nenhuma configuração para começar a escanear. Como o Databricks o gerencia, o agente lê a configuração do seu job e o código da carga de trabalho dentro do seu próprio workspace.
Vamos nos aprofundar um pouco mais em cada uma dessas áreas listadas acima.
Antes de mexer em qualquer coisa, o agente analisa seus Jobs e Notebooks e marca cada carga de trabalho com sua prontidão para o serverless. Você vê quais cargas de trabalho são candidatas ideais para migração em vez de auditar a frota manualmente, eliminando o trabalho minucioso de descoberta e triagem manual.

Uma rápida observação sobre fontes externas: se a fonte de verdade de uma carga de trabalho estiver fora do workspace, por exemplo, um job gerenciado por Databricks Asset Bundles ou um notebook em uma pasta do Git, o agente ainda não poderá migrá-lo. O suporte para esses casos estará disponível em breve.
Assim que você escolhe uma carga de trabalho elegível, o agente de migração propõe as alterações necessárias para o serverless e as apresenta para revisão antes que qualquer gravação seja feita. Nada é aplicado até que você aprove.
O agente de migração traduz efetivamente as partes que diferem entre o clássico e o serverless:
Cada alteração, incluindo as reescritas de código, é apresentada como um diff revisável. Antes de aplicar, o agente mostra uma comparação lado a lado do que mudará e do que não mudará, um contrato explícito que você pode entregar a um gestor ou a uma rotação de plantão.
Confira a última demo sobre como migrar cargas de trabalho clássicas facilmente usando o Genie Migrate for Serverless.
Se o agente não tiver certeza sobre algo, por exemplo, se uma configuração do Spark ainda é necessária, ele relata a configuração em vez de removê-la. Uma configuração pode parecer não utilizada em uma varredura estática, enquanto um ouvinte carregado em tempo de execução depende dela. A remoção silenciosa descartaria a telemetria da qual uma equipe depende. O agente deixa essa decisão com você.
Aplicar uma migração é onde você fica mais exposto, por isso o Genie Migrate for Serverless é mais conservador aqui. Ele realiza verificações determinísticas de correção agora, e uma validação de tempo de execução mais profunda virá a seguir.
Se você optar por não migrar, os jobs clonados ou as alterações sugeridas nos notebooks não serão aplicados.
Uma coisa a ter cuidado: isso não desfaz os dados que as execuções serverless gravaram nas tabelas de produção nesse meio tempo, caso você tenha testado com as versões alteradas.
Hoje, a validação é estática. Ela confirma que a tradução está correta sem executar a carga de trabalho e é transparente sobre o que comprovou e o que não comprovou. A verificação mais profunda virá a seguir por meio da validação em Sandbox. Com isso, o agente poderá executar a carga de trabalho migrada em um sandbox isolado, sem afetar suas tabelas de produção, e comparar sua saída com a linha de base clássica – para que você veja um sinal de tempo de execução e correção em um job crítico antes de Aplicar, e não depois.
Migrar uma carga de trabalho por vez no Genie funciona muito bem para um pequeno conjunto de jobs. Para um volume maior, você pode executar o Genie Migrate for Serverless em segundo plano com a CLI do Databricks. Inicie uma migração para vários jobs a partir de um script usando o grupo de comandos compute-migrations, e o agente criará uma cópia de trabalho serverless de cada job sem uma sessão aberta do Genie. Seu job original não será alterado até que você revise e aprove a migração dele; ao aprovar, o ID, a agenda e as permissões do job são mantidos. A migração em lote oferece suporte a jobs atualmente (o suporte para notebooks estará disponível em breve) e requer a CLI do Databricks versão 1.24.0 ou superior.
Vamos reunir novamente os três principais recursos do Genie Migrate for Serverless:
Aqui está um resumo rápido de quais cargas de trabalho são ideais para migrar usando o agente agora e o que vem por aí no futuro.

Você pode começar a mover cargas de trabalho para o serverless hoje usando o Genie Migrate for Serverless. Veja como começar:
/compute migrate no Genie em um job ou notebook para verificar o que é elegível.O Genie Migrate for Serverless está disponível hoje por meio do comando /compute migrate no Genie, em qualquer job ou notebook. Estamos aprimorando ativamente o recurso de validação em sandbox com clientes que participam do preview e continuamos a evoluir o agente para tornar as migrações serverless mais rápidas, simples e fáceis.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.