Ir para o conteúdo principal
Plataforma

Conheça o Genie Migrate para Serverless

Tornando as migrações serverless mais rápidas, seguras e fáceis

por Piyush Singh, Vijay Raja e Feng Lu

  • O Genie Migrate for Serverless automatiza as partes mais difíceis de migrar cargas de trabalho clássicas para serverless — analisando sua frota, traduzindo configurações e bibliotecas de computação e aplicando alterações de forma reversível com reversão em 30 dias.
  • Cada alteração proposta é mostrada como um diff revisável antes que qualquer coisa seja gravada, tornando a migração uma etapa de revisão e aprovação em vez de semanas de tentativa e erro manuais.
  • Você pode começar hoje. O agente não altera o código da sua carga de trabalho e sinaliza configurações incertas do Apache Spark para sua decisão, em vez de removê-las silenciosamente, mantendo você no controle do que é executado em produção.

A computação serverless no Databricks oferece uma maneira mais simples e rápida de executar suas cargas de trabalho de dados e IA. Ela remove o peso operacional de gerenciar a infraestrutura, lidando automaticamente com o provisionamento, o escalonamento e a otimização para que as equipes possam se concentrar em seus resultados de negócios. Com o serverless, as organizações podem agir mais rápido, melhorar a eficiência e aproveitar os benefícios da computação nativa em nuvem sem precisar gerenciar e manter clusters complexos.

Nosso uso de serverless cresceu muito só no ano passado e, hoje, milhares de clientes executam notebooks e jobs nele. A maioria das equipes ainda tem uma frota clássica que deseja migrar para o mundo serverless para obter os benefícios de custo e operacionais sem gerenciar a infraestrutura por conta própria. O trabalho de mover cada carga de trabalho uma de cada vez geralmente impede que nossos clientes aproveitem os benefícios do serverless em suas cargas de trabalho existentes.

Você provavelmente já viu isso acontecer. Você escolhe um job, muda para serverless e, então, se depara com um erro, uma incompatibilidade no modo de acesso, uma configuração do Spark que não se aplica, uma biblioteca que está instalada no clássico, mas não no serverless. O que deveria levar uma tarde se estende por semanas, e a maior parte do tempo vai para a tradução que você já fez várias vezes antes.

Chega disso! Hoje temos o prazer de anunciar o lançamento do Genie Migrate for Serverless (em Beta), o agente do Databricks que migra seus jobs e notebooks do compute clássico para o serverless de forma fácil e sem esforço. A migração de uma carga de trabalho se torna uma etapa de revisão e aprovação, em vez de um projeto de pesquisa.

A migração costumava estar nas mãos dos profissionais

Até agora, migrar uma carga de trabalho para o serverless era manual. O conhecimento de como a configuração de um cluster clássico é mapeada para o serverless, quais bibliotecas são resolvidas, quais configurações do Spark ainda se aplicam e qual modo de acesso uma carga de trabalho precisa ficava na cabeça do profissional e no processo de tentativa e erro de executar o notebook ou job e ler a falha.

O Genie Migrate for Serverless transfere essa tradução de você para a plataforma, da mesma forma que o serverless transferiu o provisionamento e o escalonamento para a plataforma. O que fica com você é o julgamento: se deve migrar uma carga de trabalho agora, se as alterações propostas parecem corretas e se a execução migrada está saudável. O agente cuida da própria tradução, propondo um diff para sua revisão antes que qualquer alteração seja feita.

Para criar ferramentas de migração serverless bem-sucedidas, mantivemos estes princípios críticos em mente:

  • Sem produção quebrada: uma regressão silenciosa em uma carga de trabalho crítica para os negócios é pior do que nenhuma migração, portanto, o agente primeiro avalia cada carga de trabalho e sinaliza o que é seguro mover.
  • Controle sobre cada alteração: a capacidade de ver o que mudará e o que não mudará, de aceitar ou rejeitar cada edição proposta e de confiar que nada toca em códigos que você não aprovou.
  • Uma reversão limpa: se a execução serverless der errado, uma forma de voltar ao estado anterior à migração em poucos cliques.

Essas três necessidades moldam a forma como o agente de migração funciona, e o fluxo de trabalho abaixo define como ele executa a migração: avaliar o que pode ser movido, traduzir e aplicar a alteração de forma reversível.

O que o Genie Migrate for Serverless faz

  1. Avaliar: analise seus jobs e classifique uma frota para saber o que pode ser movido hoje, o que precisa de um administrador e o que ainda não está pronto para a migração.
  2. Traduzir: proponha as alterações de infraestrutura e código que uma carga de trabalho precisa para o serverless, cada uma como um diff rotulado (uma visualização lado a lado do que muda e do que permanece igual) para sua revisão.
  3. Aplicar (de forma reversível): valide a tradução e aplique-a sem interromper uma carga de trabalho em execução, mantendo sua carga de trabalho original intacta para que você possa reverter caso a execução serverless não esteja saudável.

image2.png

O agente é executado a partir do comando de barra /compute migrate no Genie em qualquer job ou notebook. Ele é totalmente gerenciado e você não precisa de nenhuma configuração para começar a escanear. Como o Databricks o gerencia, o agente lê a configuração do seu job e o código da carga de trabalho dentro do seu próprio workspace.

Vamos nos aprofundar um pouco mais em cada uma dessas áreas listadas acima.

Avaliar

Antes de mexer em qualquer coisa, o agente analisa seus Jobs e Notebooks e marca cada carga de trabalho com sua prontidão para o serverless. Você vê quais cargas de trabalho são candidatas ideais para migração em vez de auditar a frota manualmente, eliminando o trabalho minucioso de descoberta e triagem manual.

image1.png

Uma rápida observação sobre fontes externas: se a fonte de verdade de uma carga de trabalho estiver fora do workspace, por exemplo, um job gerenciado por Databricks Asset Bundles ou um notebook em uma pasta do Git, o agente ainda não poderá migrá-lo. O suporte para esses casos estará disponível em breve.

Traduzir

Assim que você escolhe uma carga de trabalho elegível, o agente de migração propõe as alterações necessárias para o serverless e as apresenta para revisão antes que qualquer gravação seja feita. Nada é aplicado até que você aprove.

O agente de migração traduz efetivamente as partes que diferem entre o clássico e o serverless:

  • Configuração de compute: a configuração do cluster clássico é mapeada para uma seleção de compute serverless.
  • Ambiente e bibliotecas: a lista de bibliotecas é resolvida em relação ao runtime serverless e a definição do ambiente é sintetizada para o serverless.
  • Configurações do Spark: as configurações que ainda se aplicam são migradas, e as que não se aplicam são exibidas para você decidir, em vez de serem removidas silenciosamente.
  • Código da carga de trabalho: onde o código usa padrões que não são executados no serverless, como APIs incompatíveis com o Spark Connect, o agente os reescreve e mostra a alteração como um diff.

Cada alteração, incluindo as reescritas de código, é apresentada como um diff revisável. Antes de aplicar, o agente mostra uma comparação lado a lado do que mudará e do que não mudará, um contrato explícito que você pode entregar a um gestor ou a uma rotação de plantão.

Confira a última demo sobre como migrar cargas de trabalho clássicas facilmente usando o Genie Migrate for Serverless.

Se o agente não tiver certeza sobre algo, por exemplo, se uma configuração do Spark ainda é necessária, ele relata a configuração em vez de removê-la. Uma configuração pode parecer não utilizada em uma varredura estática, enquanto um ouvinte carregado em tempo de execução depende dela. A remoção silenciosa descartaria a telemetria da qual uma equipe depende. O agente deixa essa decisão com você.

Aplicar

Aplicar uma migração é onde você fica mais exposto, por isso o Genie Migrate for Serverless é mais conservador aqui. Ele realiza verificações determinísticas de correção agora, e uma validação de tempo de execução mais profunda virá a seguir.

  • Validação antes de Aplicar: o agente verifica se a tradução é coerente, se as dependências de biblioteca são resolvidas em relação ao runtime serverless e se a configuração é aplicada sem problemas, para que as falhas apareçam antes que a carga de trabalho seja executada, em vez de durante o SLA de amanhã.
  • Uma primeira execução monitorada: como as alterações são aplicadas a um job clonado, você pode executar o clone uma vez sob demanda para confirmar se ele está saudável no serverless antes de promovê-lo ao seu job original. A primeira execução serverless acontece sob sua supervisão, e não de forma autônoma.

Se você optar por não migrar, os jobs clonados ou as alterações sugeridas nos notebooks não serão aplicados.

Uma coisa a ter cuidado: isso não desfaz os dados que as execuções serverless gravaram nas tabelas de produção nesse meio tempo, caso você tenha testado com as versões alteradas.

Hoje, a validação é estática. Ela confirma que a tradução está correta sem executar a carga de trabalho e é transparente sobre o que comprovou e o que não comprovou. A verificação mais profunda virá a seguir por meio da validação em Sandbox. Com isso, o agente poderá executar a carga de trabalho migrada em um sandbox isolado, sem afetar suas tabelas de produção, e comparar sua saída com a linha de base clássica – para que você veja um sinal de tempo de execução e correção em um job crítico antes de Aplicar, e não depois.

Migrar jobs em massa

Migrar uma carga de trabalho por vez no Genie funciona muito bem para um pequeno conjunto de jobs. Para um volume maior, você pode executar o Genie Migrate for Serverless em segundo plano com a CLI do Databricks. Inicie uma migração para vários jobs a partir de um script usando o grupo de comandos compute-migrations, e o agente criará uma cópia de trabalho serverless de cada job sem uma sessão aberta do Genie. Seu job original não será alterado até que você revise e aprove a migração dele; ao aprovar, o ID, a agenda e as permissões do job são mantidos. A migração em lote oferece suporte a jobs atualmente (o suporte para notebooks estará disponível em breve) e requer a CLI do Databricks versão 1.24.0 ou superior.

O panorama geral

Vamos reunir novamente os três principais recursos do Genie Migrate for Serverless:

  • Avaliar: identifica e classifica a elegibilidade dos jobs para migração serverless em toda a frota.
  • Traduzir: propõe alterações de infraestrutura e código como diffs rotulados e revisáveis.
  • Aplicar de forma reversível: realiza validação determinística atualmente, com a validação em sandbox a seguir.

Aqui está um resumo rápido de quais cargas de trabalho são ideais para migrar usando o agente agora e o que vem por aí no futuro.

image4.png

Comece hoje mesmo

Você pode começar a mover cargas de trabalho para o serverless hoje usando o Genie Migrate for Serverless. Veja como começar:

  1. Ative a versão beta: habilite o Genie Migrate for Serverless nas configurações de visualização do seu workspace e execute /compute migrate no Genie em um job ou notebook para verificar o que é elegível.
  2. Escolha primeiro uma carga de trabalho de baixo risco: migre um job ou notebook não crítico para ganhar confiança no fluxo antes de mexer em algo crítico para o negócio.
  3. revise antes de aplicar: leia os painéis do que mudará e do que não mudará, e aceite ou rejeite cada alteração proposta.
  4. Acompanhe a primeira execução serverless: confirme se a carga de trabalho migrada é executada sem problemas; seu original permanece intacto para que você possa reverter caso algo dê errado.
  5. Expanda a partir daí: migre o restante da frota elegível e use os banners de ações necessárias do administrador para desbloquear as cargas de trabalho que precisam de configuração.

O Genie Migrate for Serverless está disponível hoje por meio do comando /compute migrate no Genie, em qualquer job ou notebook. Estamos aprimorando ativamente o recurso de validação em sandbox com clientes que participam do preview e continuamos a evoluir o agente para tornar as migrações serverless mais rápidas, simples e fáceis.

Saiba mais:

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.