Passa al contenuto principale
Piattaforma

Ti presentiamo Genie Migrate per Serverless

Rendere le migrazioni serverless più veloci, sicure e semplici

di Piyush Singh, Vijay Raja e Feng Lu

  • Genie Migrate for Serverless automatizza le parti più difficili del passaggio dai carichi di lavoro classici a quelli serverless: analizza la tua flotta, traduce le configurazioni di calcolo e le librerie e applica le modifiche in modo reversibile con un ripristino di 30 giorni.
  • Ogni modifica proposta viene mostrata come un diff revisionabile prima di essere scritta, quindi la migrazione diventa un passaggio di revisione e approvazione anziché settimane di tentativi ed errori manuali.
  • Puoi iniziare oggi stesso. L'agente lascia intatto il codice del tuo carico di lavoro e segnala le configurazioni Apache Spark incerte affinché tu possa decidere, anziché rimuoverle silenziosamente, mantenendo il controllo su ciò che viene eseguito in produzione.

Il compute serverless in Databricks offre un modo più semplice e veloce per eseguire i tuoi carichi di lavoro di dati e IA. Elimina l'onere operativo della gestione dell'infrastruttura, gestendo automaticamente il provisioning, il ridimensionamento e l'ottimizzazione in modo che i team possano concentrarsi sui loro obiettivi di business. Con il serverless, le organizzazioni possono muoversi più rapidamente, migliorare l'efficienza e sbloccare i vantaggi del compute cloud-native senza dover gestire e mantenere cluster complessi.

L'utilizzo del nostro serverless è cresciuto vertiginosamente proprio nell'ultimo anno e oggi migliaia di clienti eseguono notebook e job su di esso. La maggior parte dei team ha ancora una flotta classica che desidera migrare verso il mondo serverless per ottenere i vantaggi in termini di costi e operativi senza dover gestire l'infrastruttura in prima persona. Il lavoro di spostamento di ciascun carico di lavoro uno alla volta spesso impedisce ai nostri clienti di sbloccare i benefici del serverless per i loro carichi di lavoro esistenti.

Probabilmente hai assistito a tutto questo. Scegli un job, lo passi a serverless e poi ti scontri con un errore, un'incompatibilità della modalità di accesso, una configurazione di Spark che non si applica, una libreria installata sul classico ma non sul serverless. Quello che dovrebbe richiedere un pomeriggio si protrae per settimane e la maggior parte del tempo viene impiegata nella traduzione che hai già fatto molte volte in passato.

Non più! Oggi siamo entusiasti di annunciare il lancio di Genie Migrate for Serverless (in Beta), l'agente di Databricks che migra i tuoi job e notebook dal compute classico a quello serverless in modo semplice e senza sforzo. La migrazione di un carico di lavoro diventa un passaggio di revisione e approvazione anziché un progetto di ricerca.

La migrazione era tradizionalmente nelle mani dei professionisti

Fino ad ora, la migrazione di un carico di lavoro a serverless era manuale. La conoscenza di come si mappa la configurazione di un cluster classico su serverless, quali librerie si risolvono, quali configurazioni di Spark si applicano ancora e quale modalità di accesso richiede un carico di lavoro risiedeva nella testa del professionista e nel tentativo ed errore di eseguire il notebook o il job e leggerne il fallimento.

Genie Migrate for Serverless sposta quella traduzione da te alla piattaforma, nello stesso modo in ciò il serverless ha spostato il provisioning e il ridimensionamento sulla piattaforma. Ciò che rimane nelle tue mani è il giudizio: se migrare un carico di lavoro ora, se le modifiche proposte sembrano corrette e se l'esecuzione migrata è integra. L'agente gestisce la traduzione in autonomia, proponendola come un diff che puoi rivedere prima che qualsiasi cosa cambi.

Per creare strumenti di migrazione serverless di successo, abbiamo tenuto a mente questi principi fondamentali:

  • Nessuna produzione interrotta: una regressione silenziosa su un carico di lavoro critico per il business è peggio di nessuna migrazione, quindi l'agente valuta prima ogni carico di lavoro e segnala ciò che è sicuro spostare.
  • Controllo su ogni modifica: la possibilità di vedere cosa cambierà e cosa no, di accettare o rifiutare ogni modifica proposta e di avere la certezza che nulla tocchi il codice che non hai approvato.
  • Un ripristino pulito: se l'esecuzione serverless va male, un modo per tornare allo stato pre-migrazione in pochi clic.

Queste tre esigenze plasmano il funzionamento dell'agente di migrazione e il flusso di lavoro sottostante definisce come esegue la migrazione: valuta cosa può essere spostato, lo traduce e applica la modifica in modo reversibile.

Cosa fa Genie Migrate for Serverless

  1. Valuta: scansiona i tuoi job e classifica una flotta in modo da sapere cosa può essere spostato oggi, cosa richiede un amministratore e cosa non è ancora pronto per la migrazione.
  2. Traduci: propone le modifiche all'infrastruttura e al codice di cui un carico di lavoro ha bisogno per il serverless, ciascuna come un diff etichettato (una visualizzazione affiancata di ciò che cambia e di ciò che rimane uguale) che puoi esaminare.
  3. Applica (in modo reversibile): convalida la traduzione e la applica senza interrompere un carico di lavoro in esecuzione, mantenendo intatto il tuo carico di lavoro originale in modo da poter eseguire il rollback se l'esecuzione serverless non è integra.

image2.png

L'agente viene eseguito dal comando rapido /compute migrate all'interno di Genie su qualsiasi job o notebook. È completamente gestito e non richiede alcuna configurazione per iniziare la scansione. Poiché Databricks lo gestisce, l'agente legge la configurazione del tuo job e il codice del carico di lavoro all'interno del tuo workspace.

Approfondiamo un po' ciascuna di queste aree elencate sopra.

Valuta

Prima di toccare qualsiasi cosa, l'agente scansiona i tuoi Job e Notebook e contrassegna ciascun carico di lavoro con la sua prontezza per il serverless. Vedi quali carichi di lavoro sono candidati ideali per la migrazione invece di controllare la flotta a mano, eliminando il faticoso lavoro di individuazione e triage manuale.

image1.png

Una breve nota sulle fonti esterne: se la fonte di verità di un carico di lavoro si trova all'esterno del workspace, ad esempio un job gestito da Databricks Asset Bundles o un notebook in una cartella Git, l'agente non può ancora migrarlo. Il supporto per questi elementi arriverà presto.

Traduci

Una volta scelto un carico di lavoro idoneo, l'agente di migrazione propone le modifiche necessarie per il serverless e le presenta per la revisione prima che venga scritto qualsiasi cosa. Nulla viene applicato finché non lo approvi.

L'agente di migrazione traduce efficacemente le parti che differiscono tra il classico e il serverless:

  • Configurazione del compute: la configurazione del cluster classico viene mappata su una selezione di compute serverless.
  • Ambiente e librerie: l'elenco delle librerie viene risolto rispetto al runtime serverless e la definizione dell'ambiente viene sintetizzata per il serverless.
  • Configurazioni di Spark: le configurazioni che si applicano ancora vengono mantenute, mentre quelle che non si applicano vengono presentate affinché tu possa decidere, anziché essere rimosse silenziosamente.
  • Codice del carico di lavoro: laddove il codice utilizza pattern che non vengono eseguiti su serverless, come le API incompatibili con Spark Connect, l'agente le riscrive e mostra la modifica come un diff.

Ogni modifica, comprese le riscritture del codice, viene presentata come un diff revisionabile. Prima dell'applicazione, l'agente mostra un confronto affiancato di ciò che cambierà e di ciò che non cambierà, un contratto esplicito che puoi consegnare a un manager o a un team di reperibilità.

Dai un'occhiata all'ultima demo su come migrare facilmente i carichi di lavoro classici utilizzando Genie Migrate for Serverless.

Se l'agente non è sicuro di qualcosa, ad esempio se una configurazione di Spark sia ancora necessaria, segnala la configurazione anziché rimuoverla. Una configurazione può sembrare inutilizzata a una scansione statica, mentre un listener caricato a runtime dipende da essa. La rimozione silenziosa farebbe cadere la telemetria su cui fa affidamento un team. L'agente lascia questa decisione a te.

Applica

L'applicazione di una migrazione è il momento in cui sei più esposto, quindi Genie Migrate for Serverless è estremamente conservativo in questa fase. Esegue controlli deterministici sulla correttezza e una validazione più approfondita a runtime arriverà prossimamente.

  • Validazione prima di Applica: l'agente verifica che la traduzione sia coerente, che le dipendenze delle librerie si risolvano rispetto al runtime serverless e che la configurazione si applichi correttamente, in modo che gli errori emergano prima che il carico di lavoro venga eseguito anziché durante l'SLA di domani.
  • Una prima esecuzione monitorata: poiché le modifiche vengono applicate a un job clonato, puoi eseguire il clone una volta su richiesta per confermare che sia integro su serverless prima di promuoverlo sul tuo job originale. La prima esecuzione serverless avverrà quindi sotto il tuo controllo e non in modalità automatica.

Se decidi di non migrare, i job clonati o le modifiche suggerite ai notebook non verranno applicati.

Una cosa a cui fare attenzione: questo non annulla i dati che le esecuzioni serverless hanno scritto nelle tabelle di produzione nel frattempo, se hai fatto dei test con le versioni modificate.

Oggi la validazione è statica. Conferma che la traduzione sia corretta senza eseguire il carico di lavoro ed è trasparente su ciò che ha dimostrato e ciò che non ha dimostrato. Il controllo più approfondito arriverà a breve tramite la validazione in Sandbox. In questo modo, l'agente sarà in grado di eseguire il carico di lavoro migrato in un sandbox isolato senza influire sulle tabelle di produzione e confrontare il suo output rispetto alla baseline classica, così potrai visualizzare un segnale di runtime e correttezza su un job critico prima di Applica, e non dopo.

Migra i job in blocco

La migrazione di un carico di lavoro alla volta in Genie funziona bene per pochi processi. Per un parco più ampio, puoi eseguire Genie Migrate for Serverless in background con la CLI di Databricks. Avvia la migrazione di più processi da uno script usando il gruppo di comandi compute-migrations e l'agente creerà una copia di lavoro serverless di ciascun processo senza una sessione Genie aperta. Il tuo processo originale non subirà modifiche finché non avrai esaminato e approvato la migrazione; l'approvazione manterrà l'ID, la pianificazione e le autorizzazioni del processo. Al momento, la migrazione in blocco supporta i processi (il supporto per i notebook arriverà presto) e richiede la CLI di Databricks versione 1.24.0 o successiva.

Il quadro completo

Riepiloghiamo le tre capacità chiave di Genie Migrate for Serverless:

  • Valuta: individua e classifica l'idoneità dei processi per la migrazione serverless nell'intero parco.
  • Traduci: propone modifiche all'infrastruttura e al codice sotto forma di diff etichettati e verificabili.
  • Applica in modo reversibile: esegue una validazione deterministica ora, mentre la validazione in ambiente di test (sandbox) arriverà prossimamente.

Ecco un breve riepilogo dei carichi di lavoro attualmente idonei per la migrazione tramite l'agente e delle novità in arrivo.

image4.png

Inizia subito

Puoi iniziare a spostare i carichi di lavoro su serverless oggi stesso usando Genie Migrate for Serverless. Ecco come procedere:

  1. Attiva la versione beta: abilita Genie Migrate for Serverless nelle impostazioni di anteprima del tuo workspace, quindi esegui /compute migrate in Genie su un processo o un notebook per verificare quali elementi sono idonei.
  2. Scegli prima un carico di lavoro a basso rischio: migra un processo o un notebook non critico per prendere confidenza con il flusso prima di toccare elementi critici per il business.
  3. Verifica prima di applicare: leggi i pannelli relativi a ciò che cambierà e ciò che non cambierà, quindi accetta o rifiuta ogni modifica proposta.
  4. Osserva la prima esecuzione serverless: conferma che il carico di lavoro migrato funzioni correttamente; il tuo originale rimarrà intatto per consentirti di eseguire il rollback in caso di problemi.
  5. Espandi l'attività: migra il resto del parco idoneo e usa i banner che segnalano la necessità di interventi amministrativi per sbloccare i carichi di lavoro che richiedono configurazione.

Genie Migrate for Serverless è disponibile oggi tramite il comando /compute migrate in Genie, su qualsiasi processo o notebook. Stiamo perfezionando attivamente la funzionalità di validazione in sandbox con i clienti che utilizzano l'anteprima e continuiamo a evolvere l'agente per rendere le migrazioni serverless più rapide, semplici e intuitive.

Per saperne di più:

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.