Rendere le migrazioni serverless più veloci, sicure e semplici
di Piyush Singh, Vijay Raja e Feng Lu
Il compute serverless in Databricks offre un modo più semplice e veloce per eseguire i tuoi carichi di lavoro di dati e IA. Elimina l'onere operativo della gestione dell'infrastruttura, gestendo automaticamente il provisioning, il ridimensionamento e l'ottimizzazione in modo che i team possano concentrarsi sui loro obiettivi di business. Con il serverless, le organizzazioni possono muoversi più rapidamente, migliorare l'efficienza e sbloccare i vantaggi del compute cloud-native senza dover gestire e mantenere cluster complessi.
L'utilizzo del nostro serverless è cresciuto vertiginosamente proprio nell'ultimo anno e oggi migliaia di clienti eseguono notebook e job su di esso. La maggior parte dei team ha ancora una flotta classica che desidera migrare verso il mondo serverless per ottenere i vantaggi in termini di costi e operativi senza dover gestire l'infrastruttura in prima persona. Il lavoro di spostamento di ciascun carico di lavoro uno alla volta spesso impedisce ai nostri clienti di sbloccare i benefici del serverless per i loro carichi di lavoro esistenti.
Probabilmente hai assistito a tutto questo. Scegli un job, lo passi a serverless e poi ti scontri con un errore, un'incompatibilità della modalità di accesso, una configurazione di Spark che non si applica, una libreria installata sul classico ma non sul serverless. Quello che dovrebbe richiedere un pomeriggio si protrae per settimane e la maggior parte del tempo viene impiegata nella traduzione che hai già fatto molte volte in passato.
Non più! Oggi siamo entusiasti di annunciare il lancio di Genie Migrate for Serverless (in Beta), l'agente di Databricks che migra i tuoi job e notebook dal compute classico a quello serverless in modo semplice e senza sforzo. La migrazione di un carico di lavoro diventa un passaggio di revisione e approvazione anziché un progetto di ricerca.
Fino ad ora, la migrazione di un carico di lavoro a serverless era manuale. La conoscenza di come si mappa la configurazione di un cluster classico su serverless, quali librerie si risolvono, quali configurazioni di Spark si applicano ancora e quale modalità di accesso richiede un carico di lavoro risiedeva nella testa del professionista e nel tentativo ed errore di eseguire il notebook o il job e leggerne il fallimento.
Genie Migrate for Serverless sposta quella traduzione da te alla piattaforma, nello stesso modo in ciò il serverless ha spostato il provisioning e il ridimensionamento sulla piattaforma. Ciò che rimane nelle tue mani è il giudizio: se migrare un carico di lavoro ora, se le modifiche proposte sembrano corrette e se l'esecuzione migrata è integra. L'agente gestisce la traduzione in autonomia, proponendola come un diff che puoi rivedere prima che qualsiasi cosa cambi.
Per creare strumenti di migrazione serverless di successo, abbiamo tenuto a mente questi principi fondamentali:
Queste tre esigenze plasmano il funzionamento dell'agente di migrazione e il flusso di lavoro sottostante definisce come esegue la migrazione: valuta cosa può essere spostato, lo traduce e applica la modifica in modo reversibile.

L'agente viene eseguito dal comando rapido /compute migrate all'interno di Genie su qualsiasi job o notebook. È completamente gestito e non richiede alcuna configurazione per iniziare la scansione. Poiché Databricks lo gestisce, l'agente legge la configurazione del tuo job e il codice del carico di lavoro all'interno del tuo workspace.
Approfondiamo un po' ciascuna di queste aree elencate sopra.
Prima di toccare qualsiasi cosa, l'agente scansiona i tuoi Job e Notebook e contrassegna ciascun carico di lavoro con la sua prontezza per il serverless. Vedi quali carichi di lavoro sono candidati ideali per la migrazione invece di controllare la flotta a mano, eliminando il faticoso lavoro di individuazione e triage manuale.

Una breve nota sulle fonti esterne: se la fonte di verità di un carico di lavoro si trova all'esterno del workspace, ad esempio un job gestito da Databricks Asset Bundles o un notebook in una cartella Git, l'agente non può ancora migrarlo. Il supporto per questi elementi arriverà presto.
Una volta scelto un carico di lavoro idoneo, l'agente di migrazione propone le modifiche necessarie per il serverless e le presenta per la revisione prima che venga scritto qualsiasi cosa. Nulla viene applicato finché non lo approvi.
L'agente di migrazione traduce efficacemente le parti che differiscono tra il classico e il serverless:
Ogni modifica, comprese le riscritture del codice, viene presentata come un diff revisionabile. Prima dell'applicazione, l'agente mostra un confronto affiancato di ciò che cambierà e di ciò che non cambierà, un contratto esplicito che puoi consegnare a un manager o a un team di reperibilità.
Dai un'occhiata all'ultima demo su come migrare facilmente i carichi di lavoro classici utilizzando Genie Migrate for Serverless.
Se l'agente non è sicuro di qualcosa, ad esempio se una configurazione di Spark sia ancora necessaria, segnala la configurazione anziché rimuoverla. Una configurazione può sembrare inutilizzata a una scansione statica, mentre un listener caricato a runtime dipende da essa. La rimozione silenziosa farebbe cadere la telemetria su cui fa affidamento un team. L'agente lascia questa decisione a te.
L'applicazione di una migrazione è il momento in cui sei più esposto, quindi Genie Migrate for Serverless è estremamente conservativo in questa fase. Esegue controlli deterministici sulla correttezza e una validazione più approfondita a runtime arriverà prossimamente.
Se decidi di non migrare, i job clonati o le modifiche suggerite ai notebook non verranno applicati.
Una cosa a cui fare attenzione: questo non annulla i dati che le esecuzioni serverless hanno scritto nelle tabelle di produzione nel frattempo, se hai fatto dei test con le versioni modificate.
Oggi la validazione è statica. Conferma che la traduzione sia corretta senza eseguire il carico di lavoro ed è trasparente su ciò che ha dimostrato e ciò che non ha dimostrato. Il controllo più approfondito arriverà a breve tramite la validazione in Sandbox. In questo modo, l'agente sarà in grado di eseguire il carico di lavoro migrato in un sandbox isolato senza influire sulle tabelle di produzione e confrontare il suo output rispetto alla baseline classica, così potrai visualizzare un segnale di runtime e correttezza su un job critico prima di Applica, e non dopo.
La migrazione di un carico di lavoro alla volta in Genie funziona bene per pochi processi. Per un parco più ampio, puoi eseguire Genie Migrate for Serverless in background con la CLI di Databricks. Avvia la migrazione di più processi da uno script usando il gruppo di comandi compute-migrations e l'agente creerà una copia di lavoro serverless di ciascun processo senza una sessione Genie aperta. Il tuo processo originale non subirà modifiche finché non avrai esaminato e approvato la migrazione; l'approvazione manterrà l'ID, la pianificazione e le autorizzazioni del processo. Al momento, la migrazione in blocco supporta i processi (il supporto per i notebook arriverà presto) e richiede la CLI di Databricks versione 1.24.0 o successiva.
Riepiloghiamo le tre capacità chiave di Genie Migrate for Serverless:
Ecco un breve riepilogo dei carichi di lavoro attualmente idonei per la migrazione tramite l'agente e delle novità in arrivo.

Puoi iniziare a spostare i carichi di lavoro su serverless oggi stesso usando Genie Migrate for Serverless. Ecco come procedere:
/compute migrate in Genie su un processo o un notebook per verificare quali elementi sono idonei.Genie Migrate for Serverless è disponibile oggi tramite il comando /compute migrate in Genie, su qualsiasi processo o notebook. Stiamo perfezionando attivamente la funzionalità di validazione in sandbox con i clienti che utilizzano l'anteprima e continuiamo a evolvere l'agente per rendere le migrazioni serverless più rapide, semplici e intuitive.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.