Presentazione di Lakebridge: migrazione dati gratuita e open source a Databricks SQL

Siamo entusiasti di presentare Lakebridge, uno strumento di migrazione gratuito che semplifica e accelera le migrazioni dei data warehouse aziendali (EDW) a Databricks SQL.

La modernizzazione dai data warehouse legacy e isolati è fondamentale per molte organizzazioni per ottenere insight più rapidi, ridurre i costi e consolidare i carichi di lavoro di analytics e AI sulla piattaforma aperta e unificata di Databricks. Tuttavia, le migrazioni sono spesso considerate ad alto rischio: il codice SQL legacy è complesso, le dipendenze sono nascoste e la documentazione è scarsa. La validazione della logica tradotta, la garanzia della qualità dei dati e la riconciliazione di migliaia di script SQL e stored procedure possono rallentare anche i team più impegnati.

Lakebridge aiuta a superare queste sfide automatizzando fino all'80% del processo di migrazione—incluso il profiling, la conversione SQL, la validazione e la riconciliazione—in modo che i team possano procedere con sicurezza e rapidità.

Modernizza mentre migri con Lakebridge

Databricks SQL è il data warehouse in più rapida crescita nel settore, riconosciuto per il suo rapporto prezzo/prestazioni, l'efficienza e gli insight basati sull'AI. Poiché sempre più organizzazioni scelgono Databricks come base per la loro architettura dati aperta e flessibile, Lakebridge garantisce che le migrazioni non siano più un collo di bottiglia ma un vantaggio strategico.

• Chiarezza sull'ambito e sulla complessità della migrazione
• Conversione e validazione automatica del codice ad alta fedeltà
• Facile riconciliazione dei carichi di lavoro migrati per l'accuratezza dei dati
• Un percorso comprovato per accelerare il tuo viaggio verso Databricks SQL

Lakebridge supporta approcci di migrazione lift-and-shift e migrazione ibrida. Con l'approccio ibrido, non devi modernizzare tutto fin dal primo giorno—puoi costruire su una base stabile allineandoti ai requisiti futuri. 

Migrazioni rapide e prevedibili a Databricks 

Costruito da ingegneri sul campo esperti e professionisti che comprendono le sfide delle migrazioni su larga scala, Lakebridge affronta la complessità dei sistemi legacy con un approccio moderno e basato sull'automazione. Inoltre, Lakebridge è estensibile, consentendo ai partner Databricks di collaborare, contribuire con funzionalità ed evolvere lo strumento per soddisfare diverse esigenze di migrazione.

Lakebridge offre un'esperienza di migrazione completa, end-to-end, attraverso tre componenti chiave:

• Analyzer: Esegue una valutazione dettagliata del tuo ambiente di data warehouse legacy.
• Converter: Converte in modo intelligente i flussi di lavoro ETL legacy e gli script SQL—incluse le stored procedure—in codice Databricks SQL o Spark SQL performante e compatibile.
• Validator: Garantisce l'accuratezza e la correttezza dei dati con strumenti di riconciliazione integrati.

Lakebridge fornisce anche dashboard e report integrati direttamente in Databricks per supportare la trasparenza e il controllo durante le migrazioni. Queste viste consentono ai team di monitorare i progressi, convalidare i risultati e comprendere meglio il loro panorama dati in evoluzione, accelerando l'adozione e fornendo valore più rapidamente.

Con queste funzionalità, Lakebridge automatizza fino all'80% delle attività di migrazione, aiutando i team ad accelerare i tempi di progetto fino a 2 volte. Oggi, Ladebridge supporta più di 10 data warehouse legacy, con molti altri in arrivo.

Pianificazione migliore della migrazione

Lakebridge riduce l'incertezza nel tuo progetto di migrazione fornendo insight precoci e dettagliati sul tuo ambiente legacy attraverso il suo strumento Analyzer integrato. Scansiona metadati e codice legacy per generare report multi-scheda che inventariano tutti gli oggetti che richiedono la migrazione, come tabelle, viste, job ETL e stored procedure, e classificano i carichi di lavoro per complessità da bassa a media, complessa e molto complessa.

Questi insight consentono ai team di definire accuratamente l'ambito dei progetti, dare priorità in base all'impatto aziendale e pianificare con sicurezza migrazioni a fasi. Identificando le potenziali sfide in anticipo, Lakebridge aiuta a garantire un'esecuzione più fluida, una migliore pianificazione delle risorse e test di accettazione utente più efficaci—rendendo in definitiva la transizione a Databricks più prevedibile e gestibile.

Soluzione di migrazione completa

Lakebridge è progettato per gestire migrazioni aziendali complesse nel mondo reale, offrendo funzionalità robuste in termini di strumenti, copertura delle sorgenti e automazione.

• Ampio supporto sorgente: Migra da oltre 10 data warehouse e strumenti ETL leader, tra cui Teradata, Snowflake, Oracle, SQL Server e altri. Connettori aggiuntivi sono disponibili in Private Preview e vengono aggiunti continuamente. Contatta il tuo team account per saperne di più.
• Toolkit collaudato: Lakebridge integra tecnologia comprovata da BladeBridge—un motore di migrazione di cui si fidano system integrator come Accenture, Capgemini, Celebal Technologies e Tredence. Questi strumenti hanno supportato centinaia di migrazioni di successo, inclusi parsing SQL avanzato, conversione del codice e validazione.
• Flusso di lavoro end-to-end: Dalla scoperta e valutazione del carico di lavoro alla conversione del codice e alla validazione dei dati, Lakebridge copre ogni fase del ciclo di vita della migrazione. Strumenti come Code Converter e Data Validator garantiscono integrità e prestazioni durante tutto il processo.
• Risultati comprovati e prevedibili: Basato su tecnologia adottata da aziende leader e partner, Lakebridge aiuta i team a rispettare le scadenze e a raggiungere gli obiettivi di modernizzazione.

Partner e clienti possono anche creare strumenti di migrazione basati su Lakebridge. Ad esempio, DoorDash ha costruito la sua fabbrica di migrazione con Lakebridge. 

L'interoperabilità dei dati è essenziale in una moderna architettura lakehouse. Consente l'accesso ai dati senza interruzioni tra diversi motori e team senza compromettere prestazioni, coerenza o velocità di sviluppo. I traduttori SQL come Transaxle (basato su Lakebridge) sono fondamentali per rendere questa interoperabilità una realtà. Colmano le lacune dialettali, riducono gli errori umani e consentono un utilizzo più rapido e collaborativo degli asset di dati condivisi. —Harsha Venkat Annapa Reddy, Data Foundations Engineering Manager, DoorDash

Lakebridge ti consente inoltre di modernizzare su standard aperti migrando i tuoi dati e la tua logica in formati, cataloghi e tecnologie aperte. La soluzione converte sintassi proprietarie come BTEQ (Teradata), T-SQL (Microsoft) e PL/SQL (Oracle)  in SQL aperto e conforme agli standard ANSI che viene eseguito senza problemi su Databricks SQL. Questo approccio ti libera dal vendor lock-in e posiziona la tua azienda per sfruttare appieno l'ecosistema dati aperto, interoperabile e pronto per il futuro di Databricks.

Aumenta la fiducia aziendale

Migrare data warehouse e carichi di lavoro ETL a Databricks è una decisione aziendale trasformativa, ma l'azienda deve avere fiducia nella qualità dei dati, nella compatibilità e nel rischio del progetto. Lakebridge affronta queste preoccupazioni fornendo una chiara visibilità per ogni fase della migrazione del tuo data warehouse. Con dashboard in tempo reale, validazione automatizzata e tracciabilità end-to-end, Lakebridge garantisce che i leader aziendali possano procedere con chiarezza e sicurezza durante le varie fasi della migrazione, trasformando la migrazione da fonte di incertezza a vantaggio strategico.

Prossimi passi

Databricks si impegna a migliorare il processo di migrazione, rendendolo più veloce, più intelligente e più prevedibile. Nei prossimi mesi, verrà introdotta una migrazione di nuova generazione basata sull'AI avanzata.

In arrivo, Lakebridge incorporerà:

• Conversione del codice basata su Mosaic AI, che sfrutta l'apprendimento per rinforzo per migliorare l'accuratezza della traduzione.
• Un modulo dedicato alla migrazione dei dati per automatizzare e ottimizzare i flussi di lavoro di spostamento dei dati.
• Un'interfaccia utente grafica (GUI) per una navigazione intuitiva, il monitoraggio della migrazione e insight sulla validazione.

Questi miglioramenti fanno parte della nostra visione più ampia di fornire una soluzione di migrazione basata su GenAI creata per le esigenze aziendali che applica modelli linguistici di grandi dimensioni con guardrail in atto. A differenza degli strumenti di IA generici, Lakebridge AI è progettato specificamente per garantire che tutto l'output generato sia convalidato, tracciabile e basato sulla logica di origine.

I clienti possono scegliere di utilizzare le funzionalità basate su GenAI al proprio ritmo, garantendo maggiore fiducia, velocità e controllo durante il percorso di migrazione.

Inizia

Lakebridge Foundations è ora gratuito per i clienti e i partner Databricks. Sia che tu stia pianificando la tua prima migrazione o scalando a centinaia di carichi di lavoro, Lakebridge fornisce l'automazione, l'intelligenza e l'affidabilità necessarie per modernizzare con fiducia.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale