10 miti sulla migrazione dei data warehouse che bloccano la preparazione per l'AI (e il modello per una modernizzazione senza interruzioni)

Il passaggio a un data warehouse moderno è una parte fondamentale di qualsiasi strategia aziendale di preparazione all'AI. Tuttavia, senza l'approccio giusto, le migrazioni dei data warehouse sono spesso percepite come iniziative ad alto rischio e ad alta intensità di risorse. Le sfide principali (gestione del debito tecnico, garanzia dell'integrità dei dati e riduzione al minimo dei tempi di inattività) possono sembrare insormontabili senza un framework strutturato.

In Databricks, le migrazioni senza interruzioni seguono un approccio collaudato e ripetibile: individuazione e razionalizzazione, conversione automatizzata, convalida rigorosa, ottimizzazione per l'architettura lakehouse e dismissione anticipata dei sistemi legacy. Tuttavia, persistono alcune idee sbagliate sulla complessità e sul costo della transizione.

Questo blog illustra i falsi miti più comuni che spesso ostacolano il processo e il framework di Databricks per migrazioni efficienti e senza interruzioni.

Mito 1: le aziende dovrebbero concentrarsi solo sui costi quando pianificano la migrazione di un data warehouse

In realtà: il valore è determinato dall'abilitazione dell'AI, dall'agilità operativa e dal consolidamento della piattaforma

Sebbene Databricks offra costantemente un TCO superiore, attestato dai benchmark TPC-DS standard dei settori industriali, la riduzione dei costi è solo una delle componenti della proposta di valore. Le aziende dovrebbero concentrarsi sul ROI della migrazione per il business, includendo nuovi driver di valore che gli ambienti legacy non possono supportare:

Consolidamento della piattaforma ed efficienze operative
La migrazione consolida le piattaforme di data warehousing frammentate, semplificando il data estate. Grazie al passaggio a Databricks, Williams ha ottenuto, ad esempio, una riduzione del 40% del TCO, rivoluzionando al contempo le capacità decisionali.

Abilitare l'AI e l'intelligence
La migrazione è il catalizzatore per dati, agenti e app di AI. Una volta che i dati sono consolidati e governati, le aziende possono utilizzarli per i casi d'uso di AI e creare prodotti personalizzati per il business. Ad esempio, Insulet ha ottenuto una riduzione del 97% dei costi di elaborazione, ma, cosa ancora più importante, ha sbloccato la capacità di elaborare i dati per le analitiche avanzate e l'IA che i sistemi legacy non erano in grado di gestire su larga scala. DXC ha ottenuto una riduzione del 30% del TCO unificando il proprio patrimonio di dati globale, ma il vantaggio principale è stata la capacità di ridurre il tempo per ottenere insight da mesi a giorni.

Fine del ciclo di vita della piattaforma e dismissione dei datacenter
Molte migrazioni sono dettate dall'urgenza dei cicli di fine vita (EOL) delle piattaforme legacy o da dismissioni strategiche dei datacenter, che spingono le organizzazioni verso l'affidabilità nativa per il cloud.

Sbloccare la BI gratuita
Databricks Lakehouse unifica i carichi di lavoro di AI e BI, potenziando le analitiche self-service tramite il linguaggio naturale con AI/BI Genie. Democratizza l'accesso ai dati senza la "tassa per l'utente" dei tradizionali strumenti di BI. Migrando a Databricks Lakehouse, aziende come Novade (riduzione del 60% del TCO) e Thrivent (riduzione del 46% del TCO) non solo risparmiano, ma riducono anche i costi operativi e migliorano l'affidabilità. Questo cambiamento sblocca casi d'uso realizzabili solo con le analitiche avanzate, le informazioni dettagliate in tempo reale e le funzionalità basate sull'IA delle piattaforme moderne, creando opportunità di innovazione e risultati di business differenziati.

Mito 2: La migrazione dei data warehouse consiste solo nella conversione del codice SQL

In realtà: una migrazione di successo richiede un riallineamento architetturale, governance e un profondo coinvolgimento aziendale

Un errore comune è considerare la migrazione attraverso la prospettiva limitata della traduzione SQL. Una migrazione di successo richiede una prospettiva più ampia che includa progettazione, governance, convalida, orchestrazione, gestione del cambiamento e allineamento aziendale.

Durante la fase di valutazione, il piano di migrazione e la progettazione architetturale sono fondamentali. Databricks sfrutta Lakebridge come acceleratore chiave in questa fase per automatizzare la discovery e l'analisi dell'utilizzo degli oggetti, garantendo la comprensione dell'intero ambito del proprio ambiente prima di spostare una singola tabella ed eliminando le congetture. Il know-how interno aiuta ad automatizzare le stime dell'impegno e delle tempistiche durante la pianificazione.

Durante la migrazione, le organizzazioni spesso trascurano il "divario di convalida". Anche se la convalida può richiedere il 50-60% dell'impegno totale di migrazione, non è un aspetto da temere. Il framework di migrazione di Databricks considera esplicitamente la convalida come una fase di primaria importanza, con strumenti automatizzati di riconciliazione e lineage integrati nel processo.

Durante la migrazione a un nuovo framework di orchestrazione, la logica esistente spesso richiede un reindirizzamento, una riprogettazione o una reimplementazione a causa delle differenze nei trigger, nella gestione degli errori e nei problemi di scalabilità della nuova piattaforma.

Il successo di una migrazione non dipende solo dalle competenze tecniche; richiede l'allineamento con il business, la governance e la gestione del cambiamento. Ecco perché in Databricks collaboriamo con i team aziendali durante la fase di convalida per garantire il rispetto dei loro SLA. La competenza di settore degli stakeholder aziendali è fondamentale per interpretare i risultati, individuare le discrepanze e certificare che il sistema modernizzato supporti le esigenze di reporting e analitiche a valle.

Mito 3: tutti gli oggetti legacy devono essere migrati

In realtà: un audit "value-first" rivela una massiccia ridondanza

Il tentativo di migrare ogni oggetto legacy, incluse le tabelle deprecate e le stored procedure obsolete, comporta debito tecnico, un'estensione delle tempistiche e costi non necessari. I benchmark di settore suggeriscono che un numero significativo di oggetti di data warehouse legacy è spesso ridondante o inutilizzato. Valutando innanzitutto i casi d'uso aziendali e identificando i carichi di lavoro critici, le organizzazioni ottengono un ritorno sull'investimento significativamente più rapido.

Il framework di migrazione di Databricks raccomanda un processo di discovery approfondito che consente di escludere dall'ambito gli asset non necessari; inoltre, una progettazione della migrazione di successo garantisce l'unione o la modernizzazione appropriate, utilizzando l'automazione.

Mito 4: l'automazione garantisce il successo della migrazione

In realtà: per un'automazione di successo sono necessari un equilibrio pragmatico e strumenti specializzati.

L'utilizzo di una migrazione basata su strumenti non fa altro che spostare il debito tecnico del sistema legacy sulla piattaforma moderna. Uno degli obiettivi della migrazione è ridurre il debito tecnico.

In Databricks, consideriamo le migrazioni in modo olistico, con Lakebridge e gli acceleratori che svolgono un ruolo significativo nel percorso di migrazione. È fondamentale valutare come l'automazione potrebbe accelerare la migrazione. La quantificazione dei livelli di accelerazione supporta le decisioni sul processo di migrazione e ottimizza i risultati, garantendo al contempo l'eliminazione del debito tecnico.

In pratica, qualsiasi migrazione ben eseguita è un sottile equilibrio tra la modernizzazione di componenti ad alto impatto come l'architettura, i framework e la base di codice obsoleta e il "lift and shift" del codice moderno e degli asset di reporting. Naturalmente, parte del codice non performante necessita di refactoring, ma l'obiettivo è destinare gli sforzi di modernizzazione a investimenti a lungo termine e ad alto rendimento con ritorni elevati, come le query che richiedono più risorse, sfruttando al contempo l'automazione per gestire la maggior parte della logica di trasformazione standard. Questo approccio, unito al know-how dei servizi professionali, consente di ottenere fino al 90% di automazione.

Mito 5: il successo della migrazione tecnica dipende esclusivamente dalla competenza tecnica e dai tassi di conversione degli strumenti

In realtà: il successo richiede l'allineamento di esperti in materia (SME), un Centro di Eccellenza (COE) e gli strumenti giusti.

I team tecnici spesso presumono che i requisiti legacy siano documentati in modo accurato. In pratica, coinvolgere gli SME aziendali è fondamentale per convalidare la logica sottostante e dare priorità ai casi d'uso di alto valore. Oltre alle considerazioni tecniche, Databricks adotta una mentalità olistica "persone, processi, piattaforma" nel promuovere l'adozione di Lakehouse.

• Le persone sono al centro: valorizziamo i team interfunzionali, promuovendo la collaborazione tra gli stakeholder tecnici e aziendali per garantire l'allineamento e il trasferimento delle conoscenze durante l'intero processo di migrazione.
• Il processo è fondamentale per un cambiamento sostenibile. La nostra delivery standard include metodologie strutturate, acceleratori e un solido change management, consentendo alle organizzazioni di integrare le best practice e adattare i flussi di lavoro per i moderni ambienti di dati.
• La dimensione della piattaforma sfrutta le funzionalità flessibili di Databricks, implementando un mix di LLM e motori deterministici e basati su regole, adattati alla complessità del codice da convertire e all'ambiente specifico del cliente. Per sostenere questo valore su larga scala, promuoviamo la creazione di un CoE come hub per l'innovazione e la governance, rafforzando il miglioramento continuo e l'eccellenza operativa. Questo approccio integrato assicura che le organizzazioni non solo migrino i loro dati, ma sviluppino anche le competenze, i processi e le fondamenta tecnologiche necessarie per realizzare appieno i vantaggi di una piattaforma Lakehouse.

Mito 6: la convalida dei dati è banale

Realtà: La precisione e la riconciliazione sono estremamente complesse e richiedono SLA definiti

La convalida di tipi di dati complessi nei sistemi legacy (ad es. Oracle o Teradata) e la loro riconciliazione con i formati Lakehouse richiedono più di un semplice conteggio delle righe. Durante la convalida dei dati e della logica, è importante riconoscere due tipi di logica:

• Logica deterministica: produce sempre lo stesso output a parità di input, consentendo una validazione semplice e ripetibile.
• Logica non deterministica: può produrre output leggermente diversi tra un'esecuzione e l'altra. La convalida di questi artefatti richiede un solido contesto aziendale per definire intervalli o pattern accettabili, anziché basarsi su corrispondenze esatte.

Questa complessità non riguarda solo i sistemi legacy, ma anche il Change Data Capture (CDC), lo snapshotting e l'automazione in-place per i caricamenti incrementali e lo streaming. Poiché i dati di produzione sono dinamici, la definizione di un SLA (ad esempio, che richieda una convalida accurata al 99,x% accurata) è fondamentale per il successo della riconciliazione. La collaborazione con i Professional Services garantisce che un piano di convalida dettagliato sia implementato e seguito e che vengano utilizzati strumenti rigorosi di riconciliazione e di tracciamento del lineage per mantenere l'integrità dei dati durante l'intero ciclo di vita della migrazione.

Mito 7: La modernizzazione è intrinsecamente più costosa e richiede più tempo rispetto alla manutenzione dei sistemi legacy

In realtà: una dismissione anticipata genera un rapido ROI

Sebbene le migrazioni richiedano un investimento iniziale di capitale e tempo, la "tassa operativa" dei sistemi legacy è spesso il maggior salasso per i budget IT. Utilizzando framework di accelerazione e pianificando la rapida dismissione delle licenze legacy, le organizzazioni spesso ottengono un ROI positivo entro i primi 12 mesi.

Un'ulteriore giustificazione per l'investimento è che la migrazione consente l'adozione di nuovi casi d'uso e funzionalità non realizzabili sulla piattaforma legacy. La modernizzazione dello stack riduce l'onere della manutenzione a lungo termine, consentendo ai team di ingegneria di andare oltre il semplice "mantenimento operativo" e di concentrarsi sulla promozione dell'innovazione basata sull'AI. Dopo la migrazione, gli sviluppatori sono liberati dall'amministrazione della piattaforma legacy e possono concentrarsi su attività più produttive e strategiche che offrono un maggiore valore di business.

Mito 8: Scalare la piattaforma richiede un massiccio aumento delle risorse di ingegneria

Realtà: Il successo è guidato da un ecosistema di partner certificati e dall'abilitazione interna

Mentre gli approcci tradizionali alla migrazione dei data warehouse richiedono spesso team di grandi dimensioni per gestire flussi di lavoro complessi, gli strumenti moderni e l'automazione hanno ridotto drasticamente queste esigenze. I partner di migrazione certificati con Professional Services garantiscono la qualità, portano una profonda esperienza e sfruttano metodologie collaudate e acceleratori su misura per Databricks, il che consente di affrontare direttamente le sfide comuni e di evitare un inutile sovraccarico di ingegneria. La loro competenza consente al team interno di un cliente di concentrarsi sulle attività business-critical, piuttosto che sulle complessità del refactoring dei carichi di lavoro legacy o sulla risoluzione di complessi problemi di compatibilità.

Inoltre, il processo di migrazione è progettato per garantire un'interruzione minima, con la gestione del cambiamento e l'abilitazione integrate al suo interno. Workshop interattivi, addestramenti pratici e documentazione forniscono agli utenti gli strumenti necessari, in modo che, al completamento del progetto, il team interno abbia le competenze e le conoscenze per gestire, ottimizzare ed estendere la piattaforma in modo indipendente. In questo modello, le aziende ottengono agilità ed efficienza dei costi continue senza l'onere legacy di una forza lavoro considerevole dedicata alla migrazione.

Mito 9: Il lift and shift non funziona mai con Databricks

Realtà: Il lift and shift può essere la strada migliore in caso di scadenze ravvicinate

Sebbene una modernizzazione completa consenta di abilitare subito funzionalità avanzate, un approccio lift-and-shift permette alle organizzazioni di dismettere rapidamente i sistemi legacy e di ridurre il rischio operativo durante il cutover. Il lift-and-shift è l'approccio di migrazione consigliato quando i driver principali sono il tempo necessario per la migrazione, la facilità e la precisione della pianificazione o la criticità delle applicazioni downstream che dipendono da uno schema e da un comportamento stabili.

In pratica, la maggior parte dei programmi adotta una strategia ibrida: eseguire prima la migrazione per stabilizzare, quindi modernizzare in modo incrementale. Un pattern comune consiste nel partire dall'acquisizione e dall'ETL per stabilire pipeline durevoli, governance e osservabilità come base, prima di ottimizzare modelli, prestazioni e costi. Non è raro classificare i casi d'uso come "critici/sempre attivi" e "nice to have", migrare i primi con un approccio lift and shift per preservare l'affidabilità e modernizzare i secondi per sbloccare nuove funzionalità.

Mito 10: i costi di migrazione sono sempre imprevedibili

Realtà: framework collaudati e procedure di convalida garantiscono la prevedibilità

Uno degli equivoci più comuni è considerare la migrazione solo dal punto di vista dei costi. Sebbene le migrazioni richiedano effettivamente un investimento finanziario, diretto o indiretto, dovrebbero essere viste come elementi strategici che aprono a nuove possibilità. Con un business case elaborato con cura, un rapido e positivo ritorno sull'investimento (ROI) non solo è realizzabile, ma anche previsto.

La migrazione è complessa, ma non deve essere finanziariamente rischiosa. Adottando strategie come Proof of Concept (POC) o Minimum Viable Product (MVP) durante la fase di convalida, le organizzazioni possono testare la fattibilità e dimostrare rapidamente il valore prima di impegnarsi in un rollout su vasta scala. Dando priorità ai casi d'uso appropriati in base al valore di business e sbloccando nuove funzionalità in anticipo, i team possono dimostrare l'efficacia del modello senza rischiare l'intero budget.

Il collaudato framework di migrazione di Databricks, combinato con acceleratori come Lakebridge e una profonda esperienza nel settore, aiuta a eseguire le migrazioni end-to-end nel modo più snello possibile. Questo approccio strutturato riduce il "gap di convalida" e minimizza lo sforzo manuale, riducendo in definitiva le dimensioni del team necessarie, le tempistiche e i costi associati.

Infine, il nostro ecosistema commerciale supporta la prevedibilità finanziaria. Grazie a solide partnership con gli hyperscaler, Databricks fornisce un supporto all'esecuzione efficiente in termini di costi. Supportiamo attivamente le migrazioni dei clienti dal punto di vista finanziario, investendo in Partner Certificati e fornendo la garanzia dei Servizi Professionali, per assicurare che il vostro percorso verso la Lakehouse sia tanto solido a livello commerciale quanto robusto a livello tecnico.

Guida introduttiva

Le migrazioni riuscite non sono un punto di arrivo. Pongono le basi per le analitiche serverless, l'IA governata e un'innovazione più rapida, senza dover gestire sistemi paralleli.

Le migrazioni possono essere impegnative. Ci saranno sempre compromessi da bilanciare e problemi imprevisti e ritardi da gestire. Sono necessari partner e soluzioni di comprovata efficacia per gli aspetti della migrazione relativi a persone, processi e tecnologia. Consigliamo di affidarsi agli esperti di Databricks Professional Services e ai nostri partner di migrazione certificati, che hanno una vasta esperienza nel fornire soluzioni di migrazione di alta qualità in modo tempestivo. Contattaci per avviare la valutazione della tua migrazione.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale