Acquisizione di dati

L'ingestione dei dati è il primo passo nel ciclo di vita del data engineering. Consiste nella raccolta di dati da fonti eterogenee come database, applicazioni SaaS, file, API e dispositivi IoT, e nel loro trasferimento in un repository centralizzato come un data lake, data warehouse o lakehouse. Questo permette alle organizzazioni di pulire e unificare i dati per sfruttare analisi e AI a supporto di decisioni data-driven.
Tradizionalmente, l'ingestione dei dati è stata gestita utilizzando una combinazione di script personalizzati, framework open source come Apache NiFi e Kafka o soluzioni di ingestione offerte dai fornitori di servizi cloud come AWS Glue, Google Cloud Dataflow e Azure Data Factory. Questi approcci richiedono spesso un notevole impegno ingegneristico per la manutenzione, soprattutto quando si tratta di gestire evoluzioni degli schemi, coerenza dei dati ed elaborazione in tempo reale su larga scala. Molte aziende, inoltre, fanno affidamento su strumenti separati per l'ingestione, la trasformazione e l'orchestrazione, con conseguente aumento di complessità e creazione di silos di dati.
A differenza dell'ETL (extract, transform, load), che trasforma i dati prima del caricamento, l'ingestione dei dati sposta i dati grezzi direttamente nella destinazione, permettendo un accesso più rapido e una maggiore flessibilità. 

I metodi di ingestione dei dati variano in base al caso d'uso, consentendo la raccolta in batch pianificati, in flussi continui o con un approccio ibrido. 

• Ingestione batch incrementale: raccoglie dati a intervalli prestabiliti. Ideale per aggiornamenti periodici e scenari in cui non è essenziale acquisire dati in tempo reale.
• Ingestione in streaming: acquisisce i dati in modo incrementale. Può supportare scenari in tempo reale, ad esempio applicazioni che richiedono un accesso rapido, come il monitoraggio IoT.
• Ingestione ibrida: combina batch e streaming, consentendo sia aggiornamenti pianificati che flussi in tempo reale. È adatta a operazioni che necessitano sia di aggiornamenti statici che di tracciamento dinamico.

Diverse strutture di dati richiedono specifiche tecniche di ingestione ed elaborazione:

• Dati non strutturati: i dati senza un formato predefinito, come file di testo, immagini e video, spesso richiedono strumenti specializzati per l'elaborazione e vengono comunemente acquisiti tramite metodi batch o ibridi.
• Dati semi-strutturati: i dati con un certo livello di struttura, come JSON o XML, sono adatti sia all'ingestione batch che allo streaming e offrono flessibilità nella gestione di attributi in continua evoluzione.
• Dati strutturati: i dati organizzati secondo uno schema definito (ad es. database, fogli di calcolo) possono essere rapidamente integrati tramite ingestione batch o in streaming, e sono ideali per analisi e reportistica. 

Strumenti più diffusi

Gli strumenti di ingestione dei dati spaziano da opzioni open source come Apache NiFi e Kafka, noti per la flessibilità e la possibilità di personalizzazione, alle piattaforme commerciali come la Databricks Data Intelligence Platform, che combina ingestione, trasformazione e orchestrazione in un unico ambiente. 

Databricks Lakeflow è una soluzione unificata e intelligente per il data engineering basata sulla Databricks Data Intelligence Platform. Copre ingestione, trasformazione e orchestrazione dei dati. 
Come parte di Lakeflow, Lakeflow Connect offre connettori per fonti di dati eterogenee, permettendo modalità di ingestione flessibili, semplici ed efficienti sia per dati strutturati che non strutturati da applicazioni aziendali, fonti di file e database.
Lakeflow Connect consente l'ingestione dei dati da una varietà di fonti:

• Connettori gestiti: acquisisci dati con connettori integrati per applicazioni software-as-a-service (SaaS) e database.
• Connettori standard: acquisisci dati da storage di oggetti cloud e da fonti di streaming come Kafka con strumenti di sviluppo.
• File: acquisisci file che risiedono sulla tua rete locale, caricati in un volume o scaricati da una posizione Internet.

Funzionalità essenziali

Gli strumenti di ingestione efficaci semplificano l'elaborazione dei dati grazie a funzionalità quali:

• Evoluzione dello schema: si adatta automaticamente ai cambiamenti nelle strutture dei dati, riducendo l'intervento manuale.
• Tracciamento della provenienza dei dati: ricostruisce l'origine dei dati, supportando requisiti di governance e conformità.
• Gestione degli errori e monitoraggio: identifica e risolve i problemi in tempo reale, garantendo carichi di dati affidabili.
• Scalabilità: mantiene le prestazioni al crescere dei volumi di dati, aspetto fondamentale per operazioni su larga scala.
• Integrazione dei dati: consente un'integrazione fluida con data lake e data warehouse, per una gestione unificata dei dati.

Strumenti open source vs. soluzioni commerciali

Gli strumenti open source offrono flessibilità e controllo, ma spesso richiedono una maggiore configurazione, risultando quindi ideali per i team tecnici. Databricks combina solide basi open source con un ampio ecosistema di partner. La Databricks Data Intelligence Platform fornisce ingestione gestita con governance e automazione integrate, riducendo costi operativi e complessità.

L'ingestione dei dati costituisce di norma la fase iniziale dell'elaborazione dei dati, che va dalla raccolta all'analisi, e apre la strada ad altre operazioni successive. Il suo scopo principale è raccogliere dati grezzi da varie fonti e trasferirli in un sistema di archiviazione come data lake, data warehouse o lakehouse. La maggior parte delle organizzazioni necessita di passaggi aggiuntivi oltre l'ingestione, perché i dati grezzi devono essere ulteriormente raffinati prima di poter essere usati per l'analisi e il processo decisionale. L'ingestione consiste nel raccogliere dati da più sorgenti senza modificarne il formato, privilegiando rapidità e flessibilità di accesso così da facilitare le fasi di elaborazione successive.

Qual è la differenza tra ingestione dei dati ed ETL?

L'ingestione trasferisce i dati grezzi provenienti da varie fonti in un repository, senza trasformazioni, con l'obiettivo di garantire accesso immediato a dati non modificati. 
L'ETL consiste nell'estrarre i dati, trasformarli in base a specifiche esigenze e caricarli in un sistema di destinazione, e ha come obiettivo principale la preparazione dei dati per l'analisi. (Scopri la differenza tra ETL ed ELT.)
Le pipeline di dati gestiscono l'intera sequenza di passaggi necessari per spostare ed elaborare i dati trasformati. Oltre a ingestione ed ETL, una pipeline comprende diverse operazioni successive, come test di validazione, rimozione dei duplicati, esecuzione degli algoritmi di machine learning ed elaborazione dei dati in streaming.

Quando utilizzare ciascun approccio

L'ingestione dei dati è ideale per i casi che richiedono un accesso rapido ai dati grezzi per ricavare informazioni quasi in tempo reale. L'ETL è adatto a situazioni che necessitano di dati preparati e strutturati per la business intelligence e l'analisi, come la generazione di report standardizzati. Le pipeline di dati offrono un framework più ampio per gestire flussi di lavoro complessi, integrando più passaggi in un processo coeso.

Integrare ingestione dei dati ed ETL

Nelle architetture moderne, ingestione dei dati ed ETL si completano spesso a vicenda. Ad esempio, i dati possono essere inizialmente acquisiti in un lakehouse, dove i processi ETL li preparano successivamente per analisi e reportistica avanzata, mentre una pipeline di dati più ampia automatizza l'intero flusso di lavoro, dall'ingestione fino al machine learning e all'analisi. Databricks Lakeflow integra questi processi, creando un flusso di lavoro unificato per una gestione dei dati flessibile e completa.

Vantaggi

• Informazioni in tempo reale: forniscono accesso a dati aggiornati per decisioni tempestive, fondamentali nelle operazioni basate su informazioni correnti.
• Scalabilità avanzata: supporta in modo efficiente l'aumento dei volumi di dati da fonti eterogenee, adattandosi all'espansione delle esigenze aziendali.
• Modelli di AI migliorati: aggiornamenti continui aumentano l'accuratezza dei modelli di AI, essenziali per applicazioni come la manutenzione predittiva e la segmentazione dei clienti.
• Accesso centralizzato: riduce la necessità di estrazioni ripetute, consentendo ai team di vari reparti di sfruttare i dati in modo più efficiente.

Sfide

• Coerenza dei dati: garantire una qualità uniforme per dati provenienti da fonti diverse richiede robusti meccanismi di validazione.
• Gestione della latenza: mantenere bassa latenza per l'ingestione in tempo reale può essere oneroso in termini di risorse e richiede un'infrastruttura affidabile.
• Complessità di integrazione: combinare dati provenienti da fonti eterogenee richiede strumenti e competenze specializzati per allineare formati e risolvere incongruenze di schema.

Creare fondamenta solide

Stabilire best practice di base è essenziale per garantire flussi di lavoro di ingestione efficienti, affidabili e ben governati:

• Automatizzare monitoraggio e gestione degli errori: il monitoraggio automatico rileva e risolve i problemi di qualità dei dati in tempo reale, assicurando l'affidabilità dei dati e riducendo i tempi di inattività.
• Ottimizzare l'efficienza: utilizzare metodi di ingestione incrementale per evitare trasferimenti ridondanti, concentrandosi solo su record nuovi o aggiornati per risparmiare tempo e risorse.
• Integrare la governance fin dall'inizio: allineare le pipeline di ingestione a framework di governance come Unity Catalog per garantire conformità, accesso sicuro e tracciamento semplificato della provenienza dei dati.

Ottimizzazione continua

Una volta stabiliti i processi di ingestione, l'ottimizzazione continua rende più semplice adattarsi all'evoluzione delle esigenze aziendali e aiuta a gestire volumi di dati crescenti in modo efficace.

• Pianificazione strategica per la scalabilità: valutare regolarmente fonti di dati, frequenze di ingestione ed esigenze di batch o streaming per supportare la crescita dell'organizzazione e obiettivi quali l'analisi in tempo reale o l'archiviazione.
• Garantire qualità e coerenza dei dati: applicare controlli di validazione durante tutto il processo di ingestione dei dati per preservarne l'accuratezza, utilizzando strumenti di governance per standardizzare la gestione dei dati e assicurare gli stessi livelli di qualità a tutti i team.
• Monitoraggio continuo e ottimizzazione: impostare avvisi per latenza, cambiamenti di schema e altre interruzioni dell'ingestione, così da permettere ai team di reagire rapidamente e di regolare le configurazioni per massimizzare le prestazioni e ridurre i ritardi.