Il nuovo servizio Microsoft Azure Data Warehouse e Azure Databricks combinano analitica, BI e Data Science

Leggi Rise of the Data Lakehouse per scoprire perché i lakehouse sono l'architettura dei dati del futuro con il padre del data warehouse, Bill Inmon.

Negli ultimi due anni dal suo lancio, migliaia di aziende hanno adottato Azure Databricks, rendendolo uno dei servizi di dati e AI in più rapida crescita su Microsoft Azure. I clienti ora elaborano oltre 2 exabyte di dati al mese, con milioni di ore-server avviate ogni giorno. Tutto questo è guidato da organizzazioni come Electrolux, Shell e renewables.AI, che utilizzano Azure Databricks per elaborare dati su vasta scala per la Data Science e le analitiche.

All'interno di questa straordinaria adozione, è da evidenziare un'architettura di soluzione specifica denominata Modern Data Warehouse (MDW). All'inizio di quest'anno abbiamo scritto dei vantaggi in termini di prestazioni e scalabilità di questa soluzione e parte del successo di questo pattern è stata la nostra stretta integrazione con Azure SQL Data Warehouse con un connettore ad alte prestazioni, sviluppato congiuntamente per rendere rapido e semplice lo spostamento dei dati tra i due servizi.

Tre modi in cui Azure Databricks funziona con Azure Synapse Analytics

Oggi Microsoft ha annunciato la nuova evoluzione del suo servizio di data warehouse: Azure Synapse Analytics. Si tratta di una notizia entusiasmante e continuiamo a lavorare a stretto contatto con Microsoft per l'integrazione con Azure Synapse e per unire analitiche, Business Intelligence (BI) e Data Science in un'unica architettura di soluzione. Ecco tre modi principali con cui Azure Databricks interagisce con Azure Synapse:

1.  
   1. Il connettore ad alte prestazioni fra Azure Databricks e Azure Synapse consente di trasferire velocemente dati fra i servizi, incluso il supporto per lo streaming dei dati. Ciò significa che i clienti possono continuare a utilizzare Azure Databricks (fino a 50 volte più veloce della versione open source di Apache Spark) per carichi di lavoro di estrazione, trasformazione e caricamento (ETL) al fine di preparare e modellare i dati su larga scala per Azure Synapse.
   2. Azure Data Factory (ADF) supporta Azure Databricks nella funzionalità Mapping Data Flows. Questa offre un ETL visivo senza codice per la preparazione e trasformazioni dei dati su larga Scale e, ora che ADF fa parte del workspace di Azure Synapse, fornisce un'altra via per accedere a queste funzionalità.
   3. Azure Synapse e Azure Databricks possono eseguire analitiche sugli stessi dati in Azure Data Lake Storage. Ciò apre opportunità ancora maggiori per combinare soluzioni di analitiche, BI e Data Science con un data lake condiviso tra i vari servizi.

Ci piacerebbe conoscere il tuo feedback quando inizierai a utilizzare Azure Databricks e Azure Synapse nella nuova evoluzione dell'architettura della soluzione Modern Data Warehouse.