Les nouveaux services de data warehouse Microsoft Azure et Azure Databricks réunissent l'analytique, la BI et la data science

Lisez Rise of the data lakehouse pour découvrir pourquoi les lakehouses sont l'architecture de données du futur avec le père du data warehouse, Bill Inmon.

Au cours des deux dernières années depuis son lancement, des milliers d'entreprises ont adopté Azure Databricks, ce qui en fait l'un des services de données et d'IA à la croissance la plus rapide sur Microsoft Azure. Les clients traitent désormais plus de 2 exaoctets par mois, avec des millions d'heures-serveur lancées chaque jour. Tout cela est possible grâce à des organisations telles que Electrolux, Shell et renewables.AI, qui utilisent Azure Databricks pour traiter des données à très grande échelle pour la Data Science et l'analytique.

Cette adoption exceptionnelle met en lumière une architecture de solution spécifique appelée l'entrepôt de données moderne (MDW). Plus tôt cette année, nous avons écrit sur les avantages en termes de performances et de montée en charge de cette solution, et le succès de ce modèle s'explique en partie par notre intégration étroite à Azure SQL Data Warehouse et son connecteur hautes performances, qui a été conçu conjointement pour faciliter et accélérer le déplacement des données entre les deux services.

Trois façons dont Azure Databricks fonctionne avec Azure Synapse Analytics

Aujourd'hui, Microsoft a annoncé la prochaine évolution de son service de data warehouse : Azure Synapse Analytics. C'est une excellente nouvelle et nous poursuivons notre étroite collaboration avec Microsoft pour intégrer Azure Synapse et réunir l'analytique, la Business Intelligence (BI) et la Data Science dans une architecture de solution unifiée. Voici trois manières clés dont Azure Databricks fonctionne avec Azure Synapse :

1.  
   1. Le connecteur haute performance entre Azure Databricks et Azure Synapse permet un transfert rapide des données entre les services, y compris la prise en charge des données streaming. Cela signifie que les clients peuvent continuer à utiliser Azure Databricks (jusqu'à 50 fois plus rapide que la version open source d'Apache Spark) pour les charges de travail d'extraction, de transformation et de chargement (ETL) afin de préparer et de mettre en forme les données à grande échelle pour Azure Synapse.
   2. Azure Data Factory (ADF) prend en charge Azure Databricks dans la fonctionnalité Mapping Data Flows. Cela offre un ETL visuel sans code pour la préparation et la transformation des données à grande échelle et, maintenant qu'ADF fait partie du Azure Synapse workspace, cela constitue un autre moyen d'accéder à ces fonctionnalités.
   3. Azure Synapse et Azure Databricks peuvent exécuter l'analytique sur les mêmes données dans Azure Data Lake Storage. Cela ouvre des opportunités encore plus grandes pour combiner des solutions d'analytique, de BI et de data science avec un data lake partagé entre les services.

Nous serions ravis de recevoir vos commentaires alors que vous commencez à utiliser Azure Databricks et Azure Synapse dans la prochaine évolution de l'architecture de solution Modern Data Warehouse.