O novo serviço de data warehouse do Microsoft Azure e o Azure Databricks combinam análise, BI e ciência de dados

Leia A Ascensão do Data Lakehouse para explorar por que os lakehouses são a arquitetura de dados do futuro com o pai do data warehouse, Bill Inmon.

Nos últimos dois anos, desde que foi disponibilizado pela primeira vez, milhares de empresas adotaram o Azure Databricks, tornando-o um dos serviços de dados e IA de crescimento mais rápido no Microsoft Azure. Os clientes agora processam mais de 2 exabytes por mês, com milhões de horas de servidor sendo ativadas todos os dias. Tudo isso é impulsionado por organizações como Electrolux, Shell e renewables.AI, que estão usando o Azure Databricks para processar dados em grande escala para ciência de dados e analítica.

Dentro dessa incrível adoção, há uma arquitetura de solução específica a ser destacada, chamada de Modern Data Warehouse (MDW). No início deste ano, escrevemos sobre os benefícios de desempenho e escala desta solução, e parte do sucesso do padrão foi nossa integração próxima ao Azure SQL Data Warehouse com um conector de alto desempenho, projetado em conjunto para tornar rápida e fácil a movimentação de dados entre os dois serviços.

Três maneiras de o Azure Databricks trabalhar com o Azure Synapse Analytics

Hoje, a Microsoft anunciou a próxima evolução do seu serviço de data warehouse: Azure Synapse Analytics. Esta é uma notícia animadora, e continuamos a trabalhar em estreita colaboração com a Microsoft para nos integrarmos ao Azure Synapse e reunirmos analítica, Business Intelligence (BI) e ciência de dados em uma única arquitetura de solução. Aqui estão três maneiras principais de o Azure Databricks trabalhar com o Azure Synapse:

1.  
   1. O conector de alto desempenho entre Azure Databricks e Azure Synapse permite a transferência rápida de dados entre serviços, incluindo suporte para streaming de dados. Isso significa que os clientes podem continuar a usar o Azure Databricks (até 50x mais rápido que o Apache Spark de código aberto) para cargas de trabalho de extração, transformação e carregamento (ETL) para preparar e moldar dados em escala para o Azure Synapse.
   2. O Azure Data Factory (ADF) oferece suporte ao Azure Databricks no recurso Mapping Data Flows. Isso oferece ETL visual e sem código para preparação e transformação de dados em escala e, agora que o ADF faz parte do workspace do Azure Synapse, ele fornece outra maneira de acessar esses recursos.
   3. O Azure Synapse e o Azure Databricks podem executar analítica nos mesmos dados no Azure Data Lake Storage. Isso abre oportunidades ainda maiores para combinar soluções de analítica, BI e ciência de dados com um data lake compartilhado entre serviços.

Adoraríamos receber seu feedback ao começar a usar o Azure Databricks e o Azure Synapse na próxima evolução da arquitetura de solução do Modern Data Warehouse.