El nuevo servicio Microsoft Azure Data Warehouse y Azure Databricks combinan analítica, BI y ciencia de datos

Lee El auge del data lakehouse para descubrir por qué los lakehouses son la arquitectura de datos del futuro con el padre del data warehouse, Bill Inmon.

En los últimos dos años, desde que estuvo disponible por primera vez, miles de empresas han adoptado Azure Databricks, lo que lo convierte en uno de los servicios de datos e IA de más rápido crecimiento en Microsoft Azure. Los clientes ahora procesan más de 2 exabytes por mes, con millones de horas de servidor que se ejecutan cada día. Todo esto es impulsado por organizaciones como Electrolux, Shell y renewables.AI que utilizan Azure Databricks para procesar datos a escala masiva para la ciencia de datos y la analítica.

Dentro de esta increíble adopción, se destaca una arquitectura de solución específica llamada Almacén de datos moderno (MDW). A principios de este año, escribimos sobre los beneficios de rendimiento y escala de esta solución, y parte del éxito del patrón ha sido nuestra estrecha integración con Azure SQL Data Warehouse con un conector de alto rendimiento que fue diseñado conjuntamente para que mover datos entre los dos servicios sea rápido y fácil.

Tres maneras en que Azure Databricks funciona con Azure Synapse Analytics

Hoy, Microsoft anunció la próxima evolución de su servicio de almacén de datos: Azure Synapse Analytics. Esta es una noticia emocionante y seguimos trabajando estrechamente con Microsoft para integrarnos con Azure Synapse y unir el análisis, la inteligencia empresarial (BI) y la ciencia de datos en una única arquitectura de solución. A continuación, se presentan tres formas clave en que Azure Databricks funciona con Azure Synapse:

1.  
   1. El conector de alto rendimiento entre Azure Databricks y Azure Synapse permite una rápida transferencia de datos entre los servicios, incluida la compatibilidad para la transmisión de datos. Esto significa que los clientes pueden seguir usando Azure Databricks (hasta 50 veces más rápido que Apache Spark de código abierto) para las cargas de trabajo de extracción, transformación y carga (ETL), a fin de preparar y dar forma a los datos a escala para Azure Synapse.
   2. Azure Data Factory (ADF) admite Azure Databricks en la función Mapping Data Flows. Esto ofrece ETL visual sin código para la preparación y transformación de datos a escala, y ahora que ADF forma parte del área de trabajo de Azure Synapse, proporciona otra vía para acceder a estas capacidades.
   3. Azure Synapse y Azure Databricks pueden ejecutar análisis sobre los mismos datos en Azure Data Lake Storage. Esto abre oportunidades aún mayores para combinar soluciones de analítica, BI y ciencia de datos con un data lake compartido entre servicios.

Nos encantaría recibir sus comentarios a medida que comience a usar Azure Databricks y Azure Synapse en la próxima evolución de la arquitectura de la solución de Almacén de datos moderno.