새로운 Microsoft Azure 데이터 웨어하우스 서비스와 Azure Databricks로 분석, BI와 데이터 사이언스 결합

데이터 레이크하우스 를 읽고 데이터 웨어하우스의 아버지인 Bill Inmon과 함께 lakehouse가 왜 미래의 데이터 아키텍처인지 알아보세요.

처음 출시된 지난 2년 동안 수천 개의 기업이 Azure Databricks를 채택했으며, Microsoft Azure에서 가장 빠르게 성장하는 데이터 및 AI 서비스 중 하나가 되었습니다. 이제 고객은 매일 수백만 서버 시간을 스핀업하며 매월 2엑사바이트 이상을 처리합니다. 이러한 성장은 Electrolux, Shell, renewables.AI 와 같이 Azure Databricks를 사용하여 Data Science 및 분석을 위해 방대한 규모의 데이터를 처리하는 조직들이 이끌고 있습니다.

이러한 놀라운 도입 사례 중에는 최신 데이터 웨어하우스(MDW)라는 특별히 주목할 만한 특정 솔루션 아키텍처가 있습니다. 올해 초에 우리는 이 솔루션의 성능 및 확장성 이점 에 대해 소개했습니다. 이러한 패턴이 성공할 수 있었던 이유 중 하나는 두 서비스 간에 데이터를 빠르고 쉽게 이동시키기 위해 공동으로 설계된 고성능 커넥터로 Azure SQL Data Warehouse와 긴밀하게 통합 한 덕분입니다.

Azure Databricks가 Azure Synapse Analytics와 연동하는 세 가지 방법

오늘 Microsoft는 자사의 데이터 웨어하우스 서비스가 한 단계 더 발전한 Azure Synapse Analytics를 발표했습니다. 이는 매우 흥미로운 소식이며, 저희는 Microsoft와 긴밀히 협력하여 Azure Synapse와 통합하고 분석, 비즈니스 인텔리전스(BI), 데이터 과학을 하나의 솔루션 아키텍처로 통합하는 작업을 계속하고 있습니다. Azure Databricks가 Azure Synapse와 연동되는 세 가지 주요 방법은 다음과 같습니다.

1.  
   1. Azure Databricks와 Azure Synapse 사이의 고성능 커넥터는 데이터 스트리밍 지원은 물론이고, 서비스 간 데이터 전송을 지원합니다. 이는 고객이 (오픈 소스 Apache Spark보다 최대 50배 더 빠른) Azure Databricks를 계속 사용하여 추출, 변환, 로드(ETL) 워크로드를 처리하고, Azure Synapse를 위해 대규모로 데이터를 준비하고 구성할 수 있다는 것을 의미합니다.
   2. Azure Data Factory(ADF)는 매핑 데이터 흐름 기능에서 Azure Databricks를 지원합니다. 이는 대규모 데이터 준비 및 변환을 위한 코드 없는 시각적 ETL을 제공하며, 이제 ADF가 Azure Synapse 워크스페이스의 일부가 되었으므로 이러한 기능에 액세스할 수 있는 또 다른 방법을 제공합니다.
   3. Azure Synapse와 Azure Databricks는 Azure Data Lake Storage에 있는 동일한 데이터에 대해 분석을 실행할 수 있습니다. 이를 통해 서비스 전반에서 공유 데이터 레이크를 사용하여 분석, BI 및 Data Science 솔루션을 결합할 수 있는 훨씬 더 큰 기회가 열립니다.

차세대 최신 데이터 웨어하우스 솔루션 아키텍처에서 Azure Databricks와 Azure Synapse를 사용하기 시작하시면서 피드백을 보내주시면 감사하겠습니다.