分析、BI、データサイエンスを組み合わせた新しい Microsoft Azure データウェアハウスサービスと Azure Databricks

『Rise of the Data Lakehouse』を読み、データウェアハウスの父であるビル・インモンと共に、データレイクハウスが未来のデータアーキテクチャである理由を探りましょう。

Azure Databricksは、最初に利用可能になってからこの2年間で数千社の企業に採用され、Microsoft Azureで最も急成長しているデータおよびAIサービスの1つになりました。現在、顧客は毎月 2 エクサバイトを超えるデータを処理しており、毎日数百万サーバー時間がスピンアップしています。これらすべては、データサイエンスとアナリティクスのために Azure Databricks を使って大規模なデータを処理する Electrolux、シェル、renewables.AI などの組織が原動力となっています。

この素晴らしい導入において、特に注目すべきは モダン データ ウェアハウス (MDW) と呼ばれる特定のソリューション アーキテクチャです。今年の初めに、このソリューションの パフォーマンスとスケールのメリット について記事にしました。このパターンが成功した要因の一部は、2 つのサービス間でデータを高速かつ容易に移動させるために共同開発された、高性能コネクタを介した Azure SQL Data Warehouse との緊密な統合にあります。

Azure DatabricksがAzure Synapse Analyticsと連携する3つの方法

本日、Microsoftは、同社のデータウェアハウスサービスの次なる進化形であるAzure Synapse Analyticsを発表しました。これは素晴らしいニュースです。私たちは引き続き Microsoft と緊密に連携し、Azure Synapse と統合することで、アナリティクス、ビジネスインテリジェンス (BI)、データサイエンスを 1 つのソリューション アーキテクチャに集約していきます。Azure Databricks が Azure Synapse と連携する主な 3 つの方法を次に示します。

1.  
   1. また、Azure Databricks と Azure Synapse 間の高性能コネクタが、ストリーミングデータを含むサービス間のデータ転送を高速化します。これにより、お客様は、抽出、変換、読み込み (ETL) のワークロードで Azure Databricks (オープンソースの Apache Spark よりも最大 50 倍高速) を引き続き使用して、Azure Synapse 向けにデータを大規模に準備、整形できます。
   2. Azure Data Factory (ADF) は、Mapping Data Flows 機能で Azure Databricks をサポートしています。これにより、コードフリーのビジュアルETLで大規模なデータ準備と変換が可能になります。ADFがAzure Synapseワークスペースの一部となった今、これらの機能にアクセスするための新たな手段が提供されています。
   3. Azure Synapse と Azure Databricks は、Azure Data Lake Storage 内の同じデータでアナリティクスを実行できます。これにより、複数のサービスにわたる共有データレイクで、アナリティクス、BI、データサイエンスのソリューションを組み合わせる機会がさらに広がります。

モダン データ ウェアハウス ソリューション アーキテクチャの次なる進化形である Azure Databricks と Azure Synapse のご利用を開始するにあたり、ぜひ皆様のフィードバックをお聞かせください。