によって ケイティ・カミスキー, エヴァン オニール, フランコ・パターノ 、 カウンディンヤ・スリニヴァサラーオ による投稿
従来のデータウェアハウスは、予測可能で構造化されたワークロード向けに構築されていました。今日の世界は、これまでとは異なります。企業はストリーミングデータや非構造化データを扱い、容易に拡張できる高度なアナリティクスを求めています。
AI によって、さらに複雑さが増します。AI には、信頼性が高く、適切に管理され、いつでも利用可能なデータが必要です。旧式のシステムでこれらのニーズを満たすには、多くの場合、複雑な構成と高いコストが必要になります。
Azure Databricksがそれを変えます。warehouseの信頼性とlakehouseのオープン性をMergeさせ、Microsoftのツールと緊密に統合された、アナリティクス、ガバナンス、AIのための単一プラットフォームを構築します。
Power BI、Microsoft Purview、Azure Data Factory、Power Platform との統合により、チームはあらゆるデータワークフローにおいてガバナンスとパフォーマンスを維持しながら、使い慣れたツールを使用できます。
データが増大するにつれて、パフォーマンスだけでは不十分です。重要な知見を提供するためには、warehouseが信頼を得ることが不可欠です。その信頼はガバナンスから始まります。
ガバナンスは、AI に対応したwarehouseの礎です。ガバナンスがなければ、データはサイロ化され、信頼性の低いままになります。
Unity Catalog は、すべてのデータ資産にわたる権限、メタデータ、リネージを一元管理します。すべてのユーザーが同じアクセスルールに従い、チームはデータの出所や変更履歴を追跡できます。これにより、すべてのクエリーで正確かつ承認済みの情報が使用されているという確信が持てるようになります。
Azure Databricks は、Microsoft エコシステム全体でのデータのポ ータビリティを確保するため、Delta Lake や Apache Iceberg™ といったオープンフォーマットをサポートしています。レイクハウスフェデレーション を使用すると、チームはデータを複製したり移動したりすることなく、その場でクエリーを実行できます。
このオープン性とコントロールのバランスにより、企業はセキュリティ、コンプライアンス、監査可能性を維持しながら、アナリティクスを統合することが可能になります。
スピードは重要ですが、持続的なパフォーマンスはさらに重要です。Azure Databricks は、Photon エンジン、Auto リキッドクラスタリング、および 予測的最適化などの機能を通じて、その両方を提供します。これらのツールは、データLayoutとクエリーを自動的に調整し、手動での変更なしにワークロードを 25% 以上向上させることがよくあります。
Serverless コンピュートは、これをさらに進化させます。Warehouseは自動的にスケールし、使用した分だけが課金されます。たとえば、KPMG は Databricks SQL Serverless を使用して、クラスタリングを管理することなく Azure 上で high concurrency アナリティクスを処理しています。同社のアナリストは、インフラストラクチャではなく知見に集中できます。そして、パフォーマンスのあらゆるレイヤーが Unity Catalog のガバナンス上でランされるため、クエリーがスケールしてもデータはセキュアで追跡可能な状態を保ちます。
高いパフォーマンスは、データがタイムリーである場合にのみ重要です。そこで Lakeflow の出番です。
データパイプラインがパフォーマンスと信頼性を高めます。Lakeflow は、ストリーミングとバッチの両方のワークロードに対し、それらを構築・管理するための統合された方法をチームに提供します。
Lakeflow Designer は、パイプラインを設計するためのビジュアル インターフェースを提供します。Lakeflow Spark宣言型パイプライン は、使い慣れた SQL 構文を使用して、スケーラブルな変換を定義します。Lakeflow Jobs はオーケストレーションを管理し、タスクが確実に、かつ順番通りに実行されるようにします。
Zerobus は、最大 100 MB/s、5 秒未満のレイテンシでイベントストリーミングを可能にし、Structured Streaming リアルタイ ム Mode はそれをミリ秒単位まで短縮します。
すべてのパイプラインが Unity Catalog に接続されるため、ガバナンスとリネージはソースからダッシュボードまで一貫性が保たれます。これにより、データ移動がより高速、シンプル、かつ監査可能になります。
Azure Databricks の AI は、モデルのトレーニングだけにとどまりません。本番運用におけるプラットフォームのパフォーマンスの仕組みに、インテリジェンスが組み込まれています。
Predictive optimization はクエリから学習し、ワークロードを高速化します。オートスケールとワークロード管理機能が、リソースを自動的に調整します。ストレージ Layout は、コストと速度のバランスが取れるように自動的に最適化されます。
データサイエンティストは、Agent Bricks、Azure OpenAI、SQL AI 関数上のフロンティアモデルを使用することで、複雑なインフラストラクチャなしで知見にアクセスできます。Unity Catalog により、すべての出力の一貫性と追跡可能性が保証されます。
ビジネスユーザー向けには、AI/BI ダッシュボードの Genie が、自然言語による質問を、統制のとれた正確な回答に変換します。チームは安全にデータを探索し、より迅速に意思決定を行うことができます。
Azure Databricks は Azure ネイティブです。Microsoft のツール全体と緊密に統合されており、シームレスなデータおよびアナリティクス エクスペリエンスを提供します。
この統合により、組織は既存の Microsoft ツールを使用しつつ、データ基盤をモダナイズできます。
Warehouseは、もはや単なる履歴レポートシステムではありません。インテリジェントなリアルタイム分析の基盤です。
Azure Databricks は、warehouse のパフォーマンス、lakehouse の柔軟性、AI プラットフォームのインテリジェンスを兼ね備えています。Unity Catalog、Photon、Lakeflow、Agent Bricks を活用することで、大規模なデータの管理、最適化、分析を行うための単一の統合環境が提供されます。
チームは Lakebridge と 移行ガイド を使用して簡単に移行できます。Databricks SQL は ANSI SQL とストアドプロシージャをサポートしているため、Teradata や Oracle のようなシステムからの移行は簡単です。
ウェアハウジングの未来は、統合され、統 制され、インテリジェントなものです。そして Azure Databricks は、その未来を今日実現します。
ブログを購読して、最新の投稿を受信トレイにお届けします。