待望の機能がついに登場！ストリーミングテーブル＆マテリアライズドビュー共有がプレビュー公開

マテリアライズドビューとストリーミングテーブルの共有がパブリックプレビューで利用可能になったことをお知らせできることを嬉しく思います。ストリーミングテーブル（ST）は継続的にストリーミングデータを取り込むため、リアルタイムデータパイプラインに最適です。一方、マテリアライズドビュー（MV）はクエリ結果を事前に計算して保存することで、SQL分析やBIダッシュボードのパフォーマンスを向上させます。

このブログ記事では、これら2種類のアセットを共有することで、データプロバイダーがパフォーマンスを向上させ、コストを削減しながら、データ受信者に最新かつ関連性の高いデータを提供できる方法について探ります。

マテリアライズドビューとストリーミングテーブルの理解

マテリアライズドビュー（MV）とストリーミングテーブル（ST）は、はどちらも増分更新をサポートしており、データを最新の状態に保ちながらクエリを効率的に実行するのに役立ちます。

• ストリーミングテーブルはリアルタイムデータの取り込みに使用され、生データが最初に到着する「ブロンズ」レイヤーを形成することが多いです。ログ、イベント、センサーデータなどのソースに適しています。
• マテリアライズドビューは、データが洗練または集計される「シルバー」または「ゴールド」レイヤーに適しています。完全なベーステーブルをスキャンする代わりに結果を事前計算することで、クエリ時間を短縮します。

両方を組み合わせて使用することもできます。例えば、ストリーミングテーブルはセンサー読み取り値の取り込みを処理し、マテリアライズドビューは異常なパターンの検出などの継続的な計算を実行します。

ストリーミングテーブルとマテリアライズドビューの詳細についてはこちらのブログをご覧ください。

データプロバイダーがSTを共有する必要がある理由

ストリーミングテーブル（ST）の共有により、データ受信者はパイプラインを複製したりデータを複製したりすることなく、最新のリアルタイムデータにアクセスできます。小売企業がリアルタイムの販売データを物流パートナーと共有して、ほぼリアルタイムの配送最適化をサポートするシナリオを考えてみましょう。

1. 企業はDatabricksでストリーミングテーブルを構築・維持し、eコマースプラットフォームから取引データを継続的に取り込みます。このテーブルは商品購入などのイベントを捕捉し、在庫レベルを更新し、現在の販売活動の状態を反映します。

2. 企業はDelta Sharingを使用してストリーミングテーブルを共有します。これはDatabricksで共有を作成し、次のSQLコマンドでテーブルを追加することで行われます：

1. 物流パートナーには、自身のDatabricksワークスペースから共有ストリーミングテーブルにアクセスするための認証情報と設定詳細が提供されます。

2. 物流パートナーはリアルタイムの販売データを使用して、配送のホットスポットを予測し、車両の経路をリアルタイムで更新し、需要の高いエリアでのパッケージ配送速度を向上させます。

ストリーミングテーブルを共有することで、物流パートナーは冗長なETLパイプラインを構築する必要がなくなり、複雑さとインフラコストが低減されます。Delta Sharingはクロスプラットフォームアクセスを可能にするため、データ消費者はDatabricksを使用する必要はありません。ストリーミングテーブルはクラウド、リージョン、プラットフォーム間で共有できます。

データプロバイダーはUnity Catalogを通じて管理される細かいアクセス許可を使用して、アクセスを完全に制御します。

データプロバイダーがDatabricksユーザーや他のプラットフォームとSTを共有する方法については、このデモをご覧ください。

データプロバイダーがMVを共有する必要がある理由

生のベーステーブルではなくマテリアライズドビューのみを共有することで、データのセキュリティと関連性が向上します。基礎となるデータから機密フィールドや不要なフィールドを隠しながら、消費者に必要な特定の洞察を提供します。このアプローチは、消費者が集計またはフィルタリングされた結果に興味があり、完全なソースデータへのアクセスを必要としない場合に特に有用です。

例えば、金融市場の洞察を収益化するデータプロバイダーを考えてみましょう。彼らは株式市場取引などの生のトランザクションを処理し、価値のある集計された洞察（例：業界セクターの日次パフォーマンス）を作成します。ヘッジファンド（顧客）はテクノロジー株の金融パフォーマンスに関する日次洞察を必要としていますが、大量の生のトランザクションデータを処理したくありません。

生の取引データを共有する代わりに、データプロバイダーはヘッジファンドに使いやすく解釈しやすい事前計算された洞察を提供するための厳選されたデータセットを作成できます。

1. データプロバイダーは集計された取引データを構築してテクノロジーセクターの日次パフォーマンスを計算し、結果をマテリアライズドビューとして保存します。このMVは、ヘッジファンドのようなダウンストリームの消費者に、すぐに使用できる事前集計された洞察を提供します。

2. プロバイダーはこのMVを安全な共有オブジェクトに追加し、顧客の受信者認証情報にアクセス権を付与します：

4. ヘッジファンドはPython、Tableau、Databricks SQLなどの分析ツールを使用して共有MVを取得します。Databricksを使用している場合、受信者はUnity Catalogで共有を直接マウントできます。Delta Sharingは相互運用性を確保し、MVは異なるプラットフォーム、ツール（Apache Spark™、Pandas、Tableauなど）、クラウド間で単一のエコシステムにロックインされることなく共有できます。

5. ヘッジファンドはこの事前計算されたデータを直接使用して、テクノロジー株への投資調整などの意思決定を行うことができます。

データプロバイダーは各顧客向けの複雑なカスタムパイプラインの管理を回避しました。MVを作成して共有することで、同じデータの複数のバージョンを維持する必要がなくなりました。ベーステーブルからの不要な詳細はすべて保護されたまま、受信者のデータニーズを満たしています。データ受信者は厳選されたデータに即座にアクセスでき、データ準備ではなく分析にリソースを費やします。

データプロバイダーがDatabricksユーザーや他のプラットフォームとMVを共有する方法については、このデモをご覧ください。

ビューとマテリアライズドビューはいつ使い分けるべきか？

Delta Sharingはクロスプラットフォームビューの共有もサポートしており、データプロバイダーはDelta Sharingプロトコルを使用してビューを共有できます。マテリアライズドビューは事前集計された結果の共有とクエリパフォーマンスの向上に役立ちますが、ビューの方が適している場合もあります。Delta Sharingはプラットフォーム、クラウド、リージョン間でのビュー共有もサポートしています。マテリアライズドビューとは異なり、ビューは事前計算されず、クエリ時に評価されます。これにより、最新のデータへのリアルタイムアクセスが必要なシナリオや、異なる消費者がその場でフィルターを適用する必要があるシナリオに適しています。ビューはパフォーマンスの最適化よりもデータの鮮度やクエリ固有のカスタマイズが重要な場合に、より柔軟性を提供します。

Kaluzaがエネルギーパートナーとマテリアライズドビューを共有する方法

Kaluzaは先進的なエネルギーソフトウェアプラットフォームで、エネルギー供給業者が運用を変革し、顧客体験を刷新し、エネルギーを最適化して、より安価で環境に優しい電力網への移行を加速できるようにします。

エネルギープロバイダーは、電気自動車、ヒートポンプ、ソーラーパネル、バッテリーなどの接続デバイスの増加に加え、よりボラティリティの高いエネルギーシステムと複雑な顧客ニーズから生じるデータ管理の複雑さが増しています。従来のアーキテクチャでは、大規模なリアルタイムの洞察と運用効率を提供することが困難です。

MV/ST共有により、Kaluzaプラットフォームがエンジニアリングの複雑さを軽減して運用できる包括的なソリューションが実現します。マテリアライズドビューを出力するパイプラインを通じて、Kaluzaはパートナーがモデル化されたデータやレポートにアクセスして実用的な洞察を得られるようにします。このアプローチはコラボレーションを効率化し、統合のオーバーヘッドを削減し、市場全体での新しい顧客提案の提供を加速します。

「エネルギーデータの規模と複雑さは、業界間の協力と知識共有を必要とします。Delta Sharingのマテリアライズドビューは、エネルギー供給者とのシームレスな統合を促進し、グリッドの脱炭素化を支援し、システムの利害関係者と顧客の両方に価値をもたらします。」

— Thomas Millross、データエンジニアリングマネージャー、Kaluza

まとめ

ストリーミングテーブルとマテリアライズドビューの共有により、コストと複雑さを削減しながら、新鮮でリアルタイムの洞察を提供することが容易になります。ライブデータストリームや事前計算された結果を共有する場合でも、MV/ST共有は重要なこと—より速く良い決断を下すこと—に集中できるよう支援します。MV/ST共有は現在パブリックプレビューで利用可能です。ぜひお試しください！