統合データ ウェアハウスとは何ですか?
データ ウェアハウスとデータ レイクの機能に、統合ガバナンス、ACID トランザクション、SQL および ML ワークロードのサポートを組み合わせた最新のアーキテクチャ
Summary
- 従来のデータウェアハウスの構造化分析と、非構造化データ向けのデータレイクの柔軟性を融合し、個別のシステムやデータの重複を排除します。
- Delta Lakeなど のフォーマットを使用してデータレイク上でACIDトランザクションを提供し、データの品質と一貫性を維持しながら、信頼性の高い更新、削除、タイムトラベルを実現します。
- Unity Catalogなどのカタログを通じて統合ガバナンスをサポートし、SQLアナリスト、データエンジニア、データサイエンティストが適切なセキュリティで同じデータセットを操作できるようにします。
統合データウェアハウスとは
統合データウェアハウス（エンタープライズデータウェアハウスとも呼ばれる）は、業務に関わるあらゆるデータを保持し、エンタープライズ全体でのアクセスが可能な統合データベースです。現在、多くの企業ではデータが部門ごとに分断された“サイロ化”状態にあります。データの品質、統合、ガバナンスの保守や、メタやマスターデータ、B2B データ交換、データベース、アーキテクチャの管理など、同じ組織内の異なるそれぞれの部門で、多様なデータをさまざまなツールで管理しています。大企業におけるデータウェアハウス（ DW）の採用は、さまざまな異種オペレーショナルソースから抽出した統合および一元化されたデータを格納するためのベストプラクティスとなっています。DWを導入すれば、運用システムの処理に影響を与えずに複雑な分析クエリを実行できます。
DW の典型的なアーキテクチャは、さまざまなコンポーネントで 構成され、重要な操作がデータ上で実行されると、データがあるコンポーネントから次のコンポーネントに渡されます。統合データウェアハウスの構造は、データウェアハウスアーキテクチャに含まれるコンポーネントのサブセットで構成されており、データソース、コア DW 、データマート、抽出・変換・ロード（ ELT ）プロセス、メタデータリポジトリなどが挙げられます。統合データウェアハウスの最大の利点は、企業全体のデータを一元的に管理できる点にあります。これにより、データを実用的な情報に変換するために個別のデータ分析が不要になり、意思決定プロセスが改善されます。
統合データウェアハウスの活用によるメリット
- データウェアハウスの情報の追跡、管理、分析の機能により、データに付加的なサポートを提供します。データによる意思決定、分析レポートの作成、データマイニングのために設計された優れた環境が提供されます。
- 統合データウェアハウスは、他の分析プログラムと連携して企業の成長を促進します。
- 分析や計画を目的とする企業データに、常にアクセス可能です。
- ユーザーは、多様なパラメータで膨大なデータを保存でき、普段は使用しない複数のソースからデータを引き出すことができます。
- データリファイン機能を備えており、重複情報を削除してデータ品質を向上させます。
- データ操作を最小限に抑え、最高レベルの整合性を保持します。
- 改善された最新情報を提供します。
ガートナー®: Databricks、クラウドデータベースのリーダー
FAQ
1. 統合データウェアハウスの目的は？
企業内の分散データを一元管理し、信頼性の高い情報基盤として意思決定を支援することです。
2. 主な構成要素は？
データソース、コアDW、データマート、ELTプロセス、メタデータリポジトリなどが含まれます。
3. 導入の利点は？
データ品質の向上、分析効率の改善、重複排除による一貫性維持、リアルタイムな情報提供などです。