Databricks Lakehouse Platform上でQuest社のerwin Data Modelerを使用した視覚的なデータモデリング

erwin Data Modeler を使用したデータモデリング

お客様がデータ資産をDatabricksにモダナイズするにつれて、様々なデータマートやEDWを、ETL、BI、AIをサポートする単一のスケーラブルなレイクハウスアーキテクチャに統合しています。このジャーニーの最初のステップの1つは通常、既存のレガシーシステムのデータモデルを評価し、Databricks LakehouseアーキテクチャのBronze、Silver、Goldゾーンに合理化および変換することから始まります。レイクハウスのデータ資産を視覚化、設計、デプロイ、標準化できる堅牢なデータモデリングツールは、レイクハウスの設計と移行のジャーニーを大幅に簡素化し、データガバナンスの側面も加速させます。

これらのニーズに応えるため、Questによるerwin Data ModelerとDatabricks Lakehouse Platformとのパートナーシップおよび統合を発表できることを嬉しく思います。データモデラーは、erwin Data Modelerを使用してレイクハウスのデータ構造をモデル化および視覚化し、論理データモデルと物理データモデルを構築して、Databricksへの移行を迅速化できるようになりました。データモデラーとアーキテクトは、Databricks上のデータベースとその基盤となるテーブルやビューを迅速にリバースエンジニアリングまたは再構築できます。Databricks Partner Connectからerwin Data Modelerに簡単にアクセスできるようになりました！

erwin Data Modelerのようなデータモデリングツールが重要である主な理由をいくつかご紹介します。

1. データの理解度の向上：データモデリングツールは、複雑なデータ構造を視覚的に表現し、関係者が異なるデータ要素間の関係を理解しやすくします。
2. 精度と一貫性の向上：データモデリングツールは、データベースが精度と一貫性を念頭に置いて設計されることを保証し、データのエラーや不整合のリスクを低減するのに役立ちます。
3. コラボレーションの促進：データモデリングツールを使用すると、複数の関係者がデータベースの設計で協力し、全員が同じ認識を持ち、結果として得られるスキーマがすべての関係者のニーズを満たすことを保証できます。
4. データベースパフォーマンスの向上：適切に設計されたデータベースは、それに依存するアプリケーションのパフォーマンスを向上させ、より高速で効率的なデータ処理につながります。
5. メンテナンスの容易化：適切に設計されたデータベースでは、新しいデータ要素の追加や既存のデータ要素の変更などのメンテナンス作業が容易になり、エラーが発生しにくくなります。
6. データガバナンス、データインテリジェンス、メタデータ管理の強化。

このブログでは、erwin Data ModelerをDatabricksと組み合わせて使用する3つのシナリオを説明します。

1. 最初のシナリオは、ビジネスチームからのドキュメントに基づいて、新しいエンティティ関係図（ERD）を構築したいチームの場合です。目標は、ビジネスユニットがシステムに適用されている関係、定義、ビジネスルールを理解し適用するための論理モデルのER図を作成することです。この論理モデルに基づいて、Databricks用の物理モデルも構築します。
2. 2番目のシナリオでは、ビジネスユニットが現在のDatabricks環境からリバースエンジニアリングすることで視覚的なデータモデルを構築し、ビジネス定義、関係、ガバナンスの視点を理解し、レポートおよびガバナンスチームと協力します。
3. 3番目のシナリオでは、プラットフォームアーキテクトチームが、Oracle、SQL Server、Teradata、MongoDBなどの様々なエンタープライズデータウェアハウス（EDW）とデータマートをDatabricks Lakehouseプラットフォームに統合し、統合されたマスターモデルを構築します。

ERDの作成が完了したら、Databricksの物理設計チーム向けにDDL/SQLファイルを生成する方法をご紹介します。

シナリオ #1: Databricksに実装する新しい論理データモデルと物理データモデルを作成する

最初のステップは、ここに示されているように、論理/物理モデルを選択することです。

選択後、このモデルでエンティティ、属性、関係、定義、その他の詳細の構築を開始できます。

以下のスクリーンショットは、高度なモデルの例を示しています。

ここでは、必要に応じてモデルを構築し、詳細を文書化できます。erwin Data Modelerの使用方法の詳細については、オンラインのヘルプドキュメントを参照してください。

シナリオ #2: Databricks Lakehouse Platformからデータモデルをリバースエンジニアリングする

データモデルのリバースエンジニアリングとは、既存のデータベースまたはスクリプトからデータモデルを作成することです。モデリングツールは、選択されたデータベースオブジェクトとオブジェクト間の関係のグラフィカルな表現を作成します。このグラフィカルな表現は、論理モデルまたは物理モデルのいずれかです。

erwin Data Modelerからパートナーコネクトを介してDatabricksに接続します。

接続オプション:

以下のスクリーンショットは、erwin DataModelerを介したDatabricks SQL WarehouseへのJDBC接続を示しています。

これにより、利用可能なすべてのデータベースを表示し、ERDモデルを構築したいデータベースを選択できます。以下に示します。

上記のスクリーンショットは、上記の方法でDatabricksからリバースエンジニアリングした後に構築されたERDを示しています。データモデルをリバースエンジニアリングすることの利点は次のとおりです。

1. 既存システムの理解度の向上：既存システムをリバースエンジニアリングすることで、その仕組みや様々なコンポーネントがどのように相互作用するかをよりよく理解できます。これにより、潜在的な問題や改善点を特定するのに役立ちます。
2. コスト削減：リバースエンジニアリングは、既存システムの非効率性を特定するのに役立ち、プロセスを最適化したり、無駄なリソースの領域を特定したりすることでコスト削減につながります。
3. 時間短縮：リバースエンジニアリングは、既存のコードやデータ構造をゼロから始めるのではなく再利用できるようにすることで、時間を節約できます。
4. より良いドキュメント：リバースエンジニアリングは、既存システムに関する正確で最新のドキュメントを作成するのに役立ち、メンテナンスや将来の開発に役立ちます。
5. 移行の簡素化: リバースエンジニアリングは、既存システムのデータ構造と関係を理解するのに役立ち、新しいシステムやデータベースへのデータ移行を容易にします。

全体として、リバースエンジニアリングはデータモデリングにとって価値があり、基礎となるステップです。リバースエンジニアリングにより、既存システムとそのコンポーネントのより深い理解、企業設計プロセスへの制御されたアクセス、モデリングライフサイクルを通じた完全な透明性、効率の向上、時間とコストの削減、そしてより良いガバナンス目標につながる優れたドキュメント作成が可能になります。

シナリオ #3: 既存のデータモデルをDatabricksに移行する。

上記のシナリオでは単一のデータソースを扱っていると仮定していますが、ほとんどの企業はレポート作成のニーズをサポートするために異なるデータマートとEDWを持っています。あなたの企業がこの説明に当てはまり、現在、BIとAIのための統一されたプラットフォームとして、クラウド上のデータプラットフォームを統合するためにDatabricks Lakehouseの作成に着手していると想像してください。そのような状況では、erwin Data Modelerを利用して、既存のデータモデルをレガシーEDWからDatabricksデータモデルに簡単に変換できます。以下の例では、SQL Server、Oracle、TeradataのようなEDW用に構築されたデータモデルを、ターゲットデータベースをDatabricksに変更することでDatabricksに実装できるようになります。

マークされた円の領域でわかるように、このモデルはSQL Server用に構築されています。次に、このモデルを変換し、ターゲットサーバーを変更することで、そのデプロイをDatabricksに移行します。このようなデータモデルの簡単な変換は、組織がレガシーまたはオンプレミスのデータベースからクラウドへデータモデルを迅速かつ安全に移行し、それらのデータセットをライフサイクル全体にわたって管理するのに役立ちます。

上記の図では、いくつかの簡単なステップでレガシーなSQL ServerベースのデータモデルをDatabricksに変換しようとしました。このような簡単な移行パスは、組織がデータと資産をDatabricksに迅速かつ安全に移行することを可能にし、リモートコラボレーションを促進し、セキュリティを強化します。

さて、最後の部分に移りましょう。ERモデルがデータアーキテクチャチームによって準備され承認されたら、erwin DMから.sqlファイルを迅速に生成するか、Databricksに接続してこのモデルをDatabricksに直接フォワードエンジニアリングできます。

Databricks用のDDLファイルまたはデータベースモデルを作成するためのステップバイステッププロセスを説明する以下のスクリーンショットに従ってください。

erwin Data Modeler MartはGitHubもサポートしています。このサポートにより、DevOpsチームはスクリプトを任意のエンタープライズソース管理リポジトリで制御できるようになります。Gitサポートにより、開発者と簡単に共同作業し、バージョン管理ワークフローに従うことができます。

まとめ

このブログでは、erwin Data Modelerを使用してデータモデルを作成、リバースエンジニアリング、またはフォワードエンジニアリングがいかに簡単であるか、そしてテーブル定義をDatabricksに移行するための視覚的なデータモデルを作成し、データガバナンスとセマンティックレイヤー作成のためのデータモデルをリバースエンジニアリングする方法を実演しました。

このようなデータモデリングの実践は、以下の点に価値をもたらす重要な要素です。

1. データガバナンスの実践
2. コスト削減とデータおよびメタデータの価値実現までの時間の短縮
3. ビジネス成果とそれに関連するメタデータの理解と改善
4. 複雑さとリスクの軽減
5. ITチームとビジネスステークホルダー間のコラボレーションの改善
6. より良いドキュメント作成
7. 最後に、レガシーデータベースからDatabricksプラットフォームへの簡単な移行パス

Databricks Partner Connectからerwinの使用を開始してください。

Databricksを14日間無料でお試しください。
erwin Data Modelerをお試しください
** erwin DM 12.5にはDatabricks Unity Catalogのサポートが搭載され、主キーと外部キーを視覚化できるようになります。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事