ウェアハウスからレイクハウスへ：Databricksへの移行戦略

アーキテクチャに関する決定を行う前に、より広範な移行戦略を再検討する価値があります。前回の投稿では、Databricksプロフェッショナルサービスの複雑なデータウェアハウス移行へのアプローチを紹介し、戦略と設計に関する初期の決定の重要性を強調しました。これらの基本的な選択は、ターゲットプラットフォームの実装とアーキテクチャに直接影響します。

また、ETL優先とBI優先という2つのシーケンシング戦略も紹介しました。BI優先アプローチは消費レイヤーを最新化することで迅速な価値を提供し、ETL優先アプローチは上流のパイプラインに焦点を当てます。優先事項に応じて、それぞれに適した場所があります。

この投稿では、最も重要な設計選択の一つである「リフト＆シフト」または「モダナイゼーション」アプローチの選択について探ります。それぞれのアプローチの内容、使用するタイミング、そしてDatabricksでの長期的な成功のためにそれらをハイブリッドアプローチに統合する方法について説明します。

戦略から移行アプローチへ：正しい道の選択

より広範な移行戦略（ETL優先またはBI優先）に合意した後、次の重要な決定は移行の構造化方法です。既存のものを複製するのか、それとも将来のために再構想するのか？

このアーキテクチャの決定は、通常、次の2つの核となるアプローチに集約されます：

1. リフト＆シフト：移行を加速するために、ワークロードをそのまま移動する
2. モダナイゼーション：長期的な効率性とスケールを実現するためにプラットフォームを再設計する

適切なアプローチは、目標、制約、タイムラインによって異なります。以下では、それぞれのトレードオフを分析し、多くの組織が両方の長所を組み合わせるために使用するハイブリッドモデルも含めて説明します。

リフト＆シフト移行 

リフト＆シフトは、既存のデータモデルとコードベースを最小限の変更で新しいプラットフォームに移動することを含みます。新しいユースケースは導入せず、アーキテクチャは変更されません。

このアプローチは、範囲の設定、計画、自動化が容易であるため魅力的です。プロファイラーやコードアナライザーなどのツールは、ワークロードパターン、複雑さ、コストの測定に役立ち、評価と実行が容易になります。

主な利点には以下が含まれます：

• 予測可能なタイムライン
• 自動化ツール（コードコンバーター、照合バリデーターなど）
• 期限切れのライセンスや締め切りに直面している場合の迅速な移行

例えば、コードコンバーターはスクリプトの最大80％を自動的に処理できます。機能は同じままなので、検証と両方のシステムでのクエリの実行、出力の比較が容易になります。

Databricksでは、リフト＆シフトにより、Zオーダリングやリキッドクラスタリングなどの機能を使用して即座にパフォーマンスを向上させながら、レガシープラットフォームから迅速に移行できます。移行後、組織はプラットフォームを段階的に最新化し始めることができます。

移行パターンのモダナイゼーション(近代化)

モダナイゼーションは、リフト＆シフトとは対照的に、レガシーアーキテクチャに制約されることなく、ターゲットシステムに新しいデータプラットフォームを構築することを意味します。単に既存の資産を移行するだけでなく、ユースケースを再構想し、将来のニーズに向けた設計へと焦点がシフトします。時代遅れの最適化を単にマッピングするのではなく、ベストプラクティスとレイクハウスの設計原則を実装します。

オープンレイクハウスでは、これはコードのリファクタリングとデータ構造の再設計を伴い、レガシーの制限から解放されて、組織の現在および将来のスケーラビリティ、パフォーマンス、コスト、機能要件を満たすことになります。

ツールは依然として有用ですが、より発見と計画のために使用されます：

• プロファイラーとコードアナライザーは、移行が必要なものの棚卸しに役立ちます
• これは直接的なコード変換ではないため、コード変換ツールと照合ツールの役割は最小限です

このアプローチは、柔軟なタイムラインと、多くの場合何千ものテーブルとスクリプトを持つ時代遅れまたは過度に複雑なレガシーシステムがある場合に理想的です。一から始めることは遅く圧倒的に感じるかもしれませんが、長期的な利点は大きいです：アーキテクチャの簡素化、パフォーマンスの向上、保守オーバーヘッドの削減。

とはいえ、何千ものスクリプトを移行することは、多くの場合、その保守の複雑さを維持することを意味します。それが困難に思える場合は、計画と設計フェーズをガイドし、よりスムーズな道筋を確保するためにDatabricksプロフェッショナルサービスや認定移行エキスパートとのパートナーシップを検討してください。

ハイブリッドアプローチ：リフト＆シフトした後にモダナイゼーション

もう一つのアプローチは、スピードと長期的な価値のバランスを取るハイブリッド移行戦略です。特に期限切れのライセンスなどの緊急の制約に直面している場合、レガシープラットフォームをできるだけ早く排除するためにリフト＆シフトアプローチから始めます。自動化と反復可能なツールは、この初期フェーズを加速し、実行中のリスクを軽減するのに役立ちます。

ワークロードをDatabricksに移行した後、モダナイゼーションフェーズに移行できます。

ハイブリッドアプローチでは、以下を行います：

• 新しくモダンなデータソースの統合
• データ製品戦略の実装
• ビジネス決定を推進する高度な分析、AI、新しいユースケースの有効化

このフェーズではしばしばアーキテクチャの更新が必要ですが、徐々に進化することができます。ハイブリッド戦略では、初日にすべてを最新化する必要はありません—将来の要件に合わせながら、安定した基盤の上に構築します。

このアプローチを追求している場合、Databricksプロフェッショナルサービスと認定パートナーがロードマップをガイドし、スムーズな移行と将来に備えたアーキテクチャを確保するのに役立ちます。

私たちの見解

移行アプローチの選択は一律ではありません。最も一般的なアプローチはハイブリッド移行です。

1. 自動化ツールを活用する移行ファクトリーを作成する
2. コードベースの大部分をリフト＆シフトする
3. モダナイゼーションの取り組みを開始するために、Zオーダリングやリキッドクラスタリングなどのすぐに使える最適化を有効にする

Databricksはプライマリデータウェアハウスとして機能できます。例えば、ストアドプロシージャをノートブックに移行し、SQLの快適さを離れることなく、スケーラビリティとAI統合のためにSQL Scriptingを使用できます。Transact-SQLを他のクラウドデータウェアハウスに移行するには、そのTransact-SQLをSQL機能を囲むPythonコードを持つノートブックに移行するのと同様の労力が必要です。ノートブックを使用する利点は、柔軟性と優れた開発体験も得られることです。

次に何をすべきか

データウェアハウスを最新化する準備はできていますか？詳細な戦略とベストプラクティスについては、eBook「レガシーデータウェアハウスの変革：戦略的移行ブループリント」をダウンロードして、Databricksデータインテリジェンスプラットフォームへのリスクの低い移行を確保しましょう。