Lakebridgeのご紹介：Databricks SQL への無料・オープンなデータ移行

Databricks は、エンタープライズデータウェアハウス（EDW）から Databricks SQL への移行を簡素化および加速する無料の移行ツール、Lakebridge をご紹介できることを嬉しく思います。

多くの組織にとって、レガシーでサイロ化されたデータウェアハウスからのモダナイゼーションは、より迅速なインサイトの解放、コストの削減、そして Databricks のオープンで統合されたプラットフォーム上での分析と AI ワークロードの統合に不可欠です。しかし、移行はしばしばハイリスクと見なされます。レガシー SQL コードは複雑で、依存関係は隠されており、ドキュメントは不足しています。翻訳されたロジックの検証、データ品質の確保、数千もの SQL スクリプトやストアドプロシージャの照合は、最も意欲的なチームでさえ遅延させる可能性があります。

Lakebridge は、プロファイリング、SQL 変換、検証、照合を含む移行プロセスの最大 80% を自動化することで、これらの課題を克服するのに役立ちます。これにより、チームは自信を持って迅速に移行できます。

Lakebridge を使用した移行中のモダナイゼーション

Databricks SQL は、業界で最も急速に成長しているデータウェアハウスであり、その価格性能比、効率性、AI 駆動型のインサイトで高く評価されています。ますます多くの組織が、オープンで柔軟なデータアーキテクチャの基盤として Databricks を選択するにつれて、Lakebridge は移行がもはやボトルネックではなく、戦略的優位性となることを保証します。

• 移行スコープと複雑性に関する明確なインサイト
• 自動化された高忠実度コード変換と検証
• データ精度を実現する移行済みワークロードの簡単な照合
• Databricks SQL へのジャーニーを加速するための実証済みのパス

Lakebridge は、リフト＆シフトとハイブリッド移行アプローチの両方をサポートしています。ハイブリッドアプローチでは、初日からすべてをモダナイズする必要はありません。将来の要件に合わせて調整しながら、安定した基盤を構築できます。

Databricks への迅速で予測可能な移行

大規模移行の課題を理解している経験豊富なフィールドエンジニアや実務家によって構築された Lakebridge は、最新の自動化ファーストアプローチでレガシーシステムの複雑性に対処します。さらに、Lakebridge は拡張可能であり、Databricks パートナーが協力して機能を提供し、多様な移行ニーズに対応するためにツールを進化させることができます。

Lakebridge は、3 つの主要コンポーネントを通じて、包括的なエンドツーエンドの移行エクスペリエンスを提供します。

• アナライザー：レガシーデータウェアハウス環境の詳細な評価を実行します。
• コンバーター：レガシー ETL ワークフローと SQL スクリプト（ストアドプロシージャを含む）を、パフォーマンスが高く互換性のある Databricks SQL または Spark SQL コードにインテリジェントに変換します。
• バリデーター：組み込みの照合ツールを使用して、データの正確性と正しさを保証します。

Lakebridge は、移行中の透明性と制御をサポートするために、Databricks 内で直接ダッシュボードとレポートも提供します。これらのビューにより、チームは進捗状況を追跡し、結果を検証し、進化するデータランドスケープをより深く理解できるようになり、導入を加速し、より迅速に価値を提供できます。

これらの機能により、Lakebridge は移行タスクの最大 80% を自動化し、チームがプロジェクト期間を最大 2 倍加速するのに役立ちます。現在、Ladebridge は 10 を超えるレガシーデータウェアハウスをサポートしており、さらに多くのサポートが間もなく追加される予定です。

より良い移行計画

Lakebridge は、組み込みのアナライザーツールを通じて、レガシー環境に関する早期かつ詳細なインサイトを提供することで、移行プロジェクトの不確実性を軽減します。メタデータとレガシーコードをスキャンして、テーブル、ビュー、ETL ジョブ、ストアドプロシージャなど、移行が必要なすべてのオブジェクトをインベントリ化し、ワークロードを低、中、高、非常に高の複雑性で分類するマルチタブレポートを生成します。

これらのインサイトにより、チームはプロジェクトのスコープを正確に設定し、ビジネスインパクト別に優先順位を付け、段階的な移行を自信を持って計画できます。潜在的な課題を早期に特定することで、Lakebridge はよりスムーズな実行、より良いリソース計画、より効果的なユーザー受け入れテストを保証し、最終的に Databricks への移行をより予測可能で管理しやすくします。

包括的な移行ソリューション

Lakebridge は、実際の複雑なエンタープライズ移行を処理するように設計されており、ツール、ソースカバレッジ、自動化全体にわたって堅牢な機能を提供します。

• 幅広いソースサポート：Teradata、Snowflake、Oracle、SQL Server など、10 を超える主要なデータウェアハウスおよび ETL ツールから移行できます。追加のコネクタはプライベートプレビューで利用可能であり、継続的に追加されています。詳細については、アカウントチームにお問い合わせください。
• 実証済みのツールキット：Lakebridge は、Accenture、Capgemini、Celebal Technologies、Tredence などのシステムインテグレーターに信頼されている移行エンジンである BladeBridge の実績のあるテクノロジーを統合しています。これらのツールは、高度な SQL 解析、コード変換、検証を含む数百もの成功した移行を支えてきました。
• エンドツーエンドのワークフロー：ワークロードの検出と評価からコード変換とデータ検証まで、Lakebridge は移行ライフサイクルのすべてのステージをカバーします。Code Converter や Data Validator などのツールは、プロセス全体で整合性とパフォーマンスを保証します。
• 実証済みで予測可能な結果：主要なエンタープライズやパートナーに採用されたテクノロジーに基づいて構築された Lakebridge は、チームがスケジュールどおりに進み、モダナイゼーション目標を達成するのに役立ちます。

パートナーや顧客は、Lakebridge 上に移行ツールを構築することもできます。たとえば、DoorDash は Lakebridge を使用して移行ファクトリーを構築しました。

データ相互運用性は、最新のレイクハウスアーキテクチャにおいて不可欠です。パフォーマンス、一貫性、または開発者の速度を損なうことなく、さまざまなエンジンやチーム間でシームレスなデータアクセスを可能にします。Transaxle（Lakebridge 上に構築）のような SQL トランレーターは、この相互運用性を実現するために不可欠です。これらは、ダイアレクトのギャップを埋め、人的エラーを減らし、共有データ資産のより迅速で共同的な利用を可能にします。—Harsha Venkat Annapa Reddy、Data Foundations Engineering Manager、DoorDash

Lakebridge は、データとロジックをオープンフォーマット、カタログ、テクノロジーに移行することで、オープンスタンダードでのモダナイゼーションを可能にします。このソリューションは、BTEQ（Teradata）、T-SQL（Microsoft）、PL/SQL（Oracle）などのプロプライエタリ構文を、Databricks SQL 上でシームレスに実行されるオープンで ANSI 準拠の SQL に変換します。このアプローチにより、ベンダーロックインから解放され、ビジネスは Databricks のオープンで相互運用可能で将来性のあるデータエコシステムの利点を最大限に活用できます。

ビジネスの信頼性を向上させる

データウェアハウスと ETL ワークロードを Databricks に移行することは、変革的なビジネス上の決定ですが、ビジネスはデータ品質、互換性、プロジェクトリスクに自信を持つ必要があります。Lakebridge は、データウェアハウス移行のすべてのステップで明確な可視性を提供することで、これらの懸念に対処します。リアルタイムダッシュボード、自動化された検証、エンドツーエンドのトレーサビリティにより、Lakebridge は、ビジネスリーダーが移行のさまざまなフェーズ全体で明確さと確実性を持って前進できるようにし、移行を不確実性の源から戦略的優位性に変えます。

次のステップ

Databricks は、移行プロセスを強化し、より迅速で、よりスマートで、より予測可能にすることに尽力しています。今後数か月で、高度な AI を活用した次世代移行が導入されます。

近日公開予定の Lakebridge には、以下が組み込まれます。

• Mosaic AI を活用したコード変換。強化学習を活用して翻訳精度を向上させます。
• データ移動ワークフローを自動化および最適化するための専用データ移行モジュール。
• 直感的なナビゲーション、移行追跡、検証インサイトのためのグラフィカルユーザーインターフェイス（GUI）。

これらの機能強化は、大規模言語モデルをガードレール付きで適用する、エンタープライズニーズのために構築されたGenAI搭載移行ソリューションを提供するという、当社の広範なビジョンの一部です。汎用的なAIツールとは異なり、Lakebridge AIは、生成されたすべての出力が検証可能で、追跡可能で、ソースロジックに基づいていることを保証するために特別に構築されています。

お客様は、移行ジャーニー全体を通じて、より大きな自信、スピード、および制御を確保しながら、自身のペースでGenAI搭載機能を選択できます。

はじめに

Lakebridge Foundations は、Databricks のお客様およびパートナーは無料になりました。最初の移行を計画している場合でも、数百のワークロードにスケールアップする場合でも、Lakebridge は、自信を持ってモダナイズするために必要な自動化、インテリジェンス、および信頼性を提供します。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事