Lakebridgeの紹介：Databricks SQLへの無料でオープンなデータ移行

私たちは、Lakebridgeという無料の移行ツールを紹介します。Lakebridgeは、エンタープライズデータウェアハウス（EDW）の移行をDatabricks SQLに簡素化し、加速させます。

多くの組織にとって、レガシーで孤立したデータウェアハウスからのモダナイゼーションは、より迅速な洞察の獲得、コスト削減、そして分析とAIワークロードをDatabricksのオープンで統一されたプラットフォームに集約するために重要です。しかし、移行は高リスクと見なされることが多いです：レガシーSQLコードは複雑で、依存関係は隠されており、ドキュメンテーションは貧弱です。翻訳されたロジックの検証、データ品質の確保、そして数千のSQLスクリプトとストアドプロシージャの調整は、最も献身的なチームでさえ作業を遅延させる可能性があります。

Lakebridgeは、プロファイリング、SQL変換、検証、調整などの移行プロセスの最大80％を自動化することで、これらの課題を克服し、チームが自信を持ってより迅速に進めることができるようにします。

Lakebridgeを使用して移行しながらモダナイズ

Databricks SQLは業界で最も成長が速いデータウェアハウスであり、その価格/パフォーマンス、効率性、AIによる洞察力で認識されています。より多くの組織がオープンで柔軟なデータアーキテクチャの基盤としてDatabricksを選択するにつれて、Lakebridgeは移行がボトルネックではなく戦略的優位性となることを確実にします。

• 移行の範囲と複雑さに対する明確な洞察
• 自動化された高精度のコード変換と検証
• データ精度確保のための移行ワークロードの容易な調整
• Databricks SQLへの移行ジャーニーを加速する確立された道筋

Lakebridgeはリフトアンドシフトとハイブリッド移行アプローチをサポートしています。ハイブリッドアプローチを使用すると、初日にすべてをモダナイズする必要はありません。安定した基盤を築きながら、将来の要件に合わせて進めることができます。 

Databricksへの迅速で予測可能な移行

大規模な移行の課題を理解している経験豊富なフィールドエンジニアとプラクティショナーによって構築されたLakebridgeは、現代的で自動化を最優先にしたアプローチで、レガシーシステムの複雑さに対応します。さらに、Lakebridgeは拡張可能で、Databricksのパートナーが協力し、機能を提供し、ツールを多様な移行ニーズに合わせて進化させることができます。

Lakebridgeは、3つの主要なコンポーネントを通じて包括的でエンドツーエンドの移行体験を提供します。

• Analyzer: ユーザーのレガシーデータウェアハウス環境の詳細な評価を行います。
• Converter: レガシーなETLワークフローとSQLスクリプト（ストアドプロシージャを含む）を、パフォーマンスが高く、Databricks SQLまたはSpark SQLコードと互換性のあるコードにインテリジェントに変換します。
• Validator: 組み込みの調整ツールを使用してデータの正確性と正しさを確保します。

Lakebridgeは、移行中の透明性と制御をサポートするために、Databricks内に直接組み込まれたダッシュボードとレポートも提供します。これらのビューにより、チームは進行状況を追跡し、結果を検証し、進化するデータランドスケープをよりよく理解することができ、採用を加速し、価値をより早く提供します。

これらの機能により、Lakebridgeは移行タスクの最大80％を自動化し、プロジェクトのタイムラインを最大2倍加速させるのに役立ちます。今日、Lakebridgeは10以上のレガシーデータウェアハウスをサポートしており、これからもさらに増える予定です。

より良い移行計画

Lakebridgeは、組み込みのAnalyzerツールを通じて既存環境についての早期の詳細な洞察を提供することで、移行プロジェクトにおける不確実性を減らします。メタデータとレガシーコードをスキャンして、移行が必要なすべてのオブジェクト（テーブル、ビュー、ETLジョブ、ストアドプロシージャなど）のインベントリを作成し、複雑さによって作業負荷を分類するマルチタブレポートを生成します。複雑さは、低・中・複雑・非常に複雑の4段階に分類されます。

これらの洞察により、チームはプロジェクトの範囲を正確に定義し、ビジネスインパクトによって優先順位をつけ、段階的な移行を自信を持って計画することができます。Lakebridgeは、早期に潜在的な課題を特定することで、よりスムーズな実行、より効果的なリソース計画、そしてより効果的なユーザー受け入れテストを確保し、Databricksへの移行をより予測可能で管理しやすくします。

包括的な移行ソリューション

Lakebridgeは、ツール、ソースカバレッジ、自動化を通じて堅牢な機能を提供し、現実世界での複雑なエンタープライズ移行を処理するように設計されています。

• 幅広いソースのサポート：Teradata、Snowflake、Oracle、SQL Server、Informaticaなど、10以上の主要なデータウェアハウスとETLツールからの移行が可能です。追加のコネクタはプライベートプレビューで利用可能で、継続的に追加されています。詳細はアカウントチームにお問い合わせください。
• 実戦検証済みのツールキット：Lakebridgeは、BladeBridgeから実証済みの技術を統合しています。これは、Accenture、Capgemini、Celebal Technologies、Tredenceなどのシステムインテグレーターに信頼されている移行エンジンで、高度なSQLパーシング、コード変換、検証を含む数百の成功した移行を支えてきました。
• エンドツーエンドのワークフロー：ワークロードの発見と評価からコード変換、データ検証まで、Lakebridgeは移行ライフサイクルのすべての段階をカバーします。Code ConverterやData Validatorのようなツールは、プロセス全体での整合性とパフォーマンスを確保します。
• 実証済み、予測可能な結果：主要な企業やパートナーが採用する技術に基づいて構築されたLakebridgeは、チームがスケジュールを守り、モダナイズの目標を達成するのを支援します。

パートナーや顧客もLakebridgeの上に移行ツールを構築することができます。例えば、DoorDashはLakebridgeを使用してマイグレーションファクトリーを構築しました。

データの相互運用性は、現代のレイクハウスアーキテクチャにおいて不可欠です。これにより、パフォーマンス、一貫性、開発者の速度を損なうことなく、異なるエンジンやチーム間でのシームレスなデータアクセスが可能になります。TransaxleのようなSQLトランスレータ（Lakebridgeに基づいて構築）は、この相互運用性を実現するために重要です。これらは方言のギャップを埋め、人間のエラーを減らし、共有データ資産のより速く、より協力的な使用を可能にします。—Harsha Venkat Annapa Reddy, データ基盤エンジニアリングマネージャー, DoorDash

Lakebridgeはまた、データとロジックをオープンな形式、カタログ、技術に移行することで、オープンな標準に基づいてモダナイズすることを可能にします。このソリューションは、BTEQ（Teradata）、T-SQL（Microsoft）、PL/SQL（Oracle）などの独自の構文を、Databricks SQLでシームレスに実行されるオープンで、ANSI準拠のSQLに変換します。このアプローチにより、ベンダーロックインから解放され、ビジネスがDatabricksのオープンで、相互運用可能で、未来に備えたデータエコシステムを最大限に活用することが可能になります。

ビジネスの信頼を向上させる

データウェアハウスとETLワークロードをDatabricksに移行することは、変革的なビジネス決定ですが、ビジネスはデータ品質、互換性、プロジェクトリスクに自信を持つ必要があります。Lakebridgeは、データウェアハウスの移行の各ステップに対する明確な可視性を提供することで、これらの懸念を解消します。リアルタイムのダッシュボード、自動検証、エンドツーエンドのトレーサビリティにより、Lakebridgeはビジネスリーダーが移行の各フェーズを明確さと確信を持って進めることを保証します。これにより、移行は不確実性の源から戦略的な利点に変わります。

次のステップ

Databricksは移行プロセスを強化することに専念しており、それをより速く、よりスマートに、そしてより予測可能にすることを目指しています。今後数ヶ月間で、先進的なAIによって駆動される次世代の移行が導入される予定です。

近日中に、Lakebridgeには以下の機能が追加される予定です：

• Mosaic AIによるコード変換は、強化学習を活用して翻訳の精度を向上させます。
• データ移行を自動化し、最適化する専用のデータ移行モジュール。
• 直感的なナビゲーション、移行トラッキング、および検証の洞察を提供するグラフィカルユーザーインターフェース（GUI）。

これらの強化は、大規模な言語モデルをガードレールを設けて適用する、エンタープライズのニーズに対応したGenAI駆動の移行ソリューションを提供するという、私たちの広範なビジョンの一部です。一般的なAIツールとは異なり、Lakebridge AIは、生成されたすべての出力が検証され、トレーサビリティがあり、ソースロジックに基づいていることを確認するために特別に作られています。

顧客は自分のペースでGenAIの機能を選択することができ、移行の旅を通じてより大きな信頼感、速度、制御を確保します。

無料トライアル

Lakebridge Foundationsは、現在Databricksの顧客とパートナーに無料で提供されています。初めての移行を計画しているか、何百ものワークロードをスケールアップしているかに関わらず、Lakebridgeはモダナイゼーションを自信を持って進めるために必要な自動化、知能、信頼性を提供します。