Google BigQuery向けLakehouse Federationの一般提供開始と、TeradataおよびOracleのパブリックプレビューの発表

Google BigQuery向けのLakehouse Federationの一般提供開始と、OracleおよびTeradataのパブリックプレビューを発表できることを嬉しく思います。これにより、データの移行やETLなしで、Unity Catalogを通じてこれらのソースからデータを接続、発見、管理、クエリできるようになります。これにより、データアクセスが簡単になり、オープンで相互運用可能なレイクハウスアーキテクチャが実現されます。

Lakehouse Federationで分散型プラットフォーム間のデータとガバナンスを統合

Lakehouse Federationは、ユーザーがデータを重複させたり転送したりすることなく、異なるデータベース、データウェアハウス、カタログ全体でデータをクエリおよび分析できるようにします。外部のデータソースを直接Unity Catalogに統合することにより、組織は以下を実現できます：

• 全データ環境の統一ビューを獲得：構造化データと非構造化データを一つのプラットフォームで自動的に分類および発見し、どこにデータが保存されていても、すべてのデータに安全にアクセスして探索できるようになります。

• 単一のエンジンでデータをシームレスにクエリおよび分析：データの取り込みなしで、すべてのデータ、分析、AIワークロードに対する迅速なアドホック分析やプロトタイピングを可能にします。統一されたエンジンは、高度なクエリ計画、キャッシュ、およびクロスソース実行によりクエリパフォーマンスを最適化し、複数のプラットフォームからデータを効率的に統合して単一のクエリで処理できます。

• 一貫したデータセキュリティとガバナンスを確保：すべてのデータソースに対してアクセスルールを適用する統一された権限モデルを実装できます。行および列レベルのセキュリティ、タグベースのポリシー、集中管理された監査を導入し、データの使用状況に関して完全な可視性を維持します。データの系統追跡や監査可能性が組み込まれており、コンプライアンス要件にも簡単に対応できます。

Lakehouse Federationは、MySQL、PostgreSQL、Teradata、Oracle、Amazon Redshift、Salesforce Data Cloud、Snowflake、Microsoft SQL Server、Azure Synapse（SQL Data Warehouse）、Google BigQuery、Hiveメタストアなど、多様なプラットフォームをサポートしており、さらに多くのコネクタが近日中に追加される予定です。

BigQuery向けLakehouse Federationの一般提供

Google BigQuery向けのLakehouse FederationのGAリリースにより、ユーザーはデータの移動や複製なしにBigQueryのデータをDatabricksに接続することができるようになりました。これにより、GCP、Azure、AWSのDatabricks環境から直接BigQueryデータ上でワークロードを実行することが可能になり、Unity Catalogの細かいガバナンスを活用して安全かつ効率的なデータ管理を行うことができます。

この統合により、以下が可能になります：

• 統一されたデータ管理：BigQueryのデータを他のソースと一緒にUnity Catalog内でシームレスに発見・管理でき、一貫したアクセス制御とガバナンスが確保されます。

• 最適化されたクエリパフォーマンス：BigQueryの計算能力を活用し、Databricksの高度なクエリ最適化によって、より迅速なインサイトが得られます。

• 改善されたコラボレーション：複数のプラットフォームにわたるデータのクエリと分析を一元的なインターフェースで行うことで、チーム間で効率的に作業を進めることができます。

BigQuery向けLakehouse Federationは、私たちのGoogle CloudとAzure環境をシームレスに接続しました。データの移動や重複を行うことなく、今ではAzure上のDatabricksを活用して、BigQueryのデータに直接PythonやSQLワークロードを実行できるようになりました。そのすべてがUnity Catalogの細かなガバナンスの恩恵を受けながら実現しています。これは、私たちのマルチクラウド戦略にとって革命的な変化であり、業務の効率化と分析の強化をもたらしています。 — データサイエンスエンジニア、Taylor FarmsのLisa Fiege

Google BigQueryコネクタは、DBRバージョン16.1から一般提供が開始され、近日中にDatabricks SQLでも利用可能になります。

TeradataおよびOracleコネクタのパブリックプレビュー

BigQueryの一般提供開始に加えて、DatabricksはTeradataおよびOracleのコネクタをパブリックプレビューとして導入しています。これらの新しいコネクタにより、ユーザーはLakehouse Federationの範囲をさらに多くのデータソースに拡張でき、データ環境の統合がさらに進みます。

無料トライアル

Google BigQuery、Oracle、Teradata用のLakehouse Federationコネクターを始めるためのドキュメンテーションを読んでください:

• Google BigQuery (AWS, Azure, GCP)
• Teradata (AWS, Azure, GCP)
• Oracle (AWS, Azure, GCP)