相互運用性の一年: Unity Catalogを使って企業はどのようにガバナンスを拡張しているか

オープンガバナンスの時代

Unity Catalog (UC) をオープンソース化してから 1 年が経ち、その結果は明らかです。オープンであることは単なる原則ではなく、実際に機能しています。

以来、何百もの企業が、Delta Lake、Apache Iceberg、そして最新のデータスタックにおけるあらゆる主要エンジンを横断する、オープンで相互運用可能なガバナンスの基盤としてUnity Catalogを採用しています。オープンスタンダードへのコミットメントとして始まったものは、オープンAPI、パートナー連携、そして大規模な顧客へのインパクトをもたらす活発なエコシステムへと進化しました。

現在、Unity Catalog はデータと AI の分野で最も広く採用されているオープン カタログです。データチームはもはや、パフォーマンス、相互運用性、ガバナンスの間で妥協する必要はありません。そのすべてを両立できるのです。

「なぜオープンなのか？」から「大規模なオープン化」へ

2024年、UCをオープンソース化し、外部ツールとの相互運用性を高めるUC Open APIsをリリースしました。これらのAPIにより、あらゆるエンジンがUnity Catalogに安全に接続し、DeltaテーブルやIcebergテーブルの読み書きを行い、Credential vending(一時的な認証情報の払い出し)と一元化されたアクセス ポリシーを通じてガバナンスを自動的に適用することが簡単になります。

1年が経った後、エコシステムがすべてを物語っています。

• 現在、700社を超える企業が UC を使用して、複数のエンジンやツールにわたるガバナンスを一元化しています。
• UCクライアントSDKは、月に100万回以上ダウンロードされており、クロスプラットフォームでの採用を促進しています。
• Starburst、ClickHouse、Confluentなどのパートナーは、UCオープンAPIs上に緊密な連携を構築し、Databricksの枠をはるかに超えてガバナンスを拡張しています。

この勢いは、オープン性とガバナンスが連携して機能するときに、相互運用性が最も効果的にスケールすることを証明しています。

Delta Lake と Apache Iceberg をどう統合ガバナンスするか？

Unity Catalogは、ガバナンス、アクセス、パフォーマンスのすべてにわたって、DeltaとIcebergに最高レベルのサポートを提供します。UC Open APIs と Iceberg REST Catalog API を通じて、組織は統合されたアクセス ポリシーを遵守しながら、テーブルの読み取り、書き込み、作成を行うことで、あらゆるエンジンに安全に接続できます。

Unity Catalogにより、外部アクセスがシンプルになります:

• アクセス制御を一度定義すれば、UCがクラウド、エンジン、フォーマットを問わず自動的に適用します。
• クレデンシャルベンディングは、バックグラウンドでスコープが限定された一時的な認証情報を発行し、クラウドストレージの権限設定やポリシーの手動複製を不要にします。
• データセット、特徴量、モデルのバージョンを管理できる統合コントロールプレーンを通じて、AIにガバナンスを拡張します。
• Unity REST API と Iceberg REST Catalog API を介して、Spark や Trino からカスタム機械学習パイプラインまで、あらゆるツールやエンジンに接続できます。

オープン性とパフォーマンスを両立させた UC マネージドテーブルを活用して、ガバナンスをさらにワンステップ進めましょう。これらの Databricks に最適化されたテーブルは予測的最適化とリキッドクラスタリングを使用し、標準 API を通じて完全なオープン性とアクセス性を維持しながら、クエリーを最大 20 倍高速化し、ストレージコストを 50% 削減します。マネージドテーブルは、一元化されたガバナンス、オープンフォーマット、インテリジェントなパフォーマンスのすべてを 1 つに統合した、新しい標準となります。

UC Open APIs を後押しする業界とエコシステムの勢い

この1年間で、UCオープンAPIsは、何百もの組織がフォーマットのサイロ化を解消し、ガバナンスを統合し、スタックのあらゆる部分で相互運用性を拡張するのを支援してきました。

PepsiCo: マルチエンジンアナリティクス全体にわたる統合データガバナンス

PepsiCo は、Kubernetes 上の Spark など、複数のコンピュートエンジンを使用して、多様なアナリティクスエコシステムを運用しています。従来、これらのエンジンは UC をバイパスし、パスベースのアクセス経由で外部テーブルに接続する必要がありました。UC Open APIs を使用することで、PepsiCo はマネージドテーブルを採用し、ストレージレベルの回避策を必要とせずに、単一の一元化されたガバナンスを通じて外部エンジンがデータにアクセスできるようになりました。

Unity CatalogのOpen APIsにより、チームはガバナンスとデータの一貫性を維持しながら、各自で使い慣れたツールを使用できるようになりました。複数のコンピュートエンジンで動作する、真に相互運用可能なデータおよびAIプラットフォーム内で、マネージドテーブルのメリットを活用できます。— Sudipta Das、エンタープライズデータオペレーション担当ディレクター

Coinbase: クレデンシャルベンディングを利用した大規模グラフクエリー

Coinbase は、毎日テラバイト単位のデータを処理するために PuppyGraph を活用しています。UC Open APIs と認証情報ベンディングにより ETL パイプラインが不要になり、Coinbase はポリシーを適用して監査 Log をキャプチャしながら、Delta テーブルと Iceberg テーブルに直接クエリーを実行できます。

Unity Catalog の Open APIs を使用することで、PuppyGraph は、ガバナンスを UC で一元化したまま、一時的な認証情報で毎日 2TB 以上のデータをクエリーし、大規模なサービス依存関係を分析できます。— エリック・サン、Coinbase データ プラットフォーム責任者

エコシステム パートナーシップ

Unity Catalogは、Databricksを超えてガバナンスを拡張する、成長中のパートナーエコシステムの中核をなしています。

• Confluent TableflowはUCと連携し、KafkaイベントストリームをDeltaテーブルに変換します。これらのテーブルは UC Open APIs 経由でアクセス可能で、ガバナンス ポリシーが自動的に適用されます。
• ClickHouse を利用することで、ユーザーは UC Open APIs を活用して、リアルタイム アナリティクスや可観測性のために Delta テーブルや Iceberg テーブルを検出してクエリーを実行できます。この統合により、ユーザーは UC をガバナンスの中心に据えながら、UC によって管理される Delta テーブルと Iceberg テーブルに ClickHouse から直接アクセスできます。
• Starburst Trinoは、Unity Catalogによって管理されるマネージドテーブルの読み取りをサポートするDelta Lakeコネクタを開発しました。マネージドテーブルへの書き込みをサポートするため、StarburstもUC Open APIs経由の外部書き込みプライベートプレビューと統合しました。

Starburst は、データエコシステム全体にわたるオープン性と相互運用性という Databricks のビジョンに共感しています。Databricks Unity Catalog との統合により、顧客はガバナンスを一元化し、任意のツールを柔軟に活用しながら、すべてのデータについて信頼できる唯一のソースを構築できます。— Starburst Data CEO、ジャスティン・ボーグマン

UC オープン接続の今後の展開

Unity Catalog は、lakehouse のための最もオープンで相互運用性の高いガバナンスレイヤーとして進化を続けています。今後の展開は次の通りです:

• UCマネージドテーブルへの外部書き込みとテーブル作成: 現在、外部エンジンはUCマネージドテーブルの読み取りが可能です。パブリックプレビューで近日公開予定: Unity REST APIsを介した外部からの書き込みと、外部クライアントからの直接のテーブル作成が可能になります。お試しになりませんか？ プライベートプレビューにぜひご参加ください。
  • 注: Iceberg REST Catalog APIはすでに完全にサポートされており、外部エンジンはUnity Catalogで管理されるIcebergテーブルへの読み取り (一般提供) および書き込み (パブリックプレビュー) が可能です。
• テーブルを超えた安全なアクセス: クレデンシャルベンディングの対象がボリュームにも拡張され、AI/機械学習ワークフローのためにDaftやRayのようなツールから非構造化データに安全にアクセスできるようになります。
• Unity Catalog 0.4 リリース: 次の UC (v0.4) リリースでは、マネージドテーブルのサポートを追加し、長時間実行するJobのために Unity Catalog Spark クライアントにおける認証情報更新を実装します。

無料トライアル

Unity Catalog Open APIs は、Delta と Iceberg 両方のクライアントで利用できます。まずは以下をお試しください:

• Unity Catalogリポジトリ内のUnity REST APIドキュメントを確認する
• Python または Java SDK のダウンロード
• お好みのエンジンでサンプルクエリーを試す。サポートされているエンジンの一覧はこちらをご覧ください。

今すぐUCオープンAPIで構築を始め、相互運用性と統合ガバナンスがいかに簡単かをお確かめください。Unity Catalog の使用を開始するには、AWS、Azure、GCP のガイドに従ってください。