Data + AI Summit 2025におけるDatabricks Unity Catalogの新機能

4年前、Databricksはデータ環境に非常に複雑な状況があることに気づきました。プラットフォームごとに個別のカタログ、クラウド全体に分散したガバナンスツール、AIアセットを保護するための統一された方法がありませんでした。そこで、当社はUnified Governanceを提唱し、Unity Catalogを立ち上げました。これは、すべてのデータとAIアセットにわたるアクセス、リネージ、監査、検出を管理するためのオープンで柔軟なカタログレイヤーです。

今日、Unity CatalogはDatabricks Data Intelligence Platformの基盤となり、フォーマット、クラウド、エンジン全体でデータとAIに対応する業界唯一の統合ガバナンスソリューションとなっています。オープンなデータ共有から、きめ細かいセキュリティ、ナレッジガバナンスまで、Unity Catalogは組織がデータ資産にコンテキスト、制御、信頼をもたらすのに役立ちます。

今年のData + AI Summitでは、Unity Catalog全体にわたる主要なイノベーションを発表し、Apache Iceberg™に最適なカタログ、新しいビジネスユーザーエクスペリエンス、機密データを保護し、信頼できるデータ品質を大規模に確保するためのインテリジェントなガバナンスを提供します。

新機能をご紹介します。

Apache Iceberg™に最適なカタログ

レイクハウスを採用する組織は、Delta LakeとApache Iceberg™のどちらかを選択せざるを得ないことがよくあります。その選択により、人工的なサイロが作成され、チームが使用できるデータとAIツールへのアクセスが制限され、ガバナンスが分断され、メタデータがフォーマット固有のカタログに閉じ込められます。

Unity Catalogを使用すると、選択する必要がなくなります。オープンスタンダードに基づいて構築されたUnity Catalogは、フォーマット、エンジン、クラウド全体でシームレスに動作する唯一の統合カタログであり、オープンレイクハウスの基盤となります。昨年、Tabularの買収後、このビジョンを拡張するためにApache Icebergに深く投資してきました。次の発表にご期待ください。

• Iceberg REST Catalog APIの完全サポートにより、外部エンジンがUnity Catalogで管理されたIcebergテーブルに対して読み取り（一般提供）、書き込み（パブリックプレビュー）できるようになります。これは市場における大きな差別化要因であり、フォーマットのロックインを排除し、他のソリューションでは比類のない完全な相互運用性を実現します。
• Iceberg管理テーブルがパブリックプレビューで利用可能になり、クラス最高の価格とパフォーマンス、liquid clustering、predictive optimization、およびDatabricksとの完全な統合、およびTrino、Snowflake、Amazon EMRなどの外部エンジン全体での統合を実現します。
• Icebergカタログフェデレーションがパブリックプレビューで利用可能になり、データをコピーせずに、AWS Glue、Hive Metastore、Snowflake Horizonで管理されているIcebergテーブルを管理およびクエリできるようになります。
• IcebergのDelta Sharingがプライベートプレビューで利用可能になり、Delta Sharingを使用してUnity CatalogテーブルとDeltaテーブルを任意の受信者と共有し、Iceberg REST Catalog APIをサポートする任意のクライアントでそれらを利用できるようになります。

これらの機能により、フォーマットのサイロが解消され、Unity Catalogが真にオープンで統合されたガバナンスと相互運用性を提供する唯一のカタログとして際立っています。これらの発表の詳細については、Icebergサポートに関するブログをご覧ください。

Unity Catalogをビジネスユーザーに拡張

データプラットフォームは、技術ユーザーだけのものではありません。ビジネスユーザーは、データを見つけ、信頼し、操作するための明確で一貫した方法を必要としています。Unity Catalogは、データチームとビジネスチームの間のギャップを埋めるために、ビジネスコンテキストの統合された基盤を提供するようになりました。

Unity Catalog Metrics：すべてのデータおよびAIワークロードに対応する1つのセマンティックレイヤー

ツールやチーム間で一貫性のないメトリック定義は、長年にわたって混乱、ずれ、データの信頼性の欠如を引き起こしてきました。Unity Catalog Metricsは、現在パブリックプレビューがAWS、Azure、およびGCPで提供されており、今年の夏に一般提供される予定です。これにより、ビジネスメトリックをレイクハウスのファーストクラスアセットにすることで、この問題を解決します。BIレイヤーでのみ定義されたメトリックとは異なり、再利用と統合が制限されますが、データレイヤーでメトリックを定義すると、ダッシュボード、AIモデル、データエンジニアリングジョブなど、すべてのワークロードでビジネスセマンティクスを再利用できるようになります。Unity Catalog MetricsはSQL経由で完全にアドレス指定可能であるため、組織内のすべての人が、選択したツールに関係なく、メトリックの同じビューを持つことができます。

• 一度定義すれば、どこでも使用可能：Unity Catalogでメトリックを一度作成し、AI/BIダッシュボード、Genie、Notebooks、SQL、Lakeflowジョブ全体で使用します。今後の統合により、Tableau、Hex、Sigma、ThoughtSpot、OmniなどのBIツール、およびAnomaloやMonte Carloなどの可観測性ツールへのサポートが拡張されます。
• デフォルトでガバナンスと監査が可能：認定されたメトリックには、すぐに使用できる監査とリネージが付属しており、チーム全体で信頼できるコンプライアンスに準拠したインサイトを実現します。

「Unity Catalog Metricsを使用すると、ビジネスKPIを定義し、チーム全体のセマンティクスを標準化するための一元的な場所が得られ、ダッシュボード、SQL、AIアプリケーション全体で誰もが同じ信頼できる定義から作業できるようになります。」— Richard Masters、ヴァージンアトランティック、データ＆AI担当バイスプレジデント

「Unity Catalog Metricsは、Tableauのお客様がDatabricks Unity Catalogによる一元化されたガバナンスの価値を活用するためのエキサイティングな機会となります。Databricksとの緊密な統合と拡大するロードマップを通じて、Databricksを活用してコアビジネスメトリックを定義する際のお客様の摩擦を取り除くことを支援できることを嬉しく思います。」— Nicolas Brisoux、Tableau、製品管理担当シニアディレクター

インテリジェントなインサイトによる新しい厳選された検出エクスペリエンス

ビジネスユーザーを完全に支援するには、信頼できるデータを簡単に見つけ、理解し、使用できるようにする必要があります。Unity Catalogは、新しいDiscoverエクスペリエンスで、ビジネスを意識したガバナンスを拡張しています。これは、現在プライベートプレビューで提供されており、営業、マーケティング、財務などのビジネスドメインによって編成された認定データ製品の厳選された内部マーケットプレイスです。

AIを活用した推奨事項とデータスチュワードのキュレーションは、ドキュメント、所有権、使用状況のインサイトで強化されたメトリック、ダッシュボード、テーブル、AIエージェント、Genieスペースなど、最も価値の高いアセットを表面化するのに役立ちます。新しいインテリジェントなシグナルは、データの品質、使用パターン、関係、および認定ステータスを強調表示し、ユーザーが信頼性と関連性を迅速に評価するのに役立ちます。さらに、Databricks Assistantが組み込まれているため、ユーザーは自然言語で質問し、管理されたメトリックに基づいて明確でコンテキストを意識した回答を得ることができます。

また、Databricks全体で新しいインテリジェントな機能を導入し、ユーザーがプラットフォームで作業する場所に関係なく、データ検出をより簡単かつ直感的にします。Unity Catalogを搭載したこれらの機能は、チームが信頼できるデータをより迅速に見つけ、そのコンテキストを一目で理解するのに役立ちます。

• ドメイン（近日公開）：ビジネスエリアごとにデータを整理して、検出を組織の運用に合わせます。
• 認定および非推奨タグ（ベータ版）：データセット、メトリック、ダッシュボード全体でデータの信頼性とビジネスの関連性を示します。タグ付けされたアセットは、SQLエディターなどのオーサリング画面にステータスが目立つように表示され、ユーザーワークフロー全体でデータ品質シグナルを表示したままにします。認定および非推奨タグは、タグポリシーベータ版の一部として利用できます。
• アクセスリクエスト（プライベートプレビュー）：配信を合理化するために、ユーザーはアセットへのデータアクセスを直接リクエストできます。

追加の高度なガバナンス機能が利用可能になりました

スケーラブルな属性駆動型コントロールによるハイレバレッジガバナンス

組織が成長するにつれて、データガバナンスのスケーリングはますます困難になり、管理するユーザー、チーム、データ資産が増えます。静的なポリシーと手動による制御では対応できず、ガバナンスのギャップ、セキュリティリスク、運用上のボトルネックにつながります。

これらの課題に対処するために、Unity Catalogはインテリジェントな自動化と柔軟でスケーラブルなコントロールを提供し、機密データを分類し、ポリシーを一貫して適用し、レイクハウス全体での安全なデータアクセスを加速します。

• 属性ベースのアクセス制御（ABAC）：カタログ、スキーマ、またはテーブルレベルで適用できるタグを使用して、柔軟なアクセスポリシーを定義します。ABACはベータ版で利用可能です行および列レベルのセキュリティ、AWS、Azure、およびGCPで。

• タグポリシー：タグポリシーは、Databricks全体でタグがどのように作成、割り当て、使用されるかについてガバナンスレイヤーを適用します。これらのアカウントレベルのポリシーにより、タグの一貫性と信頼性が維持され、データ分類からコスト属性まで、あらゆるものがサポートされます。タグポリシーはベータ版で利用可能ですAWS、Azure、およびGCPで。

• データ分類：Unity Catalog全体で機密データをインテリジェントに検出してタグ付けします。新しいデータは24時間以内にスキャンされ、新しいPIIを自動的に検出するため、手作業を最小限に抑え、チームがデータアクセスを常に把握できます。ABACと組み合わせて使用すると、データ分類はアクセス制御ポリシーに基づいて機密データを自動的に保護します。データ分類はベータ版で利用可能ですAWS、Azure、およびGCPで。

「5,000を超えるテーブル全体に列マスキングを実装するには、膨大な手作業が必要でした。ABACを使用すると、一貫したポリシーを動的に適用できるため、速度とガバナンスの両方が大幅に向上します。」 — Ramesh Balasubramanyan、Databricks管理者、SAIF

「Databricks Data Classificationは、当社のデータプライバシーおよびセキュリティ戦略において、ゲームチェンジャーとなっています。ABACと組み合わせることで、アナリストが必要とするデータを制限することなく、機密データを自動的に保護できます。最大のメリットは速度であり、自動化された分類とマスキングにより、手作業によるオーバーヘッドが大幅に削減され、リソースが解放され、チームは毎週数え切れないほどの時間を節約できます。」— Mary Tesfay、データ＆アナリティクスリード、Corp IT、Navitas

大規模な自動データ品質監視

Unity Catalogは、データ品質監視（ベータ版で利用可能）を使用して、すべてのテーブル全体のデータ品質の問題をインテリジェントに検出し、解決を支援しますAWS、Azure、およびGCPで。データ品質監視は、スキーマ全体のデータインテリジェンスを使用して、鮮度（データが最近更新されたかどうか）と完全性（データ量が予想どおりであるかどうか）を確認します。コンシューマーは、ヘルスインジケーターを使用してデータのヘルスを一目で理解でき、データ所有者は、ダウンストリームのリネージに基づいて問題の優先度を理解し、根本原因を明らかにし、組み込みのロギングとダッシュボードを使用してアラートを設定できます。

Data Intelligenceの基盤であるUnity Catalogを使い始めましょう

Unity Catalogは、業界唯一の統合ガバナンスレイヤー、安全でインテリジェントなビジネス対応データプラットフォームの基盤として進化し続けています。AIエージェントの構築、BIダッシュボードの提供、組織間でのデータ共有など、Unity Catalogは単一のオープンカタログを通じてすべてを接続します。

開始するには、AWS、Azure、およびGCPのUnity Catalogガイドに従ってください。

これらの最近の発表の詳細については、Databricksの共同創業者兼最高技術責任者であるMatei ZahariaによるData + AI Summit 2025の基調講演をご覧ください。

Data + AI Summitに登録して、データとAIガバナンストラックをご覧ください

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事