Data + AI Summit 2025で発表されたDatabricks Unity Catalogの新機能

4年前、Databricksはデータランドスケープにおける膨大な複雑さを目の当たりにしました。各プラットフォームごとに別々のカタログ、クラウド間で孤立したガバナンスツール、AIアセットを保護する統一された方法がないという状況でした。私たちは統一ガバナンスを先駆けて実現し、すべてのデータとAIアセット全体でアクセス、リネージ、監査、発見を管理するオープンで柔軟なカタログレイヤーであるUnity Catalogを立ち上げました。

今日、Unity CatalogはDatabricks Data Intelligence Platformの基盤となり、業界唯一のフォーマット、クラウド、エンジンを跨いだデータとAIのための統一ガバナンスソリューションとなりました。オープンなデータ共有から細かいセキュリティと知識ガバナンスまで、Unity Catalogは組織がデータエステートに文脈、制御、信頼をもたらすのを助けます。

今年のData + AI Summitでは、Unity Catalog全体での主要な革新を発表します。Apache Iceberg™の最高のカタログ、新しいビジネスユーザー体験、そして機微データを保護し、大規模な信頼できるデータ品質を確保するためのインテリジェントなガバナンスを提供します。

これが新しい情報です。

Apache Iceberg™の最高のカタログ

レイクハウスを採用する組織は、Delta LakeとApache Iceberg™の間で選択を迫られることがよくあります。その選択は人工的なサイロを作り出します：チームが使用できるデータとAIツールへのアクセスを制限し、ガバナンスを断片化し、メタデータを形式固有のカタログにロックします。

Unity Catalogは選択の必要性を排除します。オープンスタンダードに基づいて構築されたUnity Catalogは、フォーマット、エンジン、クラウドを問わずシームレスに動作する唯一の統一カタログであり、オープンレイクハウスの基盤となっています。過去1年間で、Tabularの買収に続き、Apache Icebergに深く投資してこのビジョンを拡大しました。以下の発表に私たちは興奮しています：

• Iceberg REST Catalog APIの完全サポート、これにより外部エンジンがUnity Catalogが管理するIcebergテーブルを読み取り（一般提供）および書き込み（パブリックプレビュー）できます。これは市場での大きな差別化要素であり、フォーマットのロックインを排除し、他のソリューションでは匹敵しない完全な相互運用性を可能にします。
• Iceberg管理テーブルは現在パブリックプレビューにあり、最高クラスの価格とパフォーマンスを提供しています。リキッドクラスタリング、予測最適化、そしてDatabricksと外部エンジン、Trino、Snowflake、Amazon EMRを含む全体との完全な統合が可能です。
• Icebergカタログフェデレーションはパブリックプレビュー中で、AWS Glue、Hive Metastore、およびSnowflake Horizonで管理されているIcebergテーブルをガバナンスし、データをコピーせずにクエリを実行することができます。
• Delta Sharing for Icebergは現在プライベートプレビュー中で、Delta Sharingを使用してUnity CatalogのテーブルとDeltaテーブルを任意の受信者と共有し、Iceberg REST Catalog APIをサポートする任意のクライアントでそれらを利用することができます。

これらの機能は、フォーマットのサイロを解消し、Unity Catalogを真にオープンで統一されたガバナンスと相互運用性を提供する唯一のカタログとして際立たせます。私たちのIcebergサポートに関するブログをチェックして、これらの発表について詳しく学んでください。

Unity Catalogをビジネスユーザーに拡大

データプラットフォームは技術者だけで止まるべきではありません。ビジネスユーザーは、データを見つけ、信頼し、データを使いこなすための明確で一貫した方法が必要です。Unity Catalogは現在、データとビジネスチームの間のギャップを埋めるための統一された基盤を提供しています。

Unity Catalog Metrics: すべてのデータとAIワークロードのための一つのセマンティックレイヤー

ツールやチーム間での不一致なメトリクス定義は長い間、混乱や不整合、データへの信頼の欠如を引き起こしてきました。現在パブリックプレビューのUnity Catalog Metricsは、AWS、Azure、そしてGCPで利用可能で、今夏には一般公開予定です。Unity Catalog Metricsは、ビジネスメトリクスをレイクハウスのファーストクラスのアセットにすることでこの問題を解決します。BIレイヤーでのみ定義されたメトリクスとは異なり、データレイヤーでメトリクスを定義することで、ダッシュボード、AIモデル、データエンジニアリングジョブなど、すべてのワークロードでビジネスセマンティクスを再利用可能にします。Unity Catalog MetricsはSQLを通じて完全にアクセス可能で、組織内のすべての人がどのツールを選んでもメトリクスの同じビューを持つことができます。

• 一度定義し、どこでも使用：Unity Catalogで一度メトリクスを作成し、AI/BIダッシュボード、Genie、ノートブック、SQL、Lakeflowジョブなどで使用します。今後の統合では、Tableau、Hex、Sigma、ThoughtSpot、OmniなどのBIツールや、Anomalo、Monte Carloなどの観測ツールへのサポートが拡大されます。
• デフォルトで管理および監査可能：認定メトリクスは、監査と系統を標準装備しており、チーム間で信頼性のある、コンプライアンスに準拠した洞察を可能にします。

"Unity Catalog Metricsは、ビジネスKPIを定義し、チーム間でセマンティクスを標準化するための中心的な場所を提供してくれます。これにより、ダッシュボード、SQL、AIアプリケーション全体で信頼できる定義を共有することが可能になります"— Richard Masters, データ＆AI部門副社長, Virgin Atlantic

"Unity Catalog Metricsは、Tableauの顧客がDatabricks Unity Catalogとの中央集権的なガバナンスの価値を活用するためのエキサイティングな機会を表しています。Databricksとの深い統合と拡大するロードマップを通じて、私たちは顧客がDatabricksを活用してコアビジネスメトリクスを定義する際の摩擦を取り除くのを支援することに興奮しています" — Nicolas Brisoux、シニアディレクター製品管理、Tableau

新しいキュレーションされた発見体験とインテリジェントな洞察

ビジネスユーザーを完全にエンパワーするためには、信頼できるデータを簡単に見つけ、理解し、使用できるようにする必要があります。Unity Catalogは、新たなDiscover体験（プライベートプレビュー）でビジネスドメイン（例：営業、マーケティング、財務）ごとに整理された認定データ製品の内部マーケットプレイスを提供しています。

AIによる推奨とデータスチュワードのキュレーションが、ドキュメンテーション、所有権、使用洞察により豊かになった最も価値の高いアセット、例えばメトリクス、ダッシュボード、テーブル、AIエージェント、Genieスペースを明確にします。新しいインテリジェントなシグナルはデータ品質、使用パターン、関係性、認証ステータスを強調し、ユーザーが信頼と関連性を迅速に評価するのを助けます。さらに、Databricks Assistantが組み込まれているため、ユーザーは自然言語の質問をすることができ、ガバナンスされたメトリクスに基づいた明確で文脈に応じた回答を得ることができます。

また、Databricks全体で新しいインテリジェントな機能を導入して、プラットフォーム内でユーザーが作業する場所に関係なく、データの発見をより簡単で直感的にします。Unity Catalogによって駆動されるこれらの機能は、チームが信頼できるデータをより早く見つけ、そのコンテキストを一目で理解するのに役立ちます。

• Domains (近日公開)： ビジネスエリアごとにデータを整理し、発見を組織の運営に合わせます。
• 認定と廃止タグ（ベータ）：データセット、メトリクス、ダッシュボード全体でデータの信頼性とビジネスの関連性を示します。タグ付けされたアセットは、SQLエディターのような作成面でそのステータスを目立つように表示し、ユーザーワークフロー全体でデータ品質の信号を可視化します。認定と廃止タグは、タグポリシーベータの一部として利用可能です。
• Request for Access (Public Preview)： 配信を効率化するために、ユーザーはアセットへのデータアクセスを直接即時にリクエストすることができます。

さらに高度なガバナンス機能が利用可能になりました

高レバレッジなガバナンスとスケーラブルな属性駆動型コントロール

組織が成長するにつれて、データガバナンスのスケーリングは、より多くのユーザー、チーム、データアセットを管理する必要があるため、ますます困難になります。静的なポリシーと手動のコントロールでは追いつけず、ガバナンスのギャップ、セキュリティリスク、運用上のボトルネックが生じます。

これらの課題に対処するために、Unity Catalogは現在、敏感なデータを分類し、ポリシーを一貫して適用し、レイクハウス全体での安全なデータアクセスを加速するためのインテリジェントな自動化と柔軟でスケーラブルなコントロールを提供しています。

• 属性ベースのアクセス制御（ABAC）：カタログ、スキーマ、またはテーブルレベルで適用できるタグを使用して、柔軟なアクセスポリシーを定義します。ABACはベータ版で利用可能です 行と列レベルのセキュリティのためにAWS、Azure、そしてGCPで利用できます。

• タグポリシー： タグポリシーは、タグが作成、割り当て、使用される方法に対するガバナンス層を強制します。これらのアカウントレベルのポリシーは、データ分類からコスト割り当てまで、タグが一貫性を保ち、信頼できることを確保します。 タグポリシーはベータ版で利用可能です on AWS, Azure, and GCP. 

• データ分類：Unity Catalog全体で機密データを知的に検出し、タグ付けします。新しいデータは24時間以内にスキャンされ、新たなPIIを自動的に検出し、手動作業を最小限に抑え、データアクセスを管理します。ABACと併用すると、データ分類はアクセス制御ポリシーに基づいて機密データを自動的に保護します。データ分類はベータ版で利用可能で、AWS、Azure、そしてGCPで利用できます。

“5,000以上のテーブルに対して列マスキングを実装することは、以前は膨大な手作業を必要としていました。ABACを使用することで、一貫したポリシーを動的に適用することができ、速度とガバナンスの両方を大幅に改善しました。”— ラメシュ・バラスブラマニヤン、Databricks管理者、SAIF

“Databricks Data Classificationは、私たちのデータプライバシーとセキュリティ戦略において画期的な変化をもたらしました。ABACと組み合わせることで、アナリストが必要とするデータを制限することなく、機密データを自動的に保護することができます。最大の利点はスピードで、自動分類とマスキングにより手動のオーバーヘッドを大幅に削減し、リソースを解放し、チームが毎週数時間を節約することができました。” — Mary Tesfay, データ＆アナリティクスリード, Corp IT, Navitas

大規模な自動データ品質監視

Unity Catalogは現在、全てのテーブルに対するデータ品質問題を知的に検出し、解決する手助けをしています。これはデータ品質監視機能を用いて行われ、ベータ版で利用可能で、AWS、Azure、そしてGCPで利用できます。データ品質監視は新鮮さ—データが最近更新されたかどうか—と完全性—データ量が予想通りかどうか—を全スキーマにわたるデータインテリジェンスを使用してチェックします。データ利用者はヘルス指標を見ることで一目でデータの健全性を理解することができ、データ所有者はダウンストリームの系譜に基づいて問題の優先度を理解し、ルート原因を特定し、組み込みのログとダッシュボードを使用してアラートを設定することができます。

データインテリジェンスの基盤であるUnity Catalogを始めてみましょう

Unity Catalogは、安全で知的でビジネス意識のあるデータプラットフォームの基盤となる、業界唯一の統一ガバナンスレイヤーとして進化を続けています。AIエージェントの構築、BIダッシュボードの提供、組織間でのデータ共有を行っている場合でも、Unity Catalogはすべてを単一のオープンカタログを通じて接続します。

始めるには、Unity Catalogのガイドを参照してください。 AWS、Azure、そして GCPです。

Data + AI Summit 2025を視聴して、Databricksの共同創設者であり最高技術責任者のMatei Zahariaから、これらの最近の発表について詳しく学んでください。

Data + AI Summitに登録し、データとAIのガバナンストラックを探索してください。