Unity Catalog は、主要なクラウド上のレイクハウスのファイル、テーブル、ML モデルなど、あらゆるデータと AI のための統合ガバナンスソリューションです。
データと AI のガバナンスを一元化
ANSI SQL をベースとする共通のガバナンスモデルにより、あらゆるクラウド上のファイル、テーブル、ダッシュボード、ML モデルを一元管理できます。
データ検索・発見機能の統合による効率化
データ資産全体からデータを迅速に検索・発見して分析できることで、生産性が高まります。
性能とスケーラビリティ
低レイテンシでのメタデータの供給とテーブルの自動調整により、クエリ性能が向上します。
リアルタイムなデータリネージの自動生成
SQL、R、Python、Scala のワークロードや、テーブル、Notebook、ワークフロー、ダッシュボードなど、あらゆるタイプのデータに対する高粒度で自動化されたリネージにより、透明性の高い統合ビューでデータエコシステム全体を把握できます。
現行ツールとの統合
現行のデータカタログやガバナンスソリューションを活用する柔軟性により、将来を見据えたデータと AI ガバナンスを可能にします。
仕組み
データ資産を一元管理
オープンスタンダードの ANSI SQL をベースとする共通のガバナンスモデルにより、あらゆるクラウド上のファイル、テーブル、ダッシュボード、ML モデルのガバナンスを簡素化します。アクセスポリシーは、アカウントレベルで一度定義するだけで、あらゆるワークロードとワークスペースに適用できます。Unity Catalog はさらに、データに対するアクションの監視ログによって高粒度な一元監視を可能にし、コンプライアンスや監査の面でも効果をもたらします。
詳細なアクセス制御
標準 SQL 関数を使用して行フィルタや列マスクを定義し、行や列に対する詳細なアクセス制御を設定できます。Databricksが拡張性と統合性を向上させる機能を構築し続ける中、今後登場する属性ベースのアクセス制御では、カスタムタグ（属性）に基づいたアクセスポリシーを定義することができます。
セキュアな統合データ検索
データアナリスト、データエンジニア、データサイエンティストは、統合データ検索機能により、データ資産全体から関連データを迅速に検索・発見、分析できます。Unity Catalog は、セキュアなデータ検索をデフォルトとしています。ユーザーのアクセス権限に基づいて検索結果を制限することで、プライバシーを考慮したセキュリティを確実にしています。
クエリ性能をあらゆる規模で強化
Unity Catalog は、低レイテンシでのメタデータの供給、テーブルの自動調整により、クエリ性能を向上させ、あらゆる規模のクエリ実行を高速化します。非同期の自動データ圧縮機能により、ファイルサイズを最適化し、バックグラウンドで自動的に入出力（I/O）のレイテンシを低減します。
リアルタイムなデータリネージの自動生成
SQL、Python、Scala、R のあらゆるワークロードに対するリアルタイムなデータリネージの自動生成により、レイクハウス上のデータフローをエンドツーエンドで可視化できます。レイクハウス上のデータフローをエンドツーエンドで可視化できます。データ品質の検証、データ変更の影響分析、データパイプラインのエラーのデバッグを迅速に実行できます。テーブル、列、Notebook、ワークフロー、ダッシュボードに関するリネージのメリットを享受できます。Unity Catalog のリネージグラフは権限を認識し、ユーザーのアクセス権限に基づいてリネージグラフへのアクセスを制御します。リネージ情報は REST API を介して取得できるため、他のカタログとの統合が可能です。
組織内でのセキュアなデータ共有
Unity Catalog は、セキュアなデータ共有のための世界初のオープンプロトコルであるDelta Sharing をネイティブにサポートしています。Data Sharing により、Delta Lake および Apache Parquet 形式の既存データをあらゆるコンピューティングプラットフォームで容易に共有できます。データを消費するユーザーは、Databricks プラットフォームを利用している必要はなく、そもそもクラウドを利用している必要もありません。他のシステムにレプリカの作成やコピーをしなくても、ライブデータを共有できます。Power BI、Tableau、Spark、pandas、Java とのネイティブ統合により、共有されたデータを任意のツールから直接利用できます。また、共有データのガバナンス、監査、使用状況の追跡は 1 つのプラットフォームで一元管理できます。
既存のツールとのシームレスな統合
Unity Catalog は、既存のデータカタログ、データストレージシステム、ガバナンスソリューションと連携するため、既存の投資を活用し、高額な移行コストをかけずに将来を見据えたガバナンスモデルを構築できます。
データ／クラウドのストレージ
データガバナンス／カタログのパートナー
顧客
「Unity Catalogのおかげで、全社的なデータ管理とアクセス制御を簡素化することができました。Compassのデータチームは、100以上のデータソースを安全に取り込み、すべてのワークスペースをUnityカタログに移行し、主要な関係者が利用できるゴールドレイヤーを作成して、顧客、製品、利用、収益などの分野の洞察を得ることができました。" 全社のアクセス制御により、真実のシングルソースを作成することができました。
「Unity Catalog により、ロールベースのアクセス制御の実装が大幅に簡素化され、カタログ、データベース、テーブル、列レベルでのデータ保護が可能になりました。ユーザーごとのアクセス権限をシームレスに付与し、データへのアクセスを堅牢でセキュアに管理できるため、厳しいコンプライアンスやプライバシーの要件を満たすことができます。」
「Unity Catalog の導入により、アクセス管理が簡素化され、ストレージの複雑さが軽減できたため、膨大なデータ資産へのアクセスが容易になりました。また、ヘルスケアに関する厳しい規制要件への対応や、データ探索のコラボレーション、顧客のニーズにあわせた迅速なスケーリングも可能になっています。」
「Unity Catalogは、走行距離を重ねるごとに進化・改善するソフトウェア定義の車両の可能性を最大限に引き出す次世代プラットフォームの構築を可能にします。今では、さまざまなチームやワークスペースにまたがるデータカタログとアクセス管理が一元化され、コラボレーションとイノベーションのための前例のない機会が開かれました。"
「Unity Catalog は、私たちにとってゲームチェンジャーとなりました。アナリストは、Databricks のワークスペースで AWS の外部テーブルにリアルタイムにアクセスし、Delta Lake のテーブルと結合できるようになりました。Glue テーブルを移行することなく、Databricks SQL の性能のメリットを享受できます。データを移動しなくても、チーム間のコラボレーションができるようになりました。」
