2023年11月8日

Databricksワークスペースに組み込まれたガバナンス機能

Databricks Unity Catalogは、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。

本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。この機能は、アカウントや地域ごとに順次展開されます。詳しくは担当者にお問い合わせください。

Unityカタログで事前設定されたワークスペースの概要

ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。

ワークスペースでUnityカタログが自動で有効になる — Databricks Unity Catalog enabled in a workspace

ワークスペースは、Unityカタログへのアクセス設定済みで提供されます！アカウント管理者によるその後の有効化手順は必要ありません。
ワークスペースにちなんだ名前のカタログが見つかります（この例では「acme prod」）。このカタログは、テーブル、モデル、ファイル、関数などのデータやAI資産を置く場所として機能します。このカタログは、ワークスペース専用のクラウドストレージを使用して基礎データを保存します。
カタログはワークスペースの管理者が所有し、さらに管理することができる。例えば、アセットをさらに整理するためにカタログ内に「スキーマ」を作成し、誰がそれらのスキーマにアセットを追加できるかを選択することができます。カタログ内には、すべてのワークスペース・ユーザーがアセットを作成できる「default」と呼ばれるスキーマがあります（必要に応じて、ワークスペース管理者がこれらの権限を絞り込むことができます）。
このリリースはDatabricksの旧バージョンをベースにしており、Hiveメタストアへのアクセスは事前に設定されています。ワークスペースがデフォルトで使用するカタログは、'Default catalog for the workspace'(AWS|Azure)という新しい設定で指定できる。

Unity Catalogで今すぐ試すべき3つのこと！

ワークスペースがUnity Catalogにアクセスできるようになったことで、さまざまな機能が利用できるようになりました！ノートを使って今日から試してほしい3つのことを紹介しよう！

組織のデータとAI資産のカタログを作成し、安全に共有する。

データとAIの民主化には、データとAI資産へのアクセシビリティとセキュリティを確保する必要がある。 Unity Catalogは、データおよびAIリソースを容易に管理するための中央ハブをユーザーに提供することで、このプロセスを簡素化します。これにより、ユーザーはテーブル、AIモデル、関数、ファイルを生成し、アクセス制御と監査可能性を維持しながら、それらを一箇所でカタログ化することができる。

データやAI資産を登録し、アクセス許可を定義する方法については、以下のデモをご覧ください。

リアルタイムのデータリネージュ(系統)を調べる

Unity Catalogは、すべてのワークロードについて、カラムレベルまでのデータリネージュ(系統)をリアルタイムで推論します。この機能により、データおよびAI資産に対する信頼を構築し、影響分析を実施し、エンドユーザーのデータ発見を促進することができます。

以下のデモで、データ・リネージの動きをご覧ください。

行および列レベルのきめ細かなセキュリティの適用

Unity Catalogは、アクセスポリシーの管理を合理化し、Databricksワークロードの行と列の両方のレベルできめ細かなパーミッションの作成を可能にします。クラウドにとらわれない SQL ベースのインターフェイスにより、わかりやすく使いやすいエクスペリエンスが保証されます。ガイド（AWS、Azure、GCP）を参照して、 Unity Catalogの行フィルタと列マスクの詳細を確認してください。

Unityカタログのカラムマスキングについては、以下のデモをご覧ください。

より多くのリソースをお探しですか？

Unity CatalogをLakehouseアーキテクチャの礎として採用することで、データとAIのエコシステム全体をカバーする柔軟で拡張性の高いガバナンスソリューションの可能性が広がります。包括的なドキュメントについては、AWS、 Azure、 GCPで利用可能なUnity Catalogガイドを参照してください。その他のチュートリアルについては、Databricks Demo Centerで UnityCatalogのチュートリアルをご覧ください。 Databricks Lakehouse PlatformがデータおよびAIガバナンスの課題にどのように対処するかについては、データおよびAIガバナンスに関する無料のeBookをダウンロードしてください。