Unity Catalog 上で Databricks Assistant による即時データ探索

データセットをカタログで開き、列をスクロールし、そして疑問に思う： 「カタログでデータセットを開き、カラムをスクロールして、「これは私が必要としているデータなのだろうか？ これまでは、この疑問に答えるには、探索的SQLを書いたり、リネージをチェックしたり、ドキュメントを探し出したりする必要があった。

Databricks Assistant を搭載した Unity Catalog の新しい サンプルデータ探索エクスペリエンス では、データに質問するだけでよい。「どの地域の売上が最も高いか」のような質問を自然言語で入力するだけで、Catalog Explorer UI内のサンプルデータページで、即座に回答やビジュアライゼーションを得ることができる。

この機能は現在 パブリックプレビュー版となっており、Databricks Data Intelligence Platformの新たなステップを示すもので、AIとコンテキストが連携することで、技術者であるか否かにかかわらず、すべてのユーザーがデータから意思決定へと迅速に移行できるよう支援する。

すべてのユーザーに組み込みインテリジェンス

ほとんどのデータ・プラットフォームは、データの意味、出所、活用方法の解釈について、いまだに技術専門家に大きく依存している。インテリジェンスが組み込まれていないと、チームは適切なデータセットを探し、信頼性を検証し、技術的構造をビジネスコンセプトに変換するのに時間を浪費する。

Unity Catalog は、Databricks Data Intelligence Platform のインテリジェントな基盤として機能することで、ビジネスコンテキストを基礎となるデータ、モデル、リネージに接続する。

新しいサンプルデータ探索機能は、そのインテリジェンスをカタログ・エクスプローラー体験に直接もたらす。どのデータセットの「サンプルデータ」tabでも、以下のことができるようになった：

• インラインのアシスタント・チャットを使って、データについて自然言語で質問する 。
• 答えとビジュアライゼーションを即座に表示。SQLの記述やツールの切り替えは不要です。
• 新たな知見を発見。アシスタントが生成する、おすすめの質問がヒントになります。

Databricks Assistantは一般的なチャットボットではなく、Unity Catalogのメタデータ、リネージ、ガバナンスシグナルを使用して、すべてのレスポンスが組織の信頼できるガバメントされたデータに基づいたものであることを保証する、コンテキストを意識した副操縦士だ。

この機能は、データを見つけることとそれを理解することのギャップを埋め、すべてのユーザーが関連性、正確性、価値を迅速に評価するのに役立ちます。

Unity CatalogにおけるAIを活用したデータスチュワードシップ

サンプルデータ探索は、Unity Catalogを単なるガバナンスレイヤーではなく、データを継続的に強化、保護、最適化するデータインテリジェンスエンジンたらしめる、広範なAI機能群の一つです。最近のイノベーションは次のとおりです。

AIが生成するコメント：説明的な表や列のコメントを自動的に作成し、データセットのコンテキストを改善する。最近、より高品質で統一されたモデル制御を実現するためにAssistantプラットフォームに移行されたが、このアップデートにより、受理または編集されたコメントが36% 増加し、社内のモデルサービングコストが年間約20万ドル削減された。

一括列コメント：新しいモーダルにより、ユーザーはAIが生成したコメントをテーブルのすべての列にわたって確認し、適用することができる。その結果、週間throughputが6倍向上し、少なくとも1つのAIが生成したコメントを持つテーブルが400% 増加した。

Databricks データ分類: ポリシーベースのアクセス制御で、機密データを自動的に検出・保護します。詳しくは発表ブログをご覧ください！

Unity Catalog マネージドテーブル：インテリジェントなストレージ・レイヤーにより、パフォーマンスとコスト管理を簡素化し、最大20×% の高速クエリーと50% のコスト削減を実現する。 私たちのブログは 、これらの利点の詳細な内訳を提供している。

Unity Catalog ビジネス・セマンティクス： 統一され、管理された、オープンなセマンティック基盤を導入し、すべてのBI資産、開発者ツール、AIエージェントに一貫した信頼できる知見を提供する。詳細は こちら。

これらの機能を組み合わせることで、Unity CatalogはDatabricksデータインテリジェンスプラットフォームのインテリジェントな基盤となり、データを管理するだけでなく、データから継続的に学習することができる。

試してみる

始めるのは簡単だ：

1. workspace設定で Databricks Assistantを有効にします（こちらのドキュメントで詳しい手順をご覧ください）。
2. Unity Catalogのカタログエクスプローラーで、任意のテーブルのサンプルデータtabを開く。
3. 質問をして、データに生命が吹き込まれるのを見よう。

Unity CatalogでAIとガバナンスがどのように連携するのかご興味をお持ちでしたら、以下もお試しいただけます：

• ハンズオン体験は、以下からお申し込みください: 無料版またはトライアル
• こちらをご覧ください: Unity Catalog ページ。データ、AI、ガバナンスの統合方法についてご確認いただけます。
• Unity Catalogのセットアップについてさらに詳しく知るには、ドキュメントをお読みください
• デモを 見る 、または 製品ツアーに 参加する
• Databricks Academy に参加すれば、無料のトレーニングやチュートリアルにアクセスし、すぐに使い始めることができる。