最新のAzure Databricksを体感せよ！ ― ガバナンスの簡素化、データパイプラインの最新化、そしてAIネイティブアプリを支えるオープンプラットフォーム ―
によって Isaac Gritz, Adam Wasserman 、 ケイティ・カミスキー による投稿
Azure Databricksは、Azure上で最もオープンかつガバナンスが効いた、そしてインテリジェントなデータプラットフォームとして進化を続けています。
今年のDatabricks Data + AI Summitでは、Azureのお客様がデータアーキテクチャのモダナイズ、セキュアなコラボレーションの拡大、AIの導入加速を実現できるよう、多くの革新的な新機能を発表しました。
データの取り込みやオーケストレーションの簡素化から、ガバナンスの効いたインサイトをより多くのユーザーに提供するまで、こうしたアップデートによってAIの構築・展開・スケールがこれまで以上に簡単になります。
このまとめでは、Data + AI Summitで発表されたAzure対応の主要アップデートをご紹介します。
Databricks One は、ビジネスユーザーがデータとAIを最大限活用できるように設計された、まったく新しいワークスペース体験です。
直感的でシンプルなインターフェース上で、
AI/BIダッシュボードの閲覧
自然言語での質問（Genieを活用）
カスタムDatabricksアプリへのアクセス
といったことがスムーズに行えます。
さらに、AIによるレコメンド機能により、ユーザーは関連性の高いダッシュボード・スペース・ツールを簡単に発見できます。すべてがAzureのID管理とセキュリティに統合されたガバナンス環境で提供されるため、安心して利用することができます。
この新しい体験の一環として、すべてのDatabricksユーザーが利用可能な「コンシューマーアクセス」権限が提供されました。
これは、ビジネスユーザー向けにダッシュボード、Genieスペース、Databricksアプリなどの共有リソースにアクセスできるシンプルな閲覧専用インターフェースを提供するものです。これにより、ガバナンスの効いたインサイトが意思決定者にも身近なものになります。
AI/BI Genie が正式に一般提供されました。
ビジネスユーザーは自然言語でデータに質問し、正確で説明可能な回答を得ることができます。
GenieはData Intelligenceによって強化されており、組織内の利用パターンやメタデータを学習しながら、信頼できるデータに基づいたSQL・グラフ・要約を自動生成します。
追加入力によるフォローアップの質問や、今後予定されている高度な推論（deep reasoning）、セマンティック理解によって、ダッシュボードにとどまらない、より深い洞察の発見を可能にします。
さらに、Azure DatabricksからAzure AI Foundryへのネイティブコネクタも提供されており、FoundryエージェントがAI/BI Genieからリアルタイムかつガバナンスの効いたインサイトを取得できるようになります。
このコネクタはUnity Catalogのアクセス権限を尊重し、組織の信頼できるデータに基づくインサイトのみを提供します。
Unity Catalog は、Azure Databricksにおけるオープンでセキュア、かつ相互運用可能なプラットフォームの中核です。
最新のアップデートにより、その機能はさらに拡張されています。
属性ベースアクセス制御（ABAC）
タグを用いて、カタログ・スキーマ・テーブル単位で柔軟なアクセス制御ポリシーを定義可能。
行・列レベルのセキュリティに対応したベータ版が現在提供中です。
Power BIへの自動公開
ガバナンスの効いたデータセットをPower BIに安全に公開・更新できるようになり、Microsoft製品群全体でのデータのセキュリティと整合性を強化します。
ABACと組み合わせることで、許可されたユーザーのみがデータの閲覧・公開が可能となり 、業務属性やセキュリティポリシーに沿ったアクセス管理が実現されます。
Azure Databricks Catalogのミラーリング機能（GA）
Unity CatalogでガバナンスされたテーブルをMicrosoft Fabricから直接アクセスできるようになり、Unity Catalog Open API を介した相互運用性が可能になります。
Unity Catalogによるクロスクラウドデータガバナンス
Azure DatabricksからS3データへのアクセスをUnity Catalogでサポート。
これにより、クラウド間でも一貫した**セキュリティ管理、監査、データリネージ（データの流れの追跡）**が実現します。
データ分類・異常検知・監査機能の強化
データインテリジェンスを活用し、異常値や機密性の高い項目を自動的に検出・分類します。
Iceberg Managed Tablesの正式 対応
Unity Catalog上でApache Iceberg™に完全対応し、複数のエンジンやツールをまたいだオープンかつガバナンスされたアクセスが可能になります。
これらの機能強化により、Azure Databricksはより一層、安全性・柔軟性・拡張性に優れたデータ基盤として進化を続けています。
これらの機能強化により、Unity Catalogは現在最も多機能で高性能かつオープンなカタログとなっています。
組織はAzure上のデータ資産全体においてガバナンスの標準化とイノベーションの加速を実現できます。
その効果はすでに、「Unity Catalog マネージドテーブル」を通じて現れています。
これらのテーブルはAIによる最適化機能を内蔵しており、手動でのチューニングやメンテナンスなしで、最大50%以上のコスト削減とクエリの20倍高速化を実現しています。
Lakeflow（一般提供中） は、データの取り込み・変換・オーケストレーションを一体化した機能で、以下の3つのコンポーネントで構成されています：
Lakeflow Connect：信頼性の高いマネージドなデータ取り込み
Lakeflow Declarative Pipelines：スケーラブルなパイプラインを簡単に構築
Lakeflow Jobs：データとAIのネイティブなオーケストレーション
Lakeflowを使えば、複数のツールをつなぎ合わせる必要がなくなり、複雑さとコストを削減。
チームはビジネス価値の創出に集中できるようになります。
また、エンジニア向けには、Lakeflowの基盤であるSpark Declarative Pipelinesがオープンソースとして公開されており、透明性と柔軟性も確保されています。
さらに今年後半には、AI搭載のビジュアルパイプラインビルダー「Lakeflow Designer」がプレビュー公開予定です。
これはノーコードでデータパイプラインの構築・デプロイ・監視ができるツールで、非エンジニアでも本番レベルのパイプライン開発が可能になります。
特に、レガシーETLツールからの移行を検討しているAzureユーザーにとって、ワークフローのモダナイズを実現する強力な選択肢となります。
Lakebridgeは、既存のデータウェアハウス（Teradata、Oracle、Snowflakeなど）からAzure Databricks SQLへの移行を支援します。
評価・変換・検証・整合性確認のプロセスをシンプルにし、従来の2倍のスピードでの導入を可能にします。
移行のハードルを下げながら、Azure上での最新データ基盤構築を加速します。
Lakebase は、Lakehouseと統合された初のフルマネージドPostgreSQLデータベースで、インテリジェントなアプリケーションの構築を目的に設計されています。
Lakebaseを使えば、Azure Databricks上でオペレーショナル、分析、AIのワークロードを統合的に扱うことができ、カスタムETLパイプラインなしで実現可能です。
主なユースケースには以下が含まれます：
パーソナライズされたレコメンドなどのアプリケーションで、Lakehouseのデータや特徴量を配信
受注処理やチャットボットなどのアプリ・エージェントの構築
過去の注文データを分析するなどのオペレーショナルデータの履歴分析
Databricks Apps は、Azure Databricks環境内でセキュアかつガバナンスの効いたアプリケーションを直接構築できる機能で、現在一般提供されています。
内部向け管理ツールから、外部顧客向けアプリまで幅広く対応
PythonやJavaScriptで開発可能
Azure認証との統合により、シームレスなセキュリティ管理を実現
さらに、Microsoft Power Appsとの連携により、Unity Catalogのガバナンスに裏付けられた柔軟なフロントエンドの構築も可能です。
Azure Databricks は、データとAIの未来を切り拓くプラットフォームです。
ガバナンス、オープン性、AIネイティブなワークロードにおける数々の革新により、Azure上での運用をシンプルにし、生産性を高め、組織全体にわたるインサイトの拡張を支援します。
今すぐこれらの新機能を体験し、Azure上での Databricks データインテリジェンスプラットフォーム への第一歩を踏み出しましょう。
ブログを購読して、最新の投稿を受信トレイにお届けします。