ベストプラクティス：Azure Data Factory から Databricks ワークフローをネイティブに実行する方法

Azure Databricks は、Microsoft のファーストパーティサービスであり、Azure エコシステムとネイティブに統合されています。これにより、高性能な分析機能と充実したツール群のサポートを備えた形で、データとAIの統合が可能になります。

この緊密な統合に、今回新たに Azure Data Factory（ADF）における Databricks ジョブアクティビティが加わりました。これにより、ADF 内から Databricks ワークフローを直接トリガーすることが、これまでになく簡単になります。

この新しいアクティビティは、すぐに活用すべきベストプラクティスであり、すべての ADF および Azure Databricks ユーザーにとって、このパターンへの移行を強く推奨します。

新しい Databricks ジョブアクティビティは、非常にシンプルに使用できます：

1. ADF のパイプライン上で、Databricks ジョブアクティビティを画面にドラッグします

2. 「Azure Databricks」タブで、Azure Databricks ワークスペースへの認証に使用するリンクドサービスを選択します

   • 認証方法としては、以下のいずれかを利用できます：

     • PAT トークン

     • ADF のシステム割り当てマネージドID

     • ユーザー割り当てマネージドID

   • なお、リンクドサービスではクラスタの設定が必要ですが、このアクティビティの実行時にクラスタが作成されたり使用されたりすることはありません。これは、他のアクティビティタイプとの互換性を保つために必要な設定です。

3. 「設定」タブでは、「ジョブ」ドロップダウンリストから実行したい Databricks ワークフロー（ジョブ）を選択します（このリストには、認証済みのプリンシパルがアクセス権を持っているジョブのみが表示されます）。

その下の「ジョブパラメーター」セクションでは、Databricks ワークフローに渡すジョブパラメーター（ある場合）を設定します。Databricks のジョブパラメーターについて詳しく知りたい場合は、公式ドキュメントをご確認ください。

なお、ジョブおよびジョブパラメーターには、動的コンテンツを設定することも可能です。

以上で完了です。ADF は指定した Databricks ワークフローを起動し、ジョブの実行IDとURLを返します。その後、ジョブの完了を確認するために ADF が定期的にステータスをポーリングします。

なぜこの新しいパターンが「定番」となるのか、その理由はこの後で詳しくご紹介します。

ADF から Databricks ワークフローを実行することで、Azure Databricks への投資効果をさらに最大限に引き出す

Azure Data Factory と Azure Databricks の連携は、2018年のブログ投稿で発表されて以降、正式サポートされたパターンとして広く使われてきました。これまで多くの Azure ユーザーが以下のようなシンプルな手順でこの統合を活用してきました：

• ADFの100以上のコネクタと、プライベート接続やオンプレミス接続のためのセルフホスト統合ランタイムを使って、Azure Storage にデータを取り込む

• ADLS 上の Delta Lake テーブルを用いて Databricks でスケーラブルなデータ変換を行うために、Databricks Notebook アクティビティでノートブックをオーケストレーションする

このパターンは長年にわたって大きな価値を提供してきましたが、同時に以下のような制約もユーザーに強いてきました：

• All Purpose Compute の使用：クラスターの起動時間を避けるために All Purpose クラスターを使うと、ノイジーネイバー問題が発生したり、自動ジョブに不向きなコストの高いクラスターを利用してしまう

• Jobs Compute の使用：Notebook 実行ごとにクラシッククラスターが起動し、DAG構成されたノートブックでも都度クラスター起動の待機時間が発生する

クラスター起動時間短縮のための Pool 管理：Pool は管理が煩雑で、使われないVMにコストがかかるリスクがある

ADFとDatabricks間の過剰な権限設定：統合に Workspace Admin 権限または Create Cluster の許可が必要になる

Databricksの新機能が使えない：Databricks SQL、DLT、サーバーレスなど、ADFからは利用できなかった

このように、ADFとDatabricksの統合はスケーラブルでAzureにネイティブではあるものの、2018年のローンチ以降、ツールや機能面での進化がほとんどありませんでした。一方で、Databricksはすでにすべてのクラウドにおける市場をリードするデータインテリジェンスプラットフォームへと大きく成長しています。

Azure Databricks は、従来の分析基盤を超えて、業界最先端の Lakehouse アーキテクチャと、AI・ガバナンス機能を統合した、統一型データインテリジェンス基盤を提供します。
主な特長は以下の通りです：

• OSS やオープンスタンダードへの対応

• Unity Catalog によるコード・言語・コンピュートをまたいだデータとAIのセキュリティ統制

• ETLにおける優れたパフォーマンスとコスト効率

• Claude Sonnet などの基盤モデルや、エージェントアプリ構築、モデル提供など、伝統的なMLから生成AIまでカバーする内蔵機能

• Databricks SQL による最高水準のデータウェアハウス性能

• Unity Catalog や Workflows からの Power BI への自動公開機能（Publish to Power BI）

今回、Azure Data Factory にネイティブの Databricks Job アクティビティ が追加されたことで、Databricks ワークフローの実行や、ジョブへのパラメーター渡しが可能となりました。この新しいパターンは、前述の制約を解消するだけでなく、以下のようなこれまでADFでは扱えなかった Databricks の機能も活用できるようになります：

• Databricks 内でのタスクDAGの構築

• Databricks SQLとの統合

• DLT（Delta Live Tables）パイプラインの実行

• SQL Warehouse を活用した dbt との統合

• クラシックジョブクラスターの再利用によるクラスター起動時間の短縮

• サーバーレスジョブの活用

• Run As、Task Values、If/Else や For Each などの条件分岐、AI/BIタスク、Repair Runs、通知／アラート、Git連携、DABs対応、リネージ、実行キューや並列実行など、Databricks ワークフローの標準機能の活用

特に注目すべき点は、ADF の Databricks Job アクティビティから Power BIタスクを利用できるようになったことです。これにより、Unity Catalog のスキーマにあるセマンティックモデルを Power BI Service に自動的に公開し、テーブルのストレージモードが「Import」や「Dual」に設定されていれば、自動的にインポートも実行されます（設定手順はこちらのドキュメンテーションをご参照ください）。

Power BI タスクのデモ動画はこちらからご覧いただけます。また、「Power BI on Databricks ベストプラクティスチートシート」もぜひご活用ください。パフォーマンス・コスト・ユーザー体験を最適化するための実践的なガイドとなっています。

ADF における Databricks ジョブアクティビティは、新たなベストプラクティスです。

Azure Data Factory で Databricks ジョブアクティビティを使用して Databricks ワークフローを実行することは、両ツールを連携させる際の新たなベストプラクティスです。このパターンをすぐに導入することで、Databricks のデータインテリジェンスプラットフォームが持つあらゆる機能を活用できるようになります。

ADF を利用しているお客様にとっては、この Databricks ジョブアクティビティを活用することで、即座にビジネス価値とコスト削減の効果が得られます。既存のETLフレームワークで Notebook アクティビティを使用しているお客様は、Databricks ワークフローと新しい ADF の Databricks ジョブアクティビティへの移行を検討し、優先度の高い取り組みとしてロードマップに組み込むことを推奨します。

Azure Databricks を14日間無料でお試しいただけます。(試用版)