Databricks Workflows
Databricks Workflows は、レイクハウスオーケストレーションのフルマネージドサービスです。主要なクラウド上でデータ、分析、AI の信頼性の高いワークフローの構築を支援します。
ジョブのワークフローとして、他システムの呼び出しを含め、ノートブック、SQL、Spark、ML モデル、dbt を自由に組み合わせたオーケストレーションが可能になります。また、Delta Live Tables を使用することにより、取り込みやリネージュを含め、管理が自動化された ETL パイプラインの構築ができます。Databricks Workflows は、GCP、AWS、Azure など、いずれのクラウドでも利用が可能で、優れた柔軟性とともにクラウドからの独立性が特長です。
あらゆるものをオーケストレーション
データと AI のライフサイクル全体にわたるさまざまなワークロードが、主要なクラウドのいずれでも実行できます。Delta Live Tables と、SQL、Spark、ノートブック、dbt、ML モデルなどのジョブのオーケストレーションが可能になります。
ワークフローの容易なオーサリング
シンプルなポイントアンドクリックにより、専門的なスキルを持た ないデータチームでも容易にオーサリングできます。
プラットフォームの綿密な統合
Databricks レイクハウスプラットフォーム用に設計・統合されているため、あらゆるワークフローに対する詳細な監視機能と一元的な可観測性が実現します。
高い信頼性
AWS、Azure、GCP 上で数千万もの本番ワークロードを日々実行している Databricks は、ワークフローの高い信頼性を達成します。
フルマネージド型
フルマネージド型のオーケストレーションサービスにより、運用上のオーバーヘッドが排除され、インフラ管理から解放されて、ワークフローに集中できるようになります。
「Databricks Workflows は、データパイプラインの作成、実行、開始、修復を容易にします。これにより、アナリストがインフラ管理に煩わされることなく ETL プロセスの設計と改善をセルフサービスで行えるようになるため、お客さまにとって重要な知見の抽出が迅速化します。現行の Airflow パイプラインの Databricks Workflows への移行を予定しており、成果に大いに期待しています。」
YipitData シニアソフトウェアエンジニア Anup Segu 氏
「Databricks Workflows の導入により、日々のワークフロー実行のためのロジスティクスに費やす時間が短縮されました。新たに実装された Repair／Return 機能は、コードを修正しても、修正前に完了した他のステップを再実行することなく、ジョブを実行し続けることができます。これにより、ワークフローのサイクルタイムが短縮されました。ML モデル、データストア、SQL 分析ダッシュボードなどと組み合わせることにより、ビッグデータパイプラインを管理するための完璧なツールスイートが完成しました。」
Wood Mackenzie – A Verisk Business アンコンベンショナルデータ担当 VP Yanyan Wu 氏
