背景

Workflows

データ、分析、AI のための信頼性の高いオーケストレーション

無料トライアル

Databricks Workflows

Databricks Workflows は、レイクハウスオーケストレーションのフルマネージドサービスです。主要なクラウド上でデータ、分析、AI の信頼性の高いワークフローの構築を支援します。

ジョブのワークフローとして、他システムの呼び出しを含め、ノートブック、SQL、Spark、ML モデル、dbt を自由に組み合わせたオーケストレーションが可能になります。また、Delta Live Tables を使用することにより、取り込みやリネージュを含め、管理が自動化された ETL パイプラインの構築ができます。Databricks Workflows は、GCP、AWS、Azure など、いずれのクラウドでも利用が可能で、優れた柔軟性とともにクラウドからの独立性が特長です。

背景

あらゆるものをオーケストレーション

データと AI のライフサイクル全体にわたるさまざまなワークロードが、主要なクラウドのいずれでも実行できます。Delta Live Tables と、SQL、Spark、ノートブック、dbt、ML モデルなどのジョブのオーケストレーションが可能になります。

あらゆるものをオーケストレーション

ワークフローの容易なオーサリング

ワークフローの容易なオーサリング

シンプルなポイントアンドクリックにより、専門的なスキルを持たないデータチームでも容易にオーサリングできます。

プラットフォームの綿密な統合

Databricks レイクハウスプラットフォーム用に設計・統合されているため、あらゆるワークフローに対する詳細な監視機能と一元的な可観測性が実現します。

プラットフォームの綿密な統合

高い信頼性

高い信頼性

AWS、Azure、GCP 上で数千万もの本番ワークロードを日々実行している Databricks は、ワークフローの高い信頼性を達成します。

フルマネージド型

フルマネージド型のオーケストレーションサービスにより、運用上のオーバーヘッドが排除され、インフラ管理から解放されて、ワークフローに集中できるようになります。

フルマネージド型

「Databricks Workflows は、データパイプラインの作成、実行、開始、修復を容易にします。これにより、アナリストがインフラ管理に煩わされることなく ETL プロセスの設計と改善をセルフサービスで行えるようになるため、お客さまにとって重要な知見の抽出が迅速化します。現行の Airflow パイプラインの Databricks Workflows への移行を予定しており、成果に大いに期待しています。」

YipitData シニアソフトウェアエンジニア Anup Segu 氏

「Databricks Workflows の導入により、日々のワークフロー実行のためのロジスティクスに費やす時間が短縮されました。新たに実装された Repair/Return 機能は、コードを修正しても、修正前に完了した他のステップを再実行することなく、ジョブを実行し続けることができます。これにより、ワークフローのサイクルタイムが短縮されました。ML モデル、データストア、SQL 分析ダッシュボードなどと組み合わせることにより、ビッグデータパイプラインを管理するための完璧なツールスイートが完成しました。」

Wood Mackenzie – A Verisk Business アンコンベンショナルデータ担当 VP Yanyan Wu 氏

関連リソース

あなたが必要とするリソースが、全てここに集約されています。画像

関連リソース一覧

データエンジニアリングにおける Databricks 活用のメリットとは?eBook や動画などの関連リソースが見つかります。

無料お試し・その他のご相談を承っております