進化したLakeflow Jobs：データパイプライン管理を革新する新機能

過去数ヶ月間で、Lakeflow Jobs（旧称：Databricks Workflows）に対するエキサイティングなアップデートを導入し、データオーケストレーションを改善し、ワークフローのパフォーマンスを最適化しました。

初めての方のために説明すると、Lakeflow JobsはLakeflowの組み込みオーケストレータで、Data Intelligence Platform上で構築された、統一されたインテリジェントなデータエンジニアリングソリューションで、ETL開発と運用が効率化されています。Lakeflow Jobsは、Lakehouseと本番環境のワークロードに最も信頼されるオーケストレータで、14,600以上の顧客、週間ユーザー187,000人、毎週1億回のジョブ実行が行われています。

UIの改善からより高度なワークフロー制御まで、Databricksのネイティブデータオーケストレーションソリューションの最新情報をチェックし、データエンジニアがエンドツーエンドのデータパイプライン体験を効率化する方法を発見しましょう。

ユーザーエクスペリエンスをより集中させるためのリフレッシュされたUI

私たちはインターフェースを再設計し、Lakeflow Jobsに新鮮でモダンなルックを与えました。新しいコンパクトなレイアウトにより、より直感的なオーケストレーション体験が可能になります。ユーザーは、ショートカットと検索ボタンが提供されるタスクパレットを楽しむことができ、Lakeflow Pipeline、AI/BIダッシュボード、ノートブック、SQLなど、様々なタスクをより簡単に見つけてアクセスできます。

モニタリングについては、顧客はジョブとタスクの実行詳細の右パネルでジョブの実行時間に関する情報を簡単に見つけることができ、処理時間を簡単に監視し、データパイプラインの問題を迅速に特定することができます。

また、ユーザーがどのセクション（ジョブ詳細、スケジュール＆トリガー、ジョブパラメーターなど）を非表示にするか、または開いたままにするかを選択できるようにサイドバーを改善しました。これにより、オーケストレーションインターフェースがよりクリーンで関連性のあるものになります。

全体的に、Lakeflow Jobsのユーザーは、より洗練され、集約的で、シンプルなオーケストレーションワークフローを期待することができます。新しいレイアウトは現在、プレビューに参加し、ジョブページでトグルを有効にしたユーザーに利用可能です。

より制御され、効率的なデータフロー

私たちのオーケストレータは常に新機能で強化されています。最新のアップデートでは、データパイプラインのオーケストレーションに対する高度なコントロールが導入され、ユーザーはワークフローに対するより強力な制御権を持つことができ、より効率的で最適化されたパフォーマンスを実現します。

部分実行は、ユーザーが他のタスクに影響を与えることなく実行するタスクを選択できるようにします。以前は、個々のタスクをテストするためには、ジョブ全体を実行する必要があり、これは計算リソースを大量に消費し、処理が遅く、コストが高くなることがありました。今では、ジョブ＆パイプラインページで、ユーザーは"異なる設定で今すぐ実行"を選択し、他のタスクに影響を与えることなく特定のタスクを実行することを選択できます。これにより、計算リソースの無駄遣いと高コストを回避できます。同様に、部分修復は、ユーザーがジョブ全体を再実行することなく、個々の失敗したタスクを修正することで、デバッグをより迅速に行うことを可能にします。

実行と修復フローの制御が強化されることで、顧客は開発サイクルを加速し、ジョブの稼働時間を改善し、計算コストを削減することができます。部分的な実行と修復は、UIとJobs API で 一般提供中 です。

SQLのファンの皆さん、素晴らしいニュースがあります！この最新のアップデートでは、顧客はSQLクエリの出力をLakeflow Jobsのパラメータとして使用してデータをオーケストレートできるようになります。これにより、SQL開発者はタスク間でパラメータを渡し、ジョブ内でコンテキストを共有することが容易になり、より統一感のあるデータパイプラインオーケストレーションが実現します。この機能も現在一般提供中です。

JobsでのLakeflow Connectのクイックスタート

これらの強化に加えて、Lakeflow ConnectとJobsのより緊密な統合により、Lakeflow Jobsにデータを迅速かつ簡単に取り込むことができます。Lakeflow Connectは、Databricks Lakeflowの管理され信頼性のあるデータ取り込みソリューションで、組み込みのコネクタがあります。

顧客はすでに、Lakeflow Connectから始まるLakeflow Connectの取り込みパイプラインを、完全に管理されたコネクタ（例えば、Salesforce、Workdayなど）やノートブックから直接使用して、オーケストレーションすることができます。今では、Jobs内のLakeflow Connectを使用すると、顧客はジョブインターフェースの2つのエントリーポイントから直接取り込みパイプラインを簡単に作成できます。すべてポイント&クリックの直感的な環境で実行できます。取り込みはETLの最初のステップであることが多いため、この新しいシームレスな統合により、Lakeflow Connectを使用する顧客は、エンドツーエンドのデータエンジニアリング体験を統合し、効率化できます。

Jobs内のLakeflow Connectは現在、一般提供中です。この他の最近のLakeflow Connectリリースについてはこちらをご覧ください。

すべてのワークロードに対する単一のオーケストレーション

私たちはLakeflow Jobsの革新を続けており、お客様に組織全体のすべてのデータニーズに対するモダンで一元的なオーケストレーション体験を提供しています。Jobsにはさらに多くの機能が追加される予定です - ユーザーがテーブルの更新に基づいてジョブをトリガーする方法を近々発表し、システムテーブルのサポートを提供し、観測能力を拡大する予定なので、お楽しみに！

Lakeflow Jobsについて学び続けたい方は、Data+AI Summitからのオンデマンドセッションをチェックして、さまざまなユースケース、デモなどでLakeflowを探索してみてください！

• Lakeflow Jobsについて詳しく知る
• 私たちのクイックスタートガイドで初めてのジョブを作成します
• ジョブ＆パイプラインページのトグルを使用して新しいUIを有効にする（プレビューカスタマーのみ）
• Data+AIサミットに参加できませんでしたか？Lakeflow Jobsのセッションをオンデマンドで視聴する