新機能：Lakeflow Jobs による効率的なデータオーケストレーション

この数ヶ月間、データオーケストレーションの改善とワークフローパフォーマンスの最適化のため、Lakeflow Jobs（旧 Databricks Workflows）にエキサイティングなアップデートを導入してきました。

Lakeflow Jobs は、Lakeflow の組み込みオーケストレーターです。Lakeflow は、ETL 開発と運用を合理化する、統合されたインテリジェントなデータエンジニアリングソリューションであり、Data + AI Platform 上に構築されています。Lakeflow Jobs は、14,600 を超えるお客様、週 187,000 人のユーザー、毎週 1 億件のジョブ実行数を誇る、Lakehouse および本番グレードのワークロードにとって最も信頼されているオーケストレーターです。

UI の改善からより高度なワークフロー制御まで、Databricks ネイティブのデータオーケストレーションソリューションの最新情報をチェックして、データエンジニアがエンドツーエンドのデータパイプラインエクスペリエンスをどのように合理化できるかをご覧ください。

より集中したユーザーエクスペリエンスのためのリフレッシュされた UI

Lakeflow Jobs に新鮮でモダンな外観を与えるために、インターフェースを再設計しました。新しいコンパクトなレイアウトにより、より直感的なオーケストレーションジャーニーが可能になります。ユーザーは、ショートカットと検索ボタンを提供するタスクパレットを利用できるようになり、Lakeflow Pipeline、AI/BI ダッシュボード、ノートブック、SQL など、タスクをより簡単に見つけて アクセスできるようになります。

監視に関しては、お客様はジョブとタスクの実行詳細の下の右パネルでジョブの実行時間に関する情報を簡単に見つけられるようになり、処理時間を簡単に監視し、データパイプラインの問題を迅速に特定できるようになりました。

サイドバーも改善され、ユーザーは非表示にするセクション（ジョブ詳細、スケジュールとトリガー、ジョブパラメータなど）を選択できるようになり、オーケストレーションインターフェースがよりクリーンで関連性の高いものになりました。

全体として、Lakeflow Jobs ユーザーは、より合理化され、集中され、簡素化されたオーケストレーションワークフローを期待できます。新しいレイアウトは現在、プレビューにオプトインし、ジョブページでトグルを有効にしたユーザーが利用できます。

より制御可能で効率的なデータフロー

当社のオーケストレーターは、新機能で常に強化されています。最新のアップデートでは、データパイプラインオーケストレーションのための高度な制御が導入され、ユーザーはワークフローに対するコマンドをより強力にすることで、効率とパフォーマンスを最適化できます。

部分実行により、ユーザーは他のタスクに影響を与えることなく、実行するタスクを選択できます。以前は、個々のタスクをテストするにはジョブ全体を実行する必要がありましたが、これは計算集約的で、遅く、コストがかかる可能性がありました。現在、ジョブとパイプラインページで、ユーザーは 「設定を変更して今すぐ実行」 を選択し、他のタスクに影響を与えることなく特定のタスクを実行して、計算の無駄と高コストを回避できます。同様に、部分修復により、ジョブ全体を再実行することなく個々の失敗したタスクを修正できるため、デバッグが迅速化されます。

実行と修復フローに対するより多くの制御により、顧客は開発サイクルをスピードアップし、ジョブの稼働時間を改善し、コンピューティングコストを削減できます。部分実行と部分修復の両方が、UI とジョブ API で一般提供されています。

SQL ファンの皆さん、素晴らしいニュースです！この最新のアップデートでは、顧客は SQL クエリ の出力を Lakeflow Jobs のパラメータとして使用して、データをオーケストレーションできるようになります。これにより、SQL 開発者はタスク間でパラメータを渡し、ジョブ内でコンテキストを共有することが容易になり、より協調的で統合されたデータパイプラインオーケストレーションが実現します。この機能も現在一般提供されています。

Jobs の Lakeflow Connect によるクイックスタート

これらの機能強化に加えて、組み込みコネクタを備えた Databricks Lakeflow のマネージドで信頼性の高いデータ取り込みソリューションである Jobs と Lakeflow Connect をより緊密に統合することで、Lakeflow Jobs へのデータ取り込みを迅速かつ容易にしています。

顧客はすでに、マネージドコネクタ（Salesforce、Workday など）のいずれかを使用するか、ノートブックから直接、Lakeflow Connect から開始される Lakeflow Connect 取り込みパイプラインをオーケストレーションできます。現在、Jobs の Lakeflow Connect を使用すると、顧客は Jobs インターフェースの 2 つのエントリポイントから直接取り込みパイプラインを簡単に作成でき、すべてポイントアンドクリック環境で実行できます。取り込みは ETL の最初のステップであることが多いため、Lakeflow Connect とのこの新しいシームレスな統合により、顧客はエンドツーエンドでデータエンジニアリングエクスペリエンスを統合および合理化できます。

Jobs の Lakeflow Connect は、現在顧客向けに一般提供されています。この機能やその他の Lakeflow Connect の最近のリリースについて詳しくはこちらをご覧ください。

すべてのワークロードに対応する単一のオーケストレーション

当社は、組織全体のすべてのデータニーズに対応する、モダンで集中化されたオーケストレーションエクスペリエンスをお客様に提供するために、Lakeflow Jobs のイノベーションを継続しています。Jobs にはさらに多くの機能が追加される予定です。まもなく、テーブルの更新に基づいてジョブをトリガーする方法、システムテーブルのサポート、オブザーバビリティ機能の拡張を発表しますので、ご期待ください！

Lakeflow Jobs についてさらに学習したい方は、Data+AI Summit のオンデマンドセッションをチェックして、さまざまなユースケース、デモなどで Lakeflow を探求してください！

• Lakeflow Jobs について詳しくはこちら
• クイックスタートガイドで最初のジョブを作成してください
• Jobs & Pipelines ページでトグルを使用して新しい UI を有効にします（プレビュー顧客のみ）
• Data+AI Summit に参加できませんでしたか？Lakeflow Jobs セッションをオンデマンドで視聴してください

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事