Lakeflow Jobsに“テーブル更新トリガー”が登場！
テーブルの更新時にのみジョブが実行されるようトリガーすることで、コストを削減します。
Summary
- テーブル更新トリガーのご紹介: 指定したテーブルが更新されるたびにジョブを自動的にトリガーします
- 分散化されたデータチームの支援: ユーザーは上流のスケジュールに依存することなく、イベント駆動のパイプラインをオーケストレーションできます
- 効率を向上: データが到着するとすぐにジョブをトリガーすることで、レイテンシーを削減し、コストを低減します
Databricksは、 Lakeflow Jobs において テーブル更新トリガー の一般提供が開始されたことをお知らせします。多くのデータチームは、データがいつ利用可能になるかを推測するために、依然として cron ジョブに頼っています。しかし、その推測はコンピューティングリソースの無駄や、インサイトを得るまでの遅延につながる可能性があります。テーブル更新トリガーを使用すると、指定したテーブルが更新されるとすぐにジョブが自動的に実行されるため、より応答性が高く効率的な方法でパイプラインをオーケストレーションできます。
データ変更時にジョブを即座にトリガー
テーブル更新トリガーを使用すると、テーブルの更新に基づいてジョブをトリガーできます。データが追加または更新されるとすぐにジョブが開始されます。Lakeflow Jobs でテーブル更新トリガーを設定するには、 Schedules & Triggers メニューで「テーブル更新」トリガータイプを使用し、 Unity Catalog に認識されているテーブルを 1 つ以上追加するだけです。指定されたテーブルが更新されると、新しい実行が開始されます。複数のテーブルが選択されている場合、1 つのテーブルが更新された後にジョブを実行するか、選択したすべてのテーブルが更新された後にのみ実行するかを決定できます。
テーブルが頻繁に更新されたり、データが急増したりするシナリオに対応するために、ファイル到着トリガーで利用できるものと同じ高度なタイミング設定、すなわちトリガー間の最小時間と最後の変更後の待機時間を活用できます。
- トリガー間の最小時間は、テーブルが頻繁に更新され、ジョブの起動が頻繁になりすぎるのを避けたい場合に役立ちます。たとえば、データ インジェスト パイプラインが 1 時間に数回テーブルを更新する場合、60 分のバッファを設定すると、その時間内にジョブが複数回実行されるのを防ぐことができます。
- 最終変更後の待機は、ジョブが開始される前にすべてのデータの書き込みが完了することを保証するのに役立ちます。例えば、上流システムが数分間にわたってテーブルに複数のバッチを書き込む場合、短い「最終変更後の待機時間」（例: 5分）を設定すると、書き込みが完了したときにジョブが 1 回だけ実行されるようになります。
これらの設定により、制御性と柔軟性が得られ、ジョブはタイムリーかつリソース効率の高いものになります。
推測を排除することで、コストとレイテンシーを削減します。
cron スケジュールをリアルタイム トリガーに置き換えることで、コンピューティングリソースの無駄を削減し、古いデータによる遅延を回避できます。データが早く到着した場合、ジョブは即座に実行されます。遅延が発生した場合、古いデータに対するコンピューティングリソースの無駄を避けることができます。
これは、チームが複数のタイムゾーンにまたがって作業したり、大容量のデータ パイプラインを管理したりする場合など、大規模な環境で特に効果的です。コンピューティングリソースを過剰にプロビジョニングしたり、データの陳腐化のリスクを冒したりする代わりに、データのリアルタイムの変更に対応することで、連携を保ち、応答性を維持できます。
分散型のイベント駆動パイプラインを実現
大規模な組織では、上流のデータがどこから来るのか、あるいはどのように生成されるのかを常に把握できるとは限りません。テーブル更新トリガーを使用すると、上流のスケジュールと密に結合することなく、独立して動作するリアクティブなパイプラインを構築できます。たとえば、午前 8 時にダッシュボードの更新をスケジューリングする代わりに毎日、新しいデータが到着するとすぐに更新することで、ユーザーは常に最新のインサイトを閲覧できるようになります。これは、自律性とセルフサービスが鍵となるデータメッシュ環境において特に強力です。
テーブル更新トリガーは、Lakeflow Jobs に組み込まれている可観測性の恩恵を受けます。テーブルのメタデータ (例: コミットのタイムスタンプ、バージョン) はパラメータを介してダウンストリーム タスクに公開され、すべてのタスクが同じ一貫性のあるデータのスナップショットを使用することが保証されます。テーブル更新トリガーは上流テーブルの変更に依存するため、データの依存関係を理解することが不可欠です。Unity Catalog の自動リネージ機能により、どのジョブがどのテーブルから読み込んでいるかが可視化されます。これは、チームが依存関係を理解し、意図しない下流への影響を回避するのに役 立つため、大規模環境でテーブル更新トリガーを信頼できるものにする上で不可欠です。
テーブル更新トリガーは、Lakeflow Jobsで拡充し続けるオーケストレーション機能の中でも最新のものです。コントロールフロー、ファイル到着トリガー、統合された可観測性と組み合わせることで、より効率的なパイプラインのための、柔軟でスケーラブルな最新の基盤を提供します。
次のステップ
テーブル更新トリガーは、Unity Catalog を使用しているすべての Databricks のお客様が利用できるようになりました。利用を開始するには以下の手順を踏みます。
- Lakeflow Jobs のトリガーに関する詳細情報
- Lakeflow Jobs についてさらに詳しく
- クイックスタートガイドを参考に、最初のジョブを作成しましょう。
