Workflows & DLTパイプラインにストリーミング監視が登場！

Databricksは、WorkflowsとDelta Live Tables（DLT）パイプラインにおけるストリーミング監視の強化を発表しました。この新機能により、データエンジニアリングチームはリアルタイムデータ処理を最適化するための強力なツールを活用できるようになります。

直感的なユーザーインターフェースが設計されており、Kafka、Kinesis、Delta、Autoloaderといった主要なストリーミングソースにおけるバックログの持続時間（秒）、処理バイト数、取り込みレコード数、処理されたファイル数といった主要なメトリクスを簡単に監視できます。

さらに、タスクレベルでのプロアクティブなアラート機能を導入することで、バックログ管理の曖昧さを解消し、コンピュートリソースの利用効率を向上させ、データの鮮度を維持することが可能になりました。これにより、組織はリアルタイム分析を自信を持ってスケールさせることができ、意思決定の質を向上させ、信頼性の高い高性能なストリーミングパイプラインを構築できます。

ストリーミング監視とアラートにおける一般的な課題

ストリーミングパイプラインでバックログが増大することは、何らかの問題が発生しているサインです。これには一時的な障害から増加するデータ量への対応のための最適化やリソースの再構成まで、さまざまな要因が考えられます。データエンジニアリングチームは、スループットとパイプラインの信頼性を維持するために、以下の主要なポイントに注力しています。

1. 容量計画（Capacity Planning）

• システムのスループットを維持し、安定性を確保するために、縦方向スケール（既存のリソースのパワーを増強） または 横方向スケール（ノードの追加） を判断する必要があります。

2. 運用インサイト（Operational Insights）

• 急激なデータの増加（バースト入力） や、持続的な高スループットの期間、ダウンストリームシステムの処理遅延 を監視します。
• 異常値やスパイクを早期検出 し、リアルタイムで対応できる体制を整えます。

3. データ鮮度の保証（Data Freshness Guarantees）

• 機械学習モデル や ストリーミング内で使用されるビジネスロジック では、最新のデータを即座に利用すること が不可欠です。
• 古いデータが流入すると、誤った意思決定につながる ため、ストリーミングワークフロー内でデータの鮮度を維持することが重要です。

4. エラー検出とトラブルシューティング（Error Detection and Troubleshooting）

• 強力な監視とアラートシステム により、異常を即座に検出し、エンジニアが迅速に対応できるようにすることが求められます。
• アクション可能なインサイト を提供し、問題の特定と修正をスムーズに行えるようにすることが重要です。

 

ストリームのバックログを把握するには、これまでいくつかの手順が必要でした。Delta Live Tables では、パイプラインのイベントログを継続的に解析 し、関連情報を抽出する必要がありました。一方、Structured Streaming では、エンジニアがSparkのStreamingQueryListenerを使用してバックログメトリクスをキャプチャし、それをサードパーティツールに送信 する方法が一般的でした。しかし、このアプローチには追加の開発・保守負担 が発生していました。さらに、アラート機構の設定にはカスタムコードや複雑な設定が必要 であり、その導入も一層の手間を要しました。

メトリクスが取得された後も、バックログ解消にかかる時間の予測に関する課題 が残ります。データの処理がいつ追いつくのかを正確に見積もるには、スループット、リソースの可用性、ストリーミングワークロードの動的な変化 など、さまざまな変数が関与するため、正確な予測を行うのは困難 です。

WorkflowsとDelta Live Tablesにバックログメトリクスが表示可能に

ストリーミング可観測性のリリースにより、データエンジニアはWorkflowsおよびDLTのUI上で視覚的な指標を通じてバックログを簡単に検出・管理できるようになりました。

ストリーミングのバックログメトリクスは、Workflows UI内でDatabricksノートブックのコードと並んで表示されます。

Workflow UIの右ペインに表示されるストリーミングメトリクスグラフは、バックログの状況を強調して表示します。このグラフでは、未処理データの量を時間経過とともにプロットし、データ処理速度がデータ入力速度に追いつかない場合にバックログが蓄積される様子を明確に視覚化します。

Workflows UIでのバックログメトリクスのアラート設定

Databricksは、バックログメトリクスを既存のアラート機能に統合し、さらなる強化を図っています。従来の開始、処理時間、失敗、成功に関するアラートに加え、バックログメトリクスにも対応しました。

Workflows UI内でストリーミングメトリクスのしきい値を設定することで、閾値を超えた際に通知がトリガーされるように構成できます。アラートの通知は、メール、Slack、Microsoft Teams、Webhooks、PagerDuty などを通じて送信可能です。

DLTパイプラインの通知を設定する際の推奨ベストプラクティス は、Databricks Workflowを活用してオーケストレーションすること です。

上記の通知はメールで配信され、直接Workflows UIにクリックしてアクセスできます。

リアルタイムバックログメトリクスによるストリーミングパイプラインの最適化（DLT）

Delta Live Tables（DLT）でストリーミングパイプラインを管理・最適化することは、高スループットのデータソース（例：Kafka）を扱うチームにとって大きな課題です。データ量が増加するにつれてバックログが蓄積し、パフォーマンスの低下を引き起こす可能性があります。

サーバーレスDLT では、ストリームパイプライニング や 垂直オートスケーリング といった機能により、システムのパフォーマンスを自動的に維持できます。しかし、非サーバーレス環境ではこれらの機能が利用できないため、パフォーマンスの維持がより困難になります。

リアルタイムのバックログメトリクス可視化の課題

これまでの課題のひとつは、バックログメトリクスをリアルタイムで可視化する手段がなかったことです。そのため、チームはパイプラインの問題を迅速に特定できず、最適化に必要な意思決定を即座に行うことが困難でした。現在、DLTパイプラインではイベントログメトリクスに依存しており、バックログを効果的に追跡するにはカスタムダッシュボードや監視ソリューションが必要でした。

しかし、新しいストリーミング可観測性機能 により、データエンジニアはDLT UI上でバックログを迅速に特定・管理できるようになり、監視と最適化の効率が大幅に向上しました。

ここでは、Kafkaからデータを取り込み、ストリーミングDeltaテーブルに書き込むDelta Live Tablesパイプラインの例を紹介します。以下のコードは、DLTでのテーブル定義を示しています。

kafka_stream_bronze は継続的なデータ処理のためにパイプライン内で作成されたストリーミングDeltaテーブル です。

このテーブルでは、maxOffsetsPerTrigger を1000に設定しており、DLTパイプライン内で1つのトリガー間隔ごとに処理できるKafkaオフセットの最大数を制御しています。この値は、現在のデータサイズに基づき、必要な処理速度を分析した上で決定されました。なお、このパイプラインは、初期セットアップの一環としてKafkaの履歴データを処理しています。

初期段階では、Kafkaストリームの生成レコード数は1秒あたり1000件未満であり、バックログメトリクスは安定して減少していました（image1参照）。しかし、Kafkaからのデータ量が増加し始めると、システムが負荷に耐えきれなくなり（image2・image3参照）、処理が増大するデータ量に追いつかなくなっている兆候が見られます。

この初期設定では、処理の遅延が発生する可能性があるため、インスタンスのスペックや設定の再評価が必要になります。

初期設定でmaxOffsetsPerTriggerを1000に制限していたことが、増大する負荷を効果的に処理するには不十分であったことが明らかになりました。これを解決するために、以下に示すように設定が調整され、トリガーごとに最大10,000のオフセットを許可するようになりました。

この調整により、パイプラインが各トリガーでより大きなデータバッチを処理できるようになり、スループットが大幅に向上しました。変更後、バックログメトリクスが継続的に減少（image 4参照）していることが確認され、システムが着実に受信データストリームに追いついていることを示しています。バックログの減少により、システム全体のパフォーマンスも向上しました。

この経験から、ストリームのバックログメトリクスを可視化することの重要性が改めて確認できました。これにより、設定をプロアクティブに調整し、パイプラインが変化するデータニーズを適切に管理できるようになります。リアルタイムでバックログを追跡することで、Kafkaストリーミングパイプラインを最適化し、遅延を削減し、データスループットを向上させることができました。その際、複雑なイベントログのクエリやSpark UIの操作は不要でした。

ボトルネックに不意を突かれないようにしましょう。
新しい可観測性機能を活用して、バックログ、データの鮮度、スループットをリアルタイムで監視しましょう。ぜひ今すぐ試して、ストレスフリーなデータパイプライン管理を体験してください！