Genie CodeとLakeflowによるエージェンティックなデータエンジニアリング

Genie Codeを使用すると、データエンジニアは自然言語を使用して本番稼働可能なデータパイプラインを生成し、ジョブでそれらをオーケストレーションし、障害をデバッグできます。データを見つけ、変換を構築し、ジョブを連携させ、障害を修正するためにかつては数週間かかっていたタスクが、ガバナンスと運用標準に準拠しながら、数時間で完了できるようになりました。

以下では、これが実際にどのように機能するかを、データ発見、パイプライン構築、ジョブオーケストレーション、障害デバッグまで、すべて単一の会話から実行する方法を説明します。

自然言語を使用して、本番稼働可能な完全なパイプラインとジョブを構築およびオーケストレーションする

Genie Codeは、探索からスケジュールされたパイプラインとジョブまで、1つのスレッドで対応できるようになり、エンドツーエンドでの作成と運用を支援します。

これにより、Lakeflow Spark Declarative Pipelinesの開発が加速され、パイプラインとノートブックがLakeflow Jobsを通じてオーケストレーションおよび実行される方法が簡素化されます。Genie Codeは、パイプラインとジョブのコンテキストを理解し、コード、設定、および実行結果にアクセスします。

Genie Codeは、データエンジニアリングライフサイクルの主要なステージで役立ちます。

• コードだけでなく、データアセットも検索する: Genie Codeは、人気度、リネージ、コードサンプル、およびUnity Catalogメタデータを使用して、タスクに最も関連性の高いデータセットを特定します。たとえば、Genie Codeにテーブル間の関係を説明するように依頼したり、パイプラインを流れるデータのトレースを依頼したりできます。SiriusXMでは、チームがGenie Codeを使用してテーブルの関係をより迅速に理解しています。
• パイプラインの構築と変更: 自然言語で目的のパイプラインを説明することから始めます。たとえば、メダリオンアーキテクチャ上に構築された不正検出パイプラインなどです。Genie Codeは、ソース、変換、データ品質の期待値、および出力を含む、ブロンズ、シルバー、ゴールドレイヤーを備えたSpark Declarative Pipelineを生成します。そこから、変更を依頼し、提案された差分を確認し、パイプラインを実行してテストできます。
  

  

• ジョブの定義とオーケストレーション: オーケストレーションロジックを手動で定義および保守する必要はありません。タスク、依存関係、スケジュールを含む目的のジョブを説明します。Genie Codeがそれを設定し、自然言語でオーケストレーションの問題を変更、デバッグ、および修正するのに役立ちます。
  

  

• 既存のワークフローの拡張と進化: 要件が変更された場合、Genie Codeは新しいデータセットと変換を使用してパイプラインとジョブを更新するのに役立ちます。現在のパイプラインの構造と結果を理解し、変更データキャプチャ（CDC）用のAutoCDCフローを作成したり、Auto Loaderを設定したり、データ品質の期待値を適用したり、メダリオンアーキテクチャに従ったりすることで、それらを拡張できます。
• Declarative Automation Bundles（DAB）でベストプラクティスを採用する: Genie Codeは、既存のDABプロジェクト内で直接機能します。リソースの追加、設定の更新、バンドルの検証、ターゲットへのデプロイを行います。これにより、YAMLを手書きすることなく、ソース管理、テスト、CI/CDなどのソフトウェアエンジニアリングのベストプラクティスをデータプロジェクトに採用できます。
• 基準を下げずに、より速く作業する: これらの機能は、ワークフローをエンタープライズ要件に準拠させながら、手作業を削減します。パイプラインはUnity Catalogを通じて管理され、パフォーマンスとデータ品質の確立されたパターンに従いますが、ジョブはスケジュール、再試行、依存関係の一貫した設定を継承します。データエンジニアは制御を維持しますが、反復的な作業に費やす時間は少なくなります。

パイプラインとジョブの監視、診断、デバッグ

• パイプラインの動作の理解と改善: Genie Codeは、データセットとパイプラインの出力を検査して、パイプラインのエンドツーエンドの理解を支援できます。たとえば、変換を要約したり、データがダウンストリームテーブルにどのように流れ込むかをトレースしたり、行数やスキーマの予期しない変更を強調表示したりできます。
• ジョブとパイプラインの障害のデバッグと診断: パイプラインまたはジョブが失敗した場合、Genie Codeは問題の解決を支援します。エラーを分析し、関連ファイル全体にわたる更新を提案し、変更を適用する前に差分を表示します。各更新を確認し、何を進めるかを決定できます。これにより、長くて手動のデバッグサイクルが、より高速なガイド付きイテレーションに変わります。
  

  

• Genie Codeの拡張とカスタマイズ: Genie Codeは組み込み機能に限定されません。チームは、カスタム指示、エージェントスキルでそれを拡張し、MCPサーバーを介して外部システムを統合することで、Genie Codeがドメイン固有のロジック、内部ツール、およびカスタムワークフローで動作するようにすることができます。これにより、Genie Codeは環境とドメイン知識に適応します。

次にやること

パイプライン、ジョブ、およびプラットフォーム全体にGenie Codeを拡張するための機能がさらに追加される予定です。今後のエキサイティングな機能の1つは、AI最適化ワークロードです。将来的には、Genie Codeをバックグラウンドで実行してプラットフォームを効率的に稼働させることも可能になり、これらの反復的で時間のかかるタスクを委任できるようになります。これには、ジョブの失敗への対応や定期的なアップグレードの管理だけでなく、クラスター使用率の自動的な適切なサイジングも含まれます。

これらの更新とベストプラクティスについてさらに詳しく知りたいですか？ Genie Code、Lakeflowなどをカバーする何百ものセッションがあるData+AI Summitに登録してください！

Genie Codeのデータエンジニアリング機能を試す

エージェントモードでGenie Codeを開き、パイプラインやジョブの構築または更新を支援するように依頼してください。詳細については、デモをご覧ください。

詳細については、ドキュメントを確認してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事