Databricksにおけるパイプライン構築の新手法：データエンジニアリング向けIDEのご紹介

今年の Data + AI Summit で、データエンジニアリング向け IDE を発表しました。これは、Databricks Workspace 内で直接データパイプラインを構築するために特別に設計された新しい開発者エクスペリエンスです。新しいデフォルトの開発エクスペリエンスとして、この IDE はデータエンジニアリングに対する当社の意見を反映したアプローチ、すなわち、デフォルトで宣言的、構造はモジュール式、Git 統合、AI アシストを実現しています。

要するに、データエンジニアリング向け IDE は、データパイプラインの構築とテストに必要なすべてを、すべて 1 か所で行えるようにするものです。

この新しい開発エクスペリエンスは Public Preview で利用可能になりました。このブログでは、宣言型パイプラインが専用の IDE エクスペリエンスからどのようにメリットを得られるのか、そしてパイプライン開発をより速く、より整理された、デバッグしやすいものにする主要な機能に焦点を当てて説明します。

宣言型データエンジニアリングのための専用開発者エクスペリエンス

宣言型パイプラインは、構築方法の詳細な手順を記述するのではなく、達成したいことを宣言することで、データエンジニアリングを簡素化します。宣言型プログラミングはデータパイプライン構築に非常に強力なアプローチですが、複数のデータセットを扱ったり、開発ライフサイクル全体を管理したりすることは、専用ツールなしでは困難になることがあります。

そのため、Databricks Workspace 内に宣言型パイプライン向けの完全な IDE エクスペリエンスを構築しました。Lakeflow Spark Declarative Pipelines の新しいエディターとして利用でき、ファイルでデータセットと品質制約を宣言し、それらをフォルダーに整理し、コードの横に表示される自動生成された依存関係グラフを通じて接続を表示できます。エディターはファイルを評価して最も効率的な実行計画を決定し、単一のファイル、変更されたデータセットのセット、またはパイプライン全体を再実行することで迅速なイテレーションを可能にします。

このエディターは、実行に関する洞察を表示し、組み込みのデータプレビューを提供し、コードの微調整に役立つデバッグツールも備えています。また、バージョン管理や Lakeflow Jobs によるスケジュール実行とも統合されています。これにより、パイプラインに関連するすべてのタスクを 1 つのインターフェイスで実行できます。

これらの機能をすべて単一の IDE のようなインターフェイスに統合することで、このエディターは、宣言型パラダイムに忠実でありながら、データエンジニアが最新の IDE に期待するプラクティスと生産性を提供します。

下の埋め込み動画でこれらの機能の動作を確認できます。詳細については、次のセクションで説明します。

「新しいエディターは、コード、パイプライングラフ、結果、設定、トラブルシューティングなど、すべてを 1 か所にまとめてくれます。ブラウザタブを切り替えたり、コンテキストを失ったりする必要はもうありません。開発がより集中して効率的になったように感じます。各コード変更の影響を直接確認できます。ワンクリックで正確なエラー行に移動できるため、デバッグが迅速になります。すべてが接続されています。コードとデータの接続、コードとテーブルの接続、テーブルとコードの接続です。パイプライン間の切り替えは簡単で、自動設定されたユーティリティフォルダーのような機能は複雑さを軽減します。これはパイプライン開発のあるべき姿だと感じます。」— Chris Sharratt, Data Engineer, Rolls-Royce

「私の意見では、新しいパイプラインエディターは大きな進歩です。マルチソフトタブエクスペリエンスのおかげで、複雑なフォルダー構造を管理し、ファイル間を切り替えるのがはるかに簡単になりました。統合された DAG ビューは、複雑なパイプラインを把握するのに役立ち、強化されたエラー処理はゲームチェンジャーです。問題を迅速に特定でき、開発ワークフローを合理化できます。」— Matt Adams, Senior Data Platforms Developer, PacificSource Health Plans

始めやすさ

宣言型パラダイムに慣れていないユーザーでも、すぐに最初のパイプラインを構築できるようにエディターを設計しました。

• ガイド付きセットアップにより、新規ユーザーはサンプルコードから開始できます。一方、既存ユーザーは、Databricks Asset Bundles を介した CI/CD が統合されたパイプラインなどの高度なセットアップを構成できます。
• 推奨フォルダー構造は、厳格な規約を強制することなくアセットを整理するための開始点を提供するため、チームは確立された独自の整理パターンも実装できます。たとえば、各メダリオンステージのフォルダーに変換をグループ化し、ファイルごとに 1 つのデータセットを作成できます。
• デフォルト設定により、ユーザーは重い初期設定のオーバーヘッドなしで最初のコードを記述および実行し、エンドツーエンドのワークロードが定義されたら後で設定を調整できます。

これらの機能は、ユーザーが迅速に生産性を向上させ、作業を本番対応のパイプラインに移行するのに役立ちます。

内部開発ループの効率性

パイプラインの構築は反復的なプロセスです。エディターは、作成を簡素化し、ロジックのテストと洗練を迅速に行う機能により、このプロセスを合理化します。

• AI を活用したコード生成とコードテンプレートにより、コードデータセット定義とデータ品質制約の作成が迅速化され、繰り返し作業が削減されます。
• 選択的実行により、単一のテーブル、ファイル内のすべてのテーブル、またはパイプライン全体を実行できます。
• インタラクティブなパイプライングラフは、データセットの依存関係の概要を提供し、データプレビュー、再実行、コードへの移動、または自動生成された定型コードを使用した新しいデータセットの追加などのクイックアクションを提供します。
• 組み込みのデータプレビューにより、エディターを離れることなくテーブルデータを検査できます。
• コンテキストエラーは関連コードの横に表示され、Databricks Assistant からの修正提案も提供されます。
• 実行インサイトパネルには、データセットメトリクス、期待値、クエリパフォーマンスが表示され、パフォーマンスチューニングのためのクエリプロファイルにアクセスできます。

これらの機能は、コンテキストスイッチを減らし、開発者がパイプラインロジックの構築に集中できるようにします。

すべてのタスクのための単一のインターフェイス

パイプライン開発には、コードの記述以上のことが含まれます。新しい開発者エクスペリエンスは、保守性のためのコードのモジュール化から、自動化とオブザーバビリティの設定まで、関連するすべてのタスクを 1 つのインターフェイスにもたらします。

• 隣接するコード（探索的ノートブックや再利用可能な Python モジュールなど）を専用フォルダーに整理し、複数のタブでファイルを編集し、パイプラインロジックとは別に実行します。これにより、関連コードを発見しやすく、パイプラインを整然と保つことができます。
• Git フォルダーを介した統合バージョン管理により、安全で分離された作業、コードレビュー、共有リポジトリへのプルリクエストが可能になります。
• パイプライン向けの Databricks Asset Bundles サポートによる CI/CD は、内部ループ開発とデプロイメントを接続します。データ管理者は、データプラクティショナーのワークフローに複雑さを追加することなく、テンプレートと設定ファイルを使用してテストを強制し、本番環境への昇格を自動化できます。
• 組み込みの自動化とオブザーバビリティにより、スケジュールされたパイプライン実行が可能になり、監視とトラブルシューティングのために過去の実行にすばやくアクセスできます。

これらの機能を統合することで、エディターは日常の開発と長期的なパイプライン運用の両方を合理化します。

以下の動画で、これらの機能がすべて動作する様子を詳しくご覧ください。

次のステップ

私たちはここで止まりません。現在検討中の内容のプレビューを以下に示します。

• Lakeflow Spark Declarative Pipelines でのデータテストのネイティブサポートと、エディターでのテストランナー
• 検証を迅速化するための AI アシストによるテスト生成
• Lakeflow Spark Declarative Pipelines のためのエージェント型エクスペリエンス。

他にどのような機能を見たいか教えてください。皆様からのフィードバックが、私たちの開発の原動力となります。

新しい開発者エクスペリエンスを今すぐ始めましょう

データエンジニアリング向け IDE は、すべてのクラウドで利用可能です。有効にするには、既存のパイプラインに関連付けられたファイルを開き、「Lakeflow Pipelines Editor: OFF」バナーをクリックしてオンに切り替えます。同様のトグルを使用してパイプライン作成中に有効にすることも、ユーザー設定ページから有効にすることもできます。

これらのリソースを使用して詳細をご確認ください。

• ドキュメントをご覧ください。
• Data + AI Summit 2025 の Authoring Data Pipelines With the New Editor のセッションをご覧ください。
• Data + AI Summit 2025 の Lakeflow in Production: CI/CD, Testing and Monitoring at Scale をチェックしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事