Databricksでのパイプライン構築が進化：新しい「データエンジニアリング向けIDE」登場！

Lakeflow Spark宣言型パイプラインを作成するために専用に構築された、新しい開発者エクスペリエンス

公開日: 2025年11月19日

お知らせLess than a minute

によってアドリアナ・イスパス、レナート・カッツ、カミエル・スティーンストラ、 Monica Alvarez Vicente による投稿

Summary

Spark宣言型パイプラインで、Databricks Workspaceの専用 IDE 開発者エクスペリエンスが利用可能になりました。
新しい IDE は、依存関係グラフ、プレビュー、実行知見などの機能により、生産性とデバッグを向上させます。
IDE は、迅速なオンボーディングと、Git 統合、CI/CD、可観測性といった高度なユースケースの両方をサポートします。

今年の Data + AI Summit で、Databricks Workspace 内で直接データパイプラインを作成するために特化して構築された新しい開発者エクスペリエンス、データエンジニアリング向け IDE を発表しました。新しいdefaultの開発エクスペリエンスである IDE は、defaultで宣言型、モジュール構造、Git統合、AI支援といった、データエンジニアリングに対する私たちの独自の思想を反映しています。

要するに、データエンジニアリング用 IDE は、データパイプラインの作成とテストに必要なものすべてを 1 か所にまとめたものです。

この新しい開発エクスペリエンスはパブリックプレビューでご利用いただけます。このブログでは、宣言型パイプラインが専用の IDE エクスペリエンスからメリットを得られる理由を説明し、パイプライン開発をより迅速に、より整理しやすく、デバッグしやすくする主要な機能をご紹介します。

宣言型のデータエンジニアリングに専用の開発者エクスペリエンスが登場

宣言型パイプラインは、構築方法をステップバイステップで記述するのではなく、達成したい内容を宣言することでデータエンジニアリングを簡素化します。宣言型プログラミングは、データパイプラインを構築するための非常に強力なアプローチですが、専用のツールがなければ、複数のデータセットの操作や開発ライフサイクル全体の管理が難しくなる場合があります。

このため、Databricks Workspace内で直接、宣言型パイプライン向けの完全なIDEエクスペリエンスを構築しました。Lakeflow Spark宣言型パイプラインの新しいエディターとして利用でき、データセットと品質制約をファイルで宣言し、フォルダーに整理して、コードの横に表示される自動生成の依存関係グラフで接続を確認できます。エディターがファイルを評価して最も効率的な実行計画を決定し、単一のファイル、変更されたデータセットのセット、またはパイプライン全体を再実行することで、迅速にイテレーションを行うことができます。

このエディターは、実行に関する知見の表示、組み込みデータプレビューの提供、コードの微調整に役立つデバッグツールも備えています。また、Lakeflow Jobs を使用してバージョン管理や定期実行と連携します。そのため、パイプラインに関連するすべてのタスクを単一の画面から実行できます。

これらの機能をすべて単一の IDE のような画面に集約することで、このエディタは宣言型パラダイムに準拠しつつ、データエンジニアが最新の IDE に求める開発手法と生産性を実現します。

以下の埋め込み動画では、これらの機能が実際に動作している様子をご覧いただけます。詳細については、以降のセクションで説明します。

簡単に始められます

このエディターは、宣言型パラダイムに不慣れなユーザーでも、最初のパイプラインを迅速に構築できるように設計されています。

ガイド付きセットアップにより、新規ユーザーはサンプルコードからstartでき、既存のユーザーは Databricks Asset Bundles を使用して CI/CD が統合されたパイプラインなど、高度なセットアップを構成できます。
提案されるフォルダー構造は、アセットを整理するための出発点となり、厳格な規約を強制しないため、チームは確立された独自の組織パターンを実装することもできます。たとえば、各メダリion ステージのフォルダーに変換処理をグループ化し、ファイルごとに 1 つのデータセットを配置できます。
Default設定を使用すると、ユーザーは事前の構成に大きな手間をかけることなく最初のコードを作成してランでき、エンドツーエンドのワークロードが定義された後に設定を調整できます。

これらの機能は、ユーザーが迅速に生産性を高め、作業を本番運用に対応したパイプラインに移行するのに役立ちます。

内部開発ループの効率性

パイプラインの構築は反復的なプロセスです。エディターは、オーサリングを簡素化し、ロジックのテストと改良を高速化する機能によって、このプロセスを効率化します。

AI を活用したコード生成とコードTemplateが、データセット定義とデータ品質制約の設定を高速化し、反復的なステップを排除します。
選択的実行では、単一のテーブル、ファイル内のすべてのテーブル、またはパイプライン全体をランできます。
インタラクティブなパイプライングラフは、データセットの依存関係の概要を提供し、データプレビュー、再実行、コードへのナビゲーション、自動生成されたボイラープレートによる新しいデータセットの追加などのクイックアクションを提供します。
組み込みのデータプレビューにより、エディターを離れることなくテーブルデータを検査できます。
コンテキストエラーは、Databricks Assistant からの修正案とともに、関連するコードの横に表示されます。
実行知見パネルには、データセットのメトリクス、期待値、クエリーパフォーマンスが表示され、パフォーマンスチューニングのためにクエリープロファイルにアクセスできます。

これらの機能により、コンテキストの切り替えが減り、開発者はパイプラインロジックの構築に集中し続けることができます。

すべてのタスクを 1 つの画面で

パイプライン開発は、コードを書くだけではありません。新しい開発体験では、保守性のためのコードのモジュール化から、自動化とオブザーバビリティの設定まで、関連するすべてのタスクを 1 つの画面に集約しています:

探索的ノートブックや再利用可能なPythonモジュールなど、隣接するコードを専用フォルダーに整理し、複数のtabでファイルを編集して、パイプラインロジックとは別にランできます。これにより、関連するコードが発見しやすくなり、パイプラインが整理された状態に保たれます。
Git フォルダによる統合されたバージョン管理により、安全で分離された作業、コードレビュー、共有 repository へのプルリクエストが可能になります。
Databricks Asset Bundles を使用したパイプラインの CI/CD サポートは、内部ループ開発をデプロイに結び付けます。データ管理者は、データ実務者のワークフローを複雑にすることなく、Templateと構成ファイルを使用して、テストを強制し、本番運用へのプロモーションを自動化できます。
組み込みの自動化と可観測性により、パイプラインの定期実行が可能になり、モニタリングやトラブルシューティングのために過去のランにすばやくアクセスできます。

これらの機能を統合することで、エディタは日常的な開発と長期的なパイプライン運用の両方を効率化します。

これらのすべての機能が実際に動作している様子の詳細については、以下の動画をご覧ください。

次のステップ

私たちの取り組みはここで終わりません。現在検討中の機能のプレビューは次のとおりです。

Lakeflow Spark宣言型パイプラインでのデータテストと、エディターでのテストランナーのネイティブサポート
AI によるテスト生成で検証を高速化
Lakeflow Spark 宣言型パイプラインのためのエージェント型エクスペリエンス。

他にどのような機能をご希望か、ぜひお聞かせください。皆様からのフィードバックが、私たちの製品開発の推進力となります。

今すぐ新しい開発者エクスペリエンスを始めましょう

データエンジニアリング向け IDE は、すべてのクラウドで利用可能です。有効にするには、既存のパイプラインに関連付けられたファイルを開き、「Lakeflow Pipelines Editor: OFF」バナーをクリックしてオンに切り替えます。また、パイプライン作成時に同様のトグルで有効にしたり、[ユーザー設定] ページから有効にしたりすることもできます。

詳細については、以下のリソースを参照してください：