Databricks Data Intelligence Platform に完全統合された、AI 搭載のノーコード・パイプライン構築ツール「Lakeflow Designer」のリリースを発表できることを嬉しく思います。視覚的なキャンバスと自然言語インターフェースを備えた Designer を使えば、ビジネスアナリストでも一行もコードを書くことなく、スケーラブルな本番用パイプラインの構築やデータ分析が可能になります。しかも、すべてが1つの統合された製品内で完結します。
Designer で構築されたすべてのパイプラインは、裏側で Lakeflow の宣言型パイプラインとして作成されます。データエンジニアはツールを切り替えたりロジックを書き直したりすることなく、これらのパイプラインをレビュー・理解・改善できます。これは、Databricks 全体で使用されている ANSI SQL 標準に基づいているためです。この仕組みにより、ノーコードユーザーもエンジニアに負荷をかけることなく、データ活用に参加することができます。
Lakeflow Designer は、今回発表された Lakeflowの一般提供（GA）に続いて、今後プライベートプレビューで利用可能になります。
従来のノーコードツールはDatabricksのData Intelligence Platformの外に存在しており、サイロ化を招き、本番運用上のギャップを生み出し、AIの生産性も制限してしまいます。
データチームとビジネスアナリストの目的は同じです――生のデータを素早くインサイトに変えること。しかし、使用するツールや働く環境の違いによって、両者の連携は分断されがちです。
ビジネスアナリストは、組織の意思決定を支える重要な問いに対して、専門的な知見とドメインの理解を持っています。迅速に動くために、まずはスプレッドシートで簡易的なソリューションを作ることも多く、それでは足りない場合にはレガシーなノーコードツールに頼ります。こ れらのツールは使いやすい反面、作られるパイプラインはデータプラットフォームの外にあり、エンジニアが管理・構築するパイプラインとは分離された別の環境に存在します。
この分断により、以下のような3つの課題が生まれます：
-
サイロ化したワークフロー：アナリストとエンジニアが別々のツールで作業するため、重複作業や調整コストが発生します。アナリストのワークフローをデータプラットフォーム上で動かそうとすると、エンジニアがゼロから作り直す必要があることも少なくありません。
-
本番運用の課題：外部ツールで作成されたパイプラインは、プラットフォームのガバナンスや監視の対象外であるため、脆弱でメンテナンスが困難です。
-
AIの生産性の制限：AIアシスタントは、メタデータやデータのリネージ、利用状況などにアクセスできないため、提案が一般的であり、データの文脈を理解した上での支援が難しくなります。これは、データに接続されていない言語モデルを使っているのと同じ状態です。
Lakeflow Designer：Data Intelligence Platformに組み込まれた統合型ノーコードツール
Lakeflow Designerは、ビジネスチームとデータチームが同じ統一された環境でパイプラインの作成・管理・ガバナンスを行えるようにすることで、これまでの課題を解決します。すべてのパイプラインがDatabricksプラットフォーム上にネイティブに構築されるため、初日から可観測性・ガバナンス・スケーラビリティが組み込まれており、パイプラインを作り直す必要はありません。
共有・協働型ワークフローの実現
Lakeflow Designerは、分断されたワークフローという課題に対し、チームが一緒に作業できる統一プラットフォームを提供することで直接アプローチします。ビジネスユーザーは、直感的で親しみやすいノーコードのビジュアル環境でパイプラインを 作成できます。
その裏側では、作成されたビジュアルパイプラインは「Lakeflow Declarative Pipeline」として実装されます。これは、Lakeflowで直接開発されるパイプラインと同じスケーラブルで信頼性の高いランタイムを使用しています。
Designerが出力するパイプラインは、コードで書いたものと同等の形式なので、データエンジニアは他のLakeflowパイプラインと同様に確認・編集が可能です。そのため、ビジネスアナリストが問題に直面した場合でも、エンジニアは新しいツールを学ばずにすぐ対応できます。これにより、スムーズな引き継ぎが可能になり、エンジニアによる作り直しの手間も大幅に軽減されます。
本番環境までシームレスにつながる設計
Lakeflow Designerで作成されたパイプラインは、そのまま「Lakeflow Declarative Pipeline」としてデプロイされます。つまり、すぐに本番運用が可能です。これらのパイプラインはバージョン管理され、Unity Catalogによるガバナンスが適用され、Lakeflowの監視ツールで可視化・監視できます。
最初から本番利用を前提に設計されているため、スケーラビリティや信頼性のためにパイプラインを作り直す必要はありません。スケジューリング、テスト、アラートなどの機能も初日から利用できます。
ビジネスを理解するAI体験
Lakeflow Designerは、AI主導の開発体験を提供し、自然言語によるプロンプトからアイデアをすばやくパイプラインへと形にできます。DesignerのAIの大きな特長は 、Databricksの統合プラットフォームによって、データの構造、意味、利用パターンに根ざして動作する点です。テーブル定義、カラム名、クエリ履歴など、実際に社内でどのようにデータが使われているかを理解しています。
他のツールにもAI機能があるかもしれませんが、それらはプラットフォーム外で動作するため、このようなリッチな文脈情報を活用できません。DesignerのAIは違います。Databricksと深く統合され、貴社のデータ構造や意味を学習し、既存のワークフローやガバナンス基準に沿った、信頼性の高い本番向けパイプラインを生成します。
近日中にプライベートプレビューを提供開始
Lakeflow Designerは、今後数か月以内にプライベートプレビューとして提供を開始する予定です。現在、さまざまな業界の初期ユーザーと密に連携しながら、製品体験の改善と提供範囲の拡大を進めています。
もし、チーム内のより多くのユーザーに、新しいツールを追加したりリスクを増やしたりすることなく、信頼性の高いパイプラインを構築できる環境を提供したいとお考えであれば、ぜひ貴社のDatabricksアカウントチームまでご連絡ください。プレビューへのアクセスをご案内いたします。
