Lakeflow Designerを発表：データインテリジェンスプラットフォームによるノーコードETL

Databricks Data + AI Platformと完全に統合された、AI搭載のノーコードパイプラインビルダーであるLakeflow Designerを発表できることを嬉しく思います。ビジュアルキャンバスと組み込みの自然言語インターフェイスにより、Designerを使用すると、ビジネスアナリストは単一の統合製品内で、コードを一行も書かずに、スケーラブルな本番パイプラインを構築し、データ分析を実行できます。

Designerで構築されたすべてのパイプラインは、内部的にLakeflow Declarative Pipelineを作成します。データエンジニアは、Databricks全体で使用されているものと同じANSI SQL標準であるため、ツールを切り替えたりロジックを書き直したりすることなく、これらのパイプラインを確認、理解、改善できます。これにより、ノーコードユーザーは、エンジニアに追加のオーバーヘッドを発生させることなく、データ作業に参加できます。

Lakeflow Designerは、本日発表されたLakeflowの一般提供に続き、今後数か月でプライベートプレビューで利用可能になります。それがもたらす影響を皆様にご覧いただけることを楽しみにしています。

既存のノーコードツールはデータインテリジェンスプラットフォームの外で動作し、サイロを作成し、本番環境のギャップを引き起こし、AIの生産性を制限します

データチームとビジネスアナリストは同じことを望んでいます。それは、生データを迅速にインサイトに変えることです。しかし、彼らが使用するツールと作業する環境は、しばしば彼らを異なる方向に引き寄せます。

ビジネスアナリストは、組織の意思決定を推進する質問に対する貴重なドメイン知識と洞察をもたらします。迅速に進めるために、スプレッドシートを使用して迅速なソリューションを作成することがよくあります。それでも不十分な場合は、従来のノーコードツールに頼ります。これらのツールは簡単でわかりやすいですが、作成されたパイプラインはデータプラットフォームの外の異なる環境に存在し、エンジニアが作成および保守するパイプラインから分離されています。

この分離は、3つの永続的な課題を生み出します。

• サイロ化されたワークフロー：アナリストとエンジニアは異なるツールで構築するため、冗長な作業と調整のオーバーヘッドが発生します。ワークフローがデータプラットフォームにまたがる必要がある場合、エンジニアはしばしば最初から完全に再構築する必要があります。
• 本番環境の課題：外部パイプラインは、プラットフォームのガバナンスやオブザーバビリティなしで実行されるため、壊れやすく、保守が困難になります。
• 限定的なAI生産性：AIアシスタントはメタデータ、リネージ、使用パターンにアクセスできないため、提案はしばしば一般的であり、データコンテキストにアクセスせずに言語モデルを使用するのと似ています。

Lakeflow Designer：データインテリジェンスプラットフォームに組み込まれた統合ノーコードツール

Lakeflow Designerは、ビジネスチームとデータチームを、Databricks上でパイプラインが作成、管理、およびガバナンスされる単一の統合環境に集めることで、これらの問題に対処します。すべてのパイプラインがプラットフォーム内でネイティブに構築されるため、チームは最初からオブザーバビリティ、ガバナンス、およびスケーリングが組み込まれており、再書き込みは不要です。

共有された共同ワークフロー

Lakeflow Designerは、チームが一緒に構築できる統合プラットフォームを提供することにより、サイロ化されたワークフローに直接対処します。ビジネスユーザーは、使い慣れた直感的なビジュアルノーコード環境でパイプラインを作成します。舞台裏では、ビジュアルパイプラインはLakeflow Declarative Pipelinesとして実装されます。これらは、Lakeflow Declarative Pipelinesで直接開発されたパイプラインと同じスケーラブルで信頼性の高いランタイムを使用します。

Designerの出力は、コーディングされた場合と同じであるため、データエンジニアは他のLakeflowパイプラインと同様にパイプラインを検査および編集できます。これは、ビジネスアナリストが問題に遭遇した場合、エンジニアは新しいツールを学習する必要なく介入して支援できることを意味します。なぜなら、それは彼らが慣れているのと同じDeclarative Pipelinesだからです。これらすべてにより、よりスムーズな引き継ぎと、エンジニアリングサイクルを消費する再構築の削減が実現します。

本番環境への組み込みパス

Lakeflow Designerパイプラインは、Lakeflow Declarative Pipelinesとしてデプロイされます。これは、それらがすぐに本番環境で使用できることを意味します。それらはバージョン管理され、Unity Catalogによってガバナンスされ、Lakeflowモニタリングツールで完全にオブザーバブルです。

すべてが最初から本番環境向けに構築されているため、スケーラビリティと信頼性のためにパイプラインを再構築する必要はありません。初日からスケジューリング、テスト、アラートを利用できます。

あなたのビジネスを理解するAI

DesignerはAIファーストの開発エクスペリエンスを提供し、自然言語プロンプトを使用してアイデアからパイプラインへの移行を支援します。DesignerのAIのユニークな点は、統合されたDatabricks Intelligence Platformによって可能になる、データの構造、セマンティクス、および使用パターンに基づいていることです。ビジネス全体でデータが実際にどのように話され、使用されているか、テーブル定義、列名、クエリ履歴を含めて認識しています。

他のツールもAI機能を提供するかもしれませんが、プラットフォームの外にあるため、この豊富なコンテキストなしで動作します。DesignerのAIは異なります。Databricksと深く統合され、データの構造とセマンティクスでトレーニングされ、既存のワークフローとガバナンス標準に沿った信頼性の高い本番グレードのパイプラインを生成するように構築されています。

まもなくプライベートプレビューで利用可能

Lakeflow Designerは、今後数か月でプライベートプレビューで利用可能になります。エクスペリエンスを洗練し、アクセスを拡大するために、さまざまな業界の初期ユーザーと緊密に協力しています。

リスクを増やすことなく、または新しいツールを追加することなく、より多くのユーザーに信頼性の高いパイプラインを構築する機能を提供したいチームは、Databricksアカウントチームに連絡してアクセスをリクエストしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事