Lakeflow Designerのパブリックプレビューを発表

昨年、Data and AI Summit で初めて Lakeflow Designer をご紹介して以来、早期のお客様と緊密に連携し、製品を改良し、最も有用な箇所をより深く理解してきました。本日、Lakeflow Designer のパブリックプレビューを発表できることを嬉しく思います。Lakeflow Designer は、今日のデータにおける最大のボトルネックの 1 つである、参入の技術的障壁を取り除きます。

Lakeflow Designer とは？

Lakeflow Designer は、データ準備と分析のための、ビジュアルでノーコード、AI ネイティブなエクスペリエンスです。Databricks 上に直接構築されており、アナリスト、ドメインエキスパート、その他の技術的スキルの低いユーザーが、ドラッグ＆ドロップのキャンバスと自然言語を通じてデータを準備および探索できるようにします。

Lakeflow Designer の各ステップはオペレーターとして表され、ユーザーはワークフロー全体でデータがどのように変化するかを明確に把握できます。これにより、変換を構築、検証、理解することが容易になります。

Lakeflow Designer は、Databricks Lakeflow のパワーをより幅広いユーザーに拡張し、バックグラウンドで本番稼働可能なコードを生成しながら、ノーコードでのデータ準備を可能にします。ワークフローは Lakeflow Jobs を介してスケジュールおよび運用化できるため、インタラクティブなデータ準備から本番パイプラインへの移行が容易になります。

Lakeflow Designer は、ビジネスチームの自律性を拡大し、自然言語とベストプラクティスを通じて効率的なデータビューの作成を可能にすると同時に、データの整合性、ガバナンス、信頼性を確保します。 — Phelipe Naman, Data & Analytics Architecture Tech Lead, Sabesp

Lakeflow Designer の違いは何ですか？

セルフサービスでのデータ準備は新しいアイデアではありませんが、既存のツールは中央データプラットフォームの外にあります。これにはトレードオフが伴います。

• データ準備ツールとデータプラットフォームの間の断絶は、ガバナンスのギャップと追加の IT オーバーヘッドを生み出します
• ツールがデータを真に理解していないため、AI は後付けであり、提案は一般的です
• ビジュアルワークフローは本番稼働が困難であり、ロジックはドメイン固有の言語や UI に閉じ込められることがよくあります
• ユーザーごとのライセンスは高価であり、アクセスできるユーザーを制限します

Lakeflow Designer は異なるアプローチを採用しています。

1. ガバナンスとシンプルさのために Databricks 上にネイティブに構築
Lakeflow Designer は、データが既に存在する場所、つまり Databricks 上で直接実行されます。データを別のツールやローカルマシンに移動する必要はありません。データは所定の位置に留まり、最初から Unity Catalog によってガバナンスされ、全体的なデータスタックが簡素化されます。独自のライセンス、権限、管理モデルを持つ別のローコードツールを管理する代わりに、組織は Databricks 内で直接セルフサービス作業を有効にできます。

KPMG UK は、それぞれ異なるデータランドスケープを持つ何千もの企業に監査および保証サービスを提供しています。実践者に Lakeflow Designer を装備することで、複雑で多様なデータセットを意味のある洞察に変換する能力をスケーリングおよび民主化する、ビジュアルでローコード、AI アシストのワークフローが可能になります。 — Mark Wallington, Audit Data and AI Partner, KPMG UK

ネイティブソースデータですぐに作業を開始

2. 最初から AI のために構築され、AI をレビュー可能にするように設計
Lakeflow Designer は、Databricks のネイティブエージェントコーディングアシスタントである Genie Code 上に構築されています。AI はここではアドオンではありません。製品の動作の中核です。単純に、欲しいものをプレーンな英語で説明すれば、Genie Code がワークフローを直接生成または変更できます。

AI ネイティブなオーサリングは、ただ機能するだけ

Lakeflow Designer は Databricks ワークスペースに直接組み込まれているため、Genie Code は列名だけでなく、それ以上のものを推論できます。Unity Catalog メタデータ、テーブルの説明、リネージ、人気、クエリ例を使用して、データのセマンティックな意味を理解し、タスクに適したアセットを特定できます。これにより、スキーマしか見えないツールよりも、コンテキストをより意識した正確な提案が得られます。

このアーキテクチャは、よりエージェント的な動作への扉も開きます。静的な結果を一度生成するのではなく、システムは変換を実行し、出力を検査し、必要に応じて反復処理できます。たとえば、結合が失敗した場合や行が返されない場合、Genie Code は結果を評価して代替アプローチを試すことができます。

おそらく同様に重要なのは、Lakeflow Designer が AI 生成された変換を理解しやすく、検証しやすくすることです。これは、離散的なビジュアルオペレーターに分割され、各ステップでデータプレビューが行われるためです。次に進む前に、何が変更されたか、どこで行がフィルタリングされたか、結合がどのように解決されたか、出力がどのように見えるかを正確に確認できます。

Lakeflow Designer は、データエンジニアリングをコアテクニカルチームを超えて Databricks でスケーリングするための重要なイネーブラーです。自然言語機能と統合されたビジュアルインターフェイスを提供することで、「SQL ボトルネック」を削減し、ビジネスチームがより大きな自律性を持ってパイプラインをプロトタイプ化および反復処理できるようにします。これは使いやすさだけでなく、組織的な整合性に関するものです。変換がビジュアルでアクセス可能になると、ビジネスの意図と技術的な実行の間のギャップが狭まり、生データから実用的な洞察へのジャーニーが加速されます。 — Matheus Polycaropo, Data Engineering Leader, Serasa Experian

3. すべてのビジュアル変換は、実際の、本番稼働可能なコードを生成します
Lakeflow Designer のすべての変換は、バックグラウンドで本番稼働可能な Python コードを生成します。そのコードはレビュー、Git でのバージョン管理、およびより大きな本番ワークフローへの直接統合が可能です。将来的には、Designer はマテリアライズドビューなどの、よりネイティブな本番出力もサポートするようになります。これにより、セルフサービスツールの最大のコストの 1 つ、つまりエンジニアリングに作業を引き渡して本番用に再構築する必要がなくなります。別のシステムで作業をやり直すのではなく、中央データチームはユーザーが既に作成したものに基づいて構築できます。

4. ユーザーごとのライセンスなし
従来のローコードツールの導入における最大の障壁の 1 つは、価格設定です。シートベースのライセンスモデルでは、どのユーザーにアクセス権を与える価値があるかを事前に決定する必要があり、導入が遅れ、セルフサービスが始まる前に制限されます。

Lakeflow Designer では、ユーザーごとのライセンスモデルはありません。使用したコンピューティングリソースに対してのみ料金が発生します。ビジネス全体で、誰もが新しい調達のボトルネックを作成することなく、データ作業に参加できます。

チームは Lakeflow Designer をどのように使用していますか？

すでに、さまざまな業界の何百ものチームが Lakeflow Designer を使用して、これまでエンジニアリングサポートなしではスケーリングが困難だった方法でデータを準備および操作しています。

たとえば：

• コンサルティングおよびプロフェッショナルサービスチームは、Lakeflow Designer を使用して、スプレッドシート、PDF、共有ファイルからクライアントデータをクリーニングし、反復可能な監査または分析ワークフローを適用してレポートを作成します。
• 金融サービス組織は、Lakeflow Designer をセルフサービスデータ準備、規制レポート作成、リスク分析に使用します。
• マーケティング、オペレーション、ロジスティクスなどのビジネスチームは、複数のソースからのデータを組み合わせ、運用上の質問に回答し、ダッシュボード用のデータを準備するために使用します。

また、Lakeflow Designer が広範な Databricks プラットフォーム全体で重要な役割を果たしていることも確認しています。チームは、Metric Views および AI/BI ダッシュボードに流れるデータを準備するためにそれを使用しており、完全なセルフサービスループを作成しています。アナリストは、コードを書かずに生テーブルから完成したダッシュボードまで移動できます。

Lakeflow Designer の導入により、データパイプラインの構築が簡素化され、ローコード開発と自然言語を活用した AI 機能を通じて分析の質が向上しました。非技術チームは、複雑な分析プロセスを自律的に作成し始め、実際のビジネス価値を生み出し、意思決定を加速しました。さらに、このプラットフォームにより、データ駆動型文化を社内全体でスケーリングし、高度な分析のリーチをより多くの分野に拡大し、組織全体でデータインテリジェンスへのアクセスを民主化することができました。 — Carlos Gumz, Data Lead, Hering

はじめに

Designer は現在、すべてのワークスペースで利用可能です。開始するには、ワークスペースの左上にある + 新規 ボタンをクリックし、Visual data prep を選択します。Visual data prep オプションが表示されない場合は、管理者がプレビューポータルで Designer を有効にする必要がある場合があります。

Lakeflow Designer で実行できるその他の次のステップを次に示します。

• Lakeflow Designer の 8 分間の デモビデオ を視聴する
• Lakeflow Designer の開始方法に関する詳細なリソースについては、ドキュメント ページをご覧ください。
• お客様からのフィードバックは、製品の形成とロードマップにおける重要な役割を担い続けています。フィードバックやご質問がある場合は、[email protected] までお気軽にお寄せください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事