メインコンテンツへジャンプ
LAKEFLOW DECLARATIVE PIPELINES

高信頼性データパイプラインを容易に構築

ETLのバッチとストリーミング処理が簡素化し、自動化による信頼性と質の高い組み込みデータが伴います。
lakedflow declarative pipelines
トップチームはインテリジェントなデータパイプラインで成功を収めています
メリット

データパイプラインのベストプラクティス、コード化

必要なデータ変換を単に宣言するだけで、Lakeflow Declarative Pipelinesが残りの部分を処理します。

効率的な取り込み

本番環境でのETLパイプラインの構築は、取り込みから始まります。Lakeflow Declarative Pipelinesは、データエンジニア、Python開発者、データサイエンティスト、SQLアナリストのための効率的な取り込みを可能にします。DatabricksでApache Spark™がサポートする任意のソースからデータをロードします。バッチ、ストリーミング、またはCDCに関係なく。

インテリジェントな変換

たった数行のコードから、Lakeflow Declarative Pipelinesはバッチまたはストリーミングデータパイプラインを構築し実行する最も効率的な方法を決定し、コストまたはパフォーマンスを自動的に最適化しながら複雑さを最小限に抑えます。

自動化された操作

Lakeflow Declarative Pipelinesは、ベストプラクティスをコード化し、運用上の複雑さを自動化することでETL開発を簡素化します。Lakeflow Declarative Pipelinesを使用すると、エンジニアはパイプラインインフラの運用と保守ではなく、高品質なデータの提供に集中できます。

機能

データパイプラインを簡素化するために構築

データパイプラインの構築と運用は難しいことがありますが、必ずしもそうである必要はありません。Lakeflow Declarative Pipelinesは強力なシンプルさを備えて構築されているため、数行のコードだけで堅牢なETLを実行できます。

Sparkの統一されたAPIを活用して、Lakeflow Declarative Pipelinesでは処理モードを簡単に切り替えることができます。

詳しく見る
databricks processing

Lakeflow Declarative Pipelinesを使用すると、ストリーミングテーブルとマテリアライズドビューを含む全体のインクリメンタルデータパイプラインを宣言することで、パイプラインのパフォーマンスを簡単に最適化できます。

詳しく見る
End to end incremental processing

Lakeflow Declarative Pipelinesは、幅広いエコシステムのソースとシンクをサポートします。任意のソースからデータをロード - クラウドストレージ、メッセージバス、変更データフィード、データベース、エンタープライズアプリを含む。

詳しく見る
Load data from anywhere

Expectationsを使用すると、テーブルに到着するデータがデータ品質要件を満たしていることを保証し、パイプラインの更新ごとにデータ品質に関する洞察を提供できます。

詳しく見る
Data quality

データエンジニアリング用のIDEでパイプラインを開発し、コンテキストの切り替えを行わずに済みます。DAG、データプレビュー、実行の洞察を一つのUIで確認します。オートコンプリート、インラインエラー、診断機能を使って簡単にコードを開発します。

詳しく見る
feature 5 image

その他の機能

統合ガバナンスとストレージ

Unity Catalogとオープンテーブルフォーマットの基礎的なレイクハウス基準に基づいて構築。

詳しく見る

サーバーレスコンピューティング

データ取り込みに対して最大5倍の価格/パフォーマンス向上と、複雑な変換に対する98%のコスト削減。

詳しく見る

タスクオーケストレーション

Apache Spark™のタスクを一連の別々のものとして手動で定義する代わりに、変換を定義し、Lakeflow Declarative Pipelinesが正しい順序で実行されることを保証します。

詳しく見る

エラー処理と障害回復

データパイプラインの実行中に発生するエラーからのシームレスなリカバリ。

詳しく見る

CI/CDとバージョン管理

簡単に設定を指定して、開発、テスト、および本番環境のパイプラインを分離します。

詳しく見る

パイプラインの監視と観測性

データライニージ、更新履歴、データ品質レポートを含む組み込みの監視と観察機能。

詳しく見る

柔軟な更新スケジューリング

パイプラインの要件に応じて、遅延またはコストを簡単に最適化します。

詳しく見る
ユースケース

データパイプラインを効率化します

ご利用料金

使用量に応じた価格設定で、支出を抑制

使用した製品に対する秒単位での課金となります。
関連製品

さらに詳しく

Data Intelligence Platform上の他の統合された、インテリジェントなオファリングを探索してみてください。

LakeFlow Connect

任意のソースからの効率的なデータ取り込みコネクタとData Intelligence Platformとのネイティブな統合により、統一されたガバナンスを持つ分析とAIへの簡単なアクセスが可能になります。

Lakeflowジョブ

ETL、分析、および機械学習パイプラインのマルチタスクワークフローを簡単に定義、管理、監視します。サポートされるタスクタイプの幅広い範囲、深い観察能力、高い信頼性により、データチームは任意のパイプラインをより効果的に自動化し、調整することができ、生産性を向上させることができます。

レイクハウスストレージ

あなたのレイクハウス内のデータを統一し、すべての形式とタイプを通じて、あなたの分析とAIワークロードのために。

Unity Catalog

業界唯一の統一されたオープンなガバナンスソリューションであるDatabricks Data Intelligence Platformに組み込まれた、データとAIのガバナンスをシームレスに行います。

データインテリジェンスプラットフォーム

Databricks データ・インテリジェンス・プラットフォームは、さまざまなデータ・AI のワークロードを支援しています。詳しい内容は、下記のページをご覧ください。

次のステップへ

LAKEFLOW DECLARATIVE PIPELINES FAQ

データ + AI の活用は Databricks で

貴社の変革をお手伝いします。