メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • データエンジニアリング
                                            バッチ、ストリーミングデータのための ETL とオーケストレーション
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データサイエンス
                                                データサイエンスの大規模な連携
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • アプリケーション開発
                                                    安全なデータと AI アプリを迅速に構築
                                                    • データベース
                                                      データアプリとAIエージェントのための Postgres
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 無料版
                                                                                                    専門家向けデータとAIツールを無料で学べます
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                                • アーキテクチャ センター
                                                                                                                                • 企業概要
                                                                                                                                  • Databricks について
                                                                                                                                    • 経営陣
                                                                                                                                      • Databricks Ventures
                                                                                                                                        • ご相談・お問い合わせ
                                                                                                                                        • 採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            • プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                                • 受賞歴と業界評価
                                                                                                                                                • セキュリティと信頼
                                                                                                                                                  • セキュリティと信頼
                                                                                                                                              • 是非ご検討ください!
                                                                                                                                              • デモを見る
                                                                                                                                              • ログイン
                                                                                                                                              • Databricks 無料トライアル
                                                                                                                                              1. ブログ
                                                                                                                                              2. /
                                                                                                                                                お知らせ
                                                                                                                                              3. /
                                                                                                                                                記事

                                                                                                                                              Databricks Lakeflowの登場: データエンジニアリングのための統一されたインテリジェントソリューション

                                                                                                                                              データベース、企業アプリ、クラウドソースからデータを取り込み、バッチおよびリアルタイムストリーミングで変換し、自信を持って本番環境にデプロイおよび運用できます。

                                                                                                                                              Introducing Databricks Lakeflow: A unified, intelligent solution for data engineering

                                                                                                                                              Published: June 13, 2024

                                                                                                                                              お知らせ1分未満

                                                                                                                                              Michael Armbrust、ビラル・アスラム による投稿

                                                                                                                                              この投稿を共有する

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              Translation Review by saki.kitaoka

                                                                                                                                              本日、私たちはDatabricks Lakeflowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。

                                                                                                                                              さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプロイできます。Databricks LakeflowはData Intelligence Platformにネイティブに組み込まれており、サーバーレスコンピュートとUnity Catalogによる統一ガバナンスを提供します。

                                                                                                                                              Lakeflow
                                                                                                                                              Lakeflow is the one unified data engineering solution for ingestion, transformation and orchestration

                                                                                                                                              このブログ記事では、Lakeflowがデータチームが信頼性の高いデータとAIの増大する需要に応えるのにどのように役立つか、そしてLakeflow の主要機能が単一の製品エクスペリエンスに統合されている理由について説明します。

                                                                                                                                              信頼性の高いデータパイプラインの構築および運用する際の課題

                                                                                                                                              データエンジニアリング - 新鮮で高品質かつ信頼性の高いデータを収集し準備すること - は、ビジネスにおけるデータとAIの民主化に必要不可欠です。しかし、これを実現するには多くの複雑さが伴い、多くの異なるツールを統合する必要があります。

                                                                                                                                              まず、データチームは各システムの形式やアクセス方法に合わせて複数のシステムからデータを取り込む必要があります。これには、データベースや企業アプリケーション用の内部コネクタを構築および維持することが含まれます。企業アプリケーションのAPI変更に対応するだけでも、データチーム全体のフルタイムの仕事になることがあります。その後、データをバッチおよびストリーミングで準備する必要があり、トリガーおよびインクリメンタル処理のための複雑なロジックを記述および維持する必要があります。レイテンシの急増や障害が発生すると、通知が鳴り、データ消費者が不満を感じ、ビジネスに支障をきたし、最終的には収益に影響を与えることもあります。最後に、データチームはこれらのパイプラインをCI/CDを使用してデプロイし、データ資産の品質とリネージを監視する必要があります。通常、これにはPrometheusやGrafanaなどの新しいツールをデプロイ、学習、管理する必要があります。

                                                                                                                                              このような理由から、データインテリジェンスに基づいたデータの取り込み、変換、オーケストレーションの統一ソリューションであるLakeflowを構築することにしました。その3つの主要コンポーネントは次のとおりです:Lakeflow Connect、Lakeflow Pipelines、Lakeflow Jobsです。

                                                                                                                                              Lakeflow Connect:シンプルでスケーラブルなデータ取り込み

                                                                                                                                              Lakeflow Connectは、MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーションからのポイント&クリックデータ取り込みを提供します。Lakeflow Connectはまた、SharePointなどのソースからのPDFやExcelスプレッドシートなどの非構造化データの取り込みも可能です。

                                                                                                                                              Lakeflow Connectは、クラウドストレージ(例:S3、ADLS Gen2、GCS)やキュー(例:Kafka、Kinesis、Event Hub、Pub/Subコネクタ)およびパートナーソリューション(例:Fivetran、Qlik、Informatica)の人気のあるネイティブコネクタを拡張します。

                                                                                                                                              Lakeflow Connectors
                                                                                                                                              Setup an ingestion pipeline in a few easy steps with Lakeflow Connect

                                                                                                                                              特にデータベースコネクタについては、Arcion 社の買収によって実現されたものであり、多くの貴重なデータが運用データベースに閉じ込められている状況を解消します。運用およびスケーリングの問題を抱えるナイーブなアプローチを取る代わりに、Lakeflowは変更データキャプチャ(CDC)技術を使用して、このデータをレイクハウスにシンプルかつ信頼性高く、効率的に取り込むことができます。

                                                                                                                                              Databricksの顧客は、Lakeflow Connectを使用してシンプルな取り込みソリューションが生産性を向上させ、データからインサイトへの移行を迅速に行えることを発見しています。ウェアラブルインスリン管理システム「Omnipod」のメーカーであるInsuletは、Salesforce取り込みコネクタを使用して、顧客のフィードバックに関連するデータをDatabricks上に構築されたデータソリューションに取り込んでいます。このデータはDatabricks SQLを通じて分析可能になり、品質問題に関する洞察を得て顧客の苦情を追跡できます。Insuletのチームは、Lakeflow Connectの新機能に大きな価値を見出しています。

                                                                                                                                              「Databricksの新しいSalesforce取り込みコネクタにより、脆弱で問題のあるミドルウェアを排除し、データ統合プロセスが大幅に簡素化されました。この改善により、Databricks SQLでSalesforceデータを直接分析できるようになり、データ担当者は最新のインサイトをほぼリアルタイムで提供できるようになり、レイテンシが日単位から分単位に短縮されました。」 — Bill Whiteley, Senior Director of AI, Analytics, and Advanced Algorithms, Insulet

                                                                                                                                              Lakeflow Pipelines:効率的な宣言型データパイプライン

                                                                                                                                              Lakeflow Pipelinesは、効率的なバッチおよびストリーミングデータパイプラインの構築と管理の複雑さを低減します。宣言型Delta Live Tablesフレームワークに基づいて構築されており、ビジネスロジックをSQLとPythonで記述するだけで、Databricksがデータオーケストレーション、インクリメンタル処理、コンピュートインフラの自動スケーリングを自動化します。さらに、Lakeflow Pipelinesは組み込みのデータ品質監視を提供し、リアルタイムモードを使用して、コード変更なしで時間依存のデータセットの一貫して低レイテンシのデリバリーを可能にします。

                                                                                                                                              Lakeflow Pipelinesはデータパイプラインの自動化を簡素化します
                                                                                                                                              Lakeflow Pipelines simplifies data pipeline automation

                                                                                                                                              Lakeflow Jobs:あらゆるワークロードに対応する信頼性の高いオーケストレーション

                                                                                                                                              Lakeflow Jobsは、Databricks Workflowsの高度な機能を基に構築されており、取り込み、パイプライン、ノートブック、SQLクエリ、機械学習のトレーニング、モデルデプロイおよび推論など、あらゆるワークロードをオーケストレーションします。データチームは、トリガー、分岐、ループを活用して、複雑なデータデリバリーのユースケースに対応できます。

                                                                                                                                              Lakeflow Jobsは、データのヘルスチェックとデリバリー状況を理解および追跡するプロセスも自動化および簡素化します。データチームには、取り込み、変換、テーブル、ダッシュボード間の関係を含む完全なリネージュを提供し、データの鮮度と品質を追跡できます。Lakehouse Monitoringを使用してワンクリックでモニターを追加することもできます。

                                                                                                                                              データインテリジェンスプラットフォーム上に構築

                                                                                                                                              Databricks Lakeflowは、次の機能を提供するデータインテリジェンスプラットフォームにネイティブに統合されています:

                                                                                                                                              • データインテリジェンス:AI駆動のインテリジェンスは、Lakeflowの特徴だけでなく、製品のすべての側面に触れる基盤能力です。Databricks Assistantは、データパイプラインの発見、作成、監視を支援し、信頼性の高いデータを構築するための時間を増やします。
                                                                                                                                              • 統一ガバナンス:LakeflowはUnity Catalogと深く統合されており、系譜とデータ品質を強化します。
                                                                                                                                              • サーバーレスコンピュート:スケールに応じてパイプラインを構築およびオーケストレーションし、インフラを気にせずに作業に集中できるようにします。

                                                                                                                                              データエンジニアリングの未来はシンプルで統一され、インテリジェントです

                                                                                                                                              私たちは、Lakeflowが顧客に新鮮で、より完全で高品質なデータを提供できるようにすると信じています。Lakeflowはまもなくプレビューを開始し、まずLakeflow Connectからスタートします。アクセスをリクエストする場合は、こちらにサインアップしてください。今後数か月間、追加機能が利用可能になるにつれて、Lakeflow に関するさらなる発表が予定されています。おたのしみに!

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              関連記事

                                                                                                                                              この投稿を共有する

                                                                                                                                              Databricksの投稿を見逃さないようにしましょう

                                                                                                                                              興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                              Sign up

                                                                                                                                              次は何ですか?

                                                                                                                                              Generating Coding Tests for LLMs: A Focus on Spark SQL

                                                                                                                                              データエンジニアリング

                                                                                                                                              October 2, 2024/2分で読めます

                                                                                                                                              LLMのためのコーディングテスト作成 〜Spark SQLに焦点を当てて〜

                                                                                                                                              Booting Databricks VMs 7x Faster for Serverless Compute

                                                                                                                                              データエンジニアリング

                                                                                                                                              November 25, 2024/1分未満

                                                                                                                                              DatabricksのサーバーレスコンピュートでVM起動を7倍高速化

                                                                                                                                              databricks logo
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              製品
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              オープンソース
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              ソリューション
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              データの移行
                                                                                                                                              プロフェッショナルサービス
                                                                                                                                              ソリューションアクセラレータ
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              リソース
                                                                                                                                              ドキュメント
                                                                                                                                              カスタマーサポート
                                                                                                                                              コミュニティ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              企業情報
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              セキュリティと信頼
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              databricks logo

                                                                                                                                              Databricks Inc.
                                                                                                                                              160 Spear Street, 15th Floor
                                                                                                                                              San Francisco, CA 94105
                                                                                                                                              1-866-330-0121

                                                                                                                                              採用情報

                                                                                                                                              © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                              • プライバシー通知
                                                                                                                                              • |利用規約
                                                                                                                                              • |現代奴隷法に関する声明
                                                                                                                                              • |カリフォルニア州のプライバシー権利
                                                                                                                                              • |プライバシー設定