データ取り込みにおけるLakeflow Connectの利点

Databricksにおけるデータエンジニアリングの未来はLakeflowにあります。Lakeflowは、取り込み、変換、オーケストレーションのための統合ソリューションです。 Lakeflow Connectを使用して任意のソースからデータを取り込み、Apache Spark™宣言型パイプラインを使用してデータを変換し、Lakeflow Jobsを使用してあらゆるワークフローをオーケストレーションできます。 お客様は、これらの要素を組み合わせることでビジネスニーズに貢献するための、より新鮮で高品質のデータを提供できるようになります。

Lakeflow Connectは、エンタープライズアプリケーション、データベース、エンタープライズナレッジソース、イベントから取り込むための100以上のネイティブコネクタを提供します。 ポイントアンドクリックUIとUnity Catalogを介した統合ガバナンスを提供し、完全なエンタープライズコンテキストをAIエージェントに提供します。 Lakeflow Connectは、効率的な増分読み取りと書き込みを活用して、データ取り込みを高速で、よりスケーラブルにし、コスト効率を高めながら、データを最新のままダウンストリームで消費できるようにします。 内部では、Lakeflow ConnectパイプラインはApache Spark™宣言型パイプラインに基づいて構築されています。 また、コネクタの多くは、ソースシステムで変更されたデータのみを読み書きします。 最後に、Arcionのソース固有技術を活用して、各コネクタの性能と信頼性を最適化し、ソースシステムへの影響を最小限に抑えます。

急速に増大している Lakeflow Connectコネクタには、SaaSコネクタ、Databaseコネクタ、Fileソースコネクタ、Streamingコネクタなどがあります。 完全な最新の一覧については、ドキュメントを参照してください。 マネージドコネクタはさまざまなリリース状態であり、標準コネクタはより高いレベルの取り込みパイプラインのカスタマイズを提供します。 Lakeflow Connectでは、Lakeflow Declarative Pipelinesにサーバレスコンピュートを使用することに注意してください。 ガイダンスについては、Lakeflow Connectのドキュメントを参照してください。

はい。 すべてのワークスペースが1日あたり100 DBUを無料で受け取れる永久の無料プランを提供しており、対象となるマネージドソース全体で1日あたり最大1億のレコードを取り込むことができます。 詳細については、価格ページをご覧ください。

Lakeflow Connectは、複雑なカスタムコーディングなしにエンタープライズデータを、Data + AIプラットフォームに取り込む必要があるデータエンジニアリングおよびデータプロフェッショナルチーム向けに構築されています。そのノーコードUIとシンプルなAPIにより、実務者はセルフサービスでのデータ取り込みが可能になり、Unity Catalogとレイクハウスモニタリングとの緊密な統合により、ガバナンスとオブザーバビリティのチームは必要な制御機能を利用できます。 組織は、顧客の360度分析、一元化された人事ワークフォースダッシュボード、製造デジタルツイン、インテリジェントなドキュメント処理、消費者分析といったユースケース全体でこれを適用しています。 取り込みはプラットフォームと完全に統合されているため、信頼できる推論に必要な完全なビジネスコンテキストもAIエージェントに提供されます。

従来のETLスタックおよびカスタムミドルウェアから移行したお客様は、Lakeflow Connectを採用した後に意味のある効率性の向上があったと報告しています。 パナソニック（Panasonic）のBIチームの事例によると、柔軟性に欠けるレガシーETLスタックからDatabricks Data + AI Platformに移行したことで、Power BIの更新時間を50%削減できたとのことです。Insulet社は、SalesforceとDatabricks SQLの間の壊れやすい問題のあるミドルウェアを排除し、データのレイテンシを数日から数分に短縮しました。Kotahi社は、サードパーティのインジェストツールに交換した後、Salesforceデータの抽出と準備の時間を約3時間から30分に短縮しました。 コネクタは完全に管理されているため、チームは、手作業で構築されたETLレイヤーやミドルウェアレイヤーが通常必要とする継続的なパイプラインメンテナンスも回避できます。

最初の取り込みパイプラインの設定手順を説明する入門ドキュメントに従うことで、Lakeflow Connectを無料で使い始めることができます。すべてのDatabricksワークスペースには、対象となるマネージドソース全体で毎日最大1億のレコードを取り込むのに十分な1日あたり100 DBUの永続的な無料枠（Free Tier）が含まれています。 製品を最初にご覧になりたい場合はLakeflow Connectの機能ツアーをご利用ください。スケールアップの準備ができたら、従量課金制の詳細をご確認ください。