Databricks + Arcion： Lakehouseへのリアルタイムエンタープライズデータレプリケーション

Published: November 6, 2023

Reynold Xin（レイノルド・シン）、Sameer Paranjpye、Awez Syed、ビラル・アスラム、エリカ・エーリ、Ori Zohar、キャシー・ミャオによる投稿

我々は、リアルタイム・データ・レプリケーション・テクノロジーのリーディング・プロバイダーであるArcion社の買収を完了したことを発表できることを嬉しく思う。

Arcionの機能により、DatabricksはさまざまなデータベースやSaaSアプリケーションからデータを複製して取り込むネイティブソリューションを提供できるようになり、顧客はデータから価値とAI主導の洞察を生み出すという実際の作業に集中できるようになる。 Arcionのチームとは、Databricksのパートナーとしてだけでなく、Databricks Venturesの投資先企業としても、長年にわたって緊密に協力してきました。この発表により、我々は正式にチームをDatabricksファミリーに迎え入れることになります。

リアルタイムのデータ取り込みとデータベースの複製

Databricksの使命は、あらゆる組織のためにデータとAIを民主化することです。 Databricks Lakehouse Platformは、データ、アナリティクス、AIのための統一されたオープンかつスケーラブルなプラットフォームを提供します。世界中で10,000を超える組織がLakehouseを利用しており、統合されたガバナンス、セキュリティ、AI機能とともに、クラス最高の価格/パフォーマンスを実現している。

しかし、プラットフォームはその中にあるデータと同じだけの価値しかない。組織がレイクハウスのメリットを十分に享受するには、さまざまなソース・データベースやアプリケーションからデータを取り込み、複製し、移行する必要がある。異なるソースからのデータ移動には、固有のSQL方言のニュアンス、取り込み戦略、バイナリログプロトコル、セキュリティ上の課題など、各ソースシステムに関する専門的な知識が必要です。これらは、パイプライン開発に大きな摩擦をもたらすだけでなく、脆いパイプラインや複雑でエラーを起こしやすいプロセスを通じて、高い運用オーバーヘッドを生み出し、データから価値を引き出す際の苛立ちやTCOの増加という形で現れることが多い。

Arcion により、Databricks は、さまざまな企業データソースからリアルタイムおよびオンデマンドのデータを取り込むための、スケーラブルで使いやすく、コスト効率の高いソリューションをネイティブに提供できるようになります。 Arcion のコード不要、メンテナンス不要の Change Data Capture (CDC) パイプライン・アーキテクチャは、Oracle、SQL Server、Teradata、Snowflake など 20 以上のエンタープライズ・データベース・システムや、Salesforce、SAP、Workday などの SaaS アプリケーションへのネイティブ・コネクタを通じて、ダウンストリーム分析、ストリーミング、AIのユースケースを可能にします。これらのコネクターはそれぞれ、自動スキーマ変換を提供し、ソースシステムの特定のニュアンスに適合する。これにより、顧客のインフラの運用負担を最小限に抑え、チームは本番レベルのパイプラインを数分で導入できる。最後に、Arcionは、ビルトインの自動スケーリング、高可用性、ライブモニタリングにより、DevOpsのオーバーヘッドをさらに削減します。

ネイティブコネクター — Figure 1. Native connectors

ワールドクラスのチーム

Arcionは、データベース技術者& 、現CTOのラジクマール・センによって設立された。その後、データとAI技術のベテランであるゲイリー・ハグミュラーCEOが加わった。ログベースのCDCをシンプルで高性能なものにするというラジのビジョンは、データレプリケーションの分野で合計140年以上の経験を持つチームの助けによって、Arcionを業界をリードするソリューションへと変貌させた。アルシオンの専門家チームは、お客様のLakehouseへの旅を加速させる上で大きな力となるでしょう。ラジとチームをDatabricksに迎えられることを嬉しく思います。

次のステップ

私たちは、お客様が企業内の関連データソースを簡単かつ迅速に利用できるようにしたいと考えています。今年初め、当社はLakehouse Federationを発表し、組織が統合されたガバナンスを備えた、拡張性とパフォーマンスの高いデータ・メッシュ・アーキテクチャを構築できるようにしました。 Lakehouse Federationは、組織がサイロ化されたデータを、それがどこに存在するかにかかわらず、レイクハウスの拡張機能として公開、照会、管理することを容易にします。

ジェネレーティブAIの時代には、データがすべての企業にとって最も価値ある資産であることがより真実味を帯びてくる。ほとんどの顧客にとって、レガシーデータベース、データウェアハウス、SaaSアプリケーションの内部に閉じ込められている膨大な量のデータは、競争優位性をもたらす大きな可能性を秘めている。

DatabricksとArcionのデータレプリケーション機能を統合することで、従来のアナリティクスだけでなく、ジェネレーティブなAIアプリケーションにも数十年分のデータを迅速に利用できるようになり、業界を問わず当社のお客様にDatabricks Lakehouse Platformの約束をさらに加速させます。データのレプリケーションとインジェストを劇的に簡素化するArcionを搭載した多くの機能が今後数ヶ月のうちに発表される予定です。

ぜひお楽しみに！