Databricksがストリーム処理とクラウドデータパイプラインのリーダーとして認定

データエンジニアリングとデータストリーミングの分野でDatabricksを評価する2つの新しいアナリストレポートを発表できることを誇りに思います：

• IDC MarketScape: Worldwide Analytic Stream Processing Software, 2024 (リーダー)
• Forrester Wave™: Cloud Data Pipelines, Q4 2023 (リーダー)

IDCレポートはこちらから、Forresterレポートはこちらからダウンロードできます。

Databricksのデータインテリジェンスプラットフォームでのデータエンジニアリングは、データの専門家が統一されたガバナンスプラットフォーム上でインテリジェントなバッチおよびストリーミングデータパイプラインを構築することを可能にします。Databricksを使用すると、データエンジニアとそのステークホルダーは、適切なデータを簡単に取り込み、変換し、適切なタイミングかつ任意のスケールで調整することができます。組み込みのデータインテリジェンスは、自動管理と最適化、セマンティックカタログとディスカバリ、自然言語アクセスを通じてパイプライン開発を加速し、同時にビジネスを前進させるリアルタイムの生成AIと分析ユースケースを可能にします。

データエンジニアリングとデータストリーミングが密接に関連している中、これらのレポートを以下の共同発表でお知らせできることを誇りに思います。詳細は以下をご覧ください。

IDC MarketScape: Worldwide Analytic Stream Processing Software, 2024

ビジネスのスピードは加速しており、組織は昨日、先週、あるいは先月に起こったことではなく、今起こっていることに基づいて対応し、意思決定を行う必要があります。

ストリーミングデータソリューションは、世界中のすべての主要な地域、すべての主要な業界で存在し、その関連性はAIの時代に指数関数的に増加しています。実際、IDCによると、銀行や製造業、小売業、政府、公益事業を通じてのAIのトップ15のユースケースのうち12は、リアルタイムデータを必要とします。

だからこそ、ストリーミングデータパイプラインやリアルタイムAI、リアルタイム分析、リアルタイムアプリケーションなどのコアストリーミングワークロードを処理できるデータプラットフォームを選択することが重要です。これらのプラットフォームに対する最上位の考慮事項には、スループットとレイテンシ要件、オープンソースの使用、サポートされるイベントブローカーテクノロジーの種類、プログラミング環境、プライバシー/ガバナンス要件が含まれます。

Databricksデータインテリジェンスプラットフォームは、リアルタイム（またはライトタイム）のユースケースに最適なデータストリーミングプラットフォームです。サーバーレスアーキテクチャとSpark構造化ストリーミング（世界で最も人気のあるオープンソースのストリーミングエンジン）に基づいて構築されたDatabricksは、Delta Live Tablesのようなパイプラインツールを使用してリアルタイムの結果を実現します。

IDCは、この最新の評価でデータストリーミングスペースの最も重要なプロバイダーについての視点を提供しました。評価されたプラットフォームの中で、Databricksは現在の能力と未来の戦略の両方で最高の評価を獲得しました。Databricksは、以下のカテゴリで特に高い評価を得ました：

• ストリーミングとバッチのワークロードに対する統一された体験
• 開発エンジニア向けリソース
• Unity Catalogを用いた包括的なガバナンス
• 技術革新
• パートナーエコシステム

完全なレポートはこちらから無料でダウンロードできます。

Forrester Wave™: Cloud Data Pipelines, Q4 2023

組織は、現代のビジネスインサイトをサポートするためのシンプルで統合された、コスト効果的で、高度に自動化されたソリューションを求めています。クラウドデータパイプライン（CDP）は、企業が迅速に分析を構築し、データ取り込みとデータ処理ワークフローを自動化し、新しいデータソースを活用し、新しいビジネス要件をサポートするのに役立ちます。

企業は、スケールに応じたパフォーマンスを提供し、データエンジニアやデータサイエンティスト、データアナリスト、開発者の生産性を向上させ、複雑なユースケースをサポートし、新たな生成AI機能を活用してデプロイを自動化するデータパイプラインソリューションが必要です。

だからこそ、以下の機能を持つデータパイプラインのエンジニアリングプラットフォームを選択することが重要です：

• ビジネスのスピードに合わせたパフォーマンスを実現
• パイプライン開発を民主化し、複数のペルソナをサポートする
• データパイプラインを統合する
• 生成AIを活用して開発とデプロイを自動化し、加速化する

ストリーミングとバッチのワークロードの両方に対して、Databricksデータインテリジェンスプラットフォームは、すべてのAIと分析のイニシアチブに対するデータパイプラインを構築する最適な場所です。Delta Live TablesやDatabricks Workflowsなどのプラットフォーム機能を利用すると、データエンジニアや他の実践者は、本番環境で使用するデータパイプラインを定義し、管理するための完全なコントロールを持つことができます。Databricksだけが、信頼性のあるデータパイプラインからの信頼性のあるデータ、最適化されたコスト/パフォーマンス、そして統一された完全に管理されたプラットフォーム上でのパイプライン開発の民主化を可能にします。これは、あなたのデータとビジネスを理解します。

Forrester Wave™: Cloud Data Pipelines, Q4 2023でDatabricksがリーダーに選ばれた理由をご覧ください。ビジョン、ロードマップ、パートナーエコシステムで最高のスコアを獲得しました。

このレポートは無料で読むことができ、フォレスターの主要ベンダーの現在の提供内容、戦略、市場存在についての見解を含んでいます。こちらからご覧いただけます。

詳しく見る

データチームが生成AIとデータインテリジェンスを採用するにつれて、新しいコラボレーションのモデルを採用する必要があります。今日のデータエンジニアは、データサイエンスの領域について熟知している必要があります、その逆もまた然りです。それに応じて、AIの時代にデータエンジニアリングとデータサイエンスを接続するためのガイドをまとめました。こちらからダウンロードできます。

最後に、Data + AI Summit 2024が終了しました！Data Engineering and Streamingトラックのセッションはオンデマンドで利用可能で、Databricksでのデータの取り込み、変換、ストリーミング、オーケストレーションの未来についてのいくつかの重要な発表が含まれています。Databricksでのデータパイプラインの未来については、Databricks LakeFlowの発表をこちらで読んでみてください。