メインコンテンツへジャンプ

データストリーミング

リアルタイム分析、ML、アプリケーションをシンプルに

data-stream-hero

Databricks データインテリジェンスプラットフォームは、データストリーミングを大幅に簡素化し、単一のプラットフォームでのリアルタイム分析、機械学習、アプリケーションの実行を可能にします。

任意の言語とツールでストリーミングデータのワークロードを構築し、リアルタイムデータのワークロードの構築と運用管理を自動化できます。また、ストリーミングとバッチデータの両方を処理できる単一プラットフォームにより、データのサイロ化が解消されます。

Value Action icon

ストリーミングパイプライン、アプリケーションの構築を高速化

SQL と Python の統合されたバッチ API とストリーミング API で、使い慣れた言語とツールを使用できます。組織全体のリアルタイムな 分析MLアプリケーション の実行を可能にします。

icon-graphic-8

自動化されたツールで運用を簡素化

リアルタイムパイプラインやアプリケーションの本番環境への導入と管理を容易にします。自動化されたツールにより、タスクのオーケストレーション、フォールトトレランス/リカバリ、自動チェックポイント、パフォーマンスの最適化、オートスケールを簡素化します。

Customer Obsessed icon

クラウド上のリアルタイムデータに対する統合ガバナンス

Unity Catalog は、あらゆるストリーミングデータとバッチデータに対して一貫したガバナンスモデルを提供し、リアルタイムデータの発見、アクセス、 データ共有 の方法を簡素化します。

データストリーミングの機能

DEMarketecture

ストリーミングデータの取り込みと変換

 

リアルタイム分析、ML、アプリケーション

 

自動化されたオペレーションツール

 

次世代ストリーム処理エンジン

 

統合ガバナンスとストレージ

data-ingestion

ストリーミングデータの取り込みと変換

Delta Live Tables により、ストリーミングデータパイプラインのデータ取り込みと ETL が簡素化されます。SQL や Python など、使い慣れている言語やツールを使って、 データエンジニアリングを行うためのシンプルな宣言型アプローチを活用できます。自動更新の設定を適用してバッチおよびストリーミングのパイプラインを 1 か所で構築・実行することで、所要時間を短縮し、運用負荷を軽減します。Databricks データインテリジェンスプラットフォームでストリーミングデータパイプラインを構築すれば、データの送信先を問わず、ローデータからクリーンデータへの変換にかかる時間を短縮できます。

「データブリックスのプラットフォームを複数の事業部がセルフサービスで利用しています。これは以前には考えられないことでした。データブリックスの導入効果は非常に大きいと感じています。」
コロンビアスポーツウェア
シニアエンタープライズデータマネージャー
Lara Minor 氏

3-animated

リアルタイム分析、ML、アプリケーション

ストリーミングデータで、アナリティクスと AI の精度とアクショナビリティを迅速に向上させることができます。ストリーミングデータパイプラインの下流にあるリアルタイムインサイトは、お客様のビジネスの利益となります。SQL分析 とBIレポート、MLモデルのトレーニング またはリアルタイムの業務アプリケーションの構築のいずれであっても、ビジネスで最も新鮮なデータを提供し、リアルタイムの洞察、より正確な予測、迅速な意思決定を引き出し、競争に打ち勝ちましょう。

「常に最新で正確なデータをビジネスパートナーに提供しなければ、インサイトへの信頼を失うことになります。Databricks の導入により、これまで不可能だったことが可能になりました。」
ラ・リーガ・テック
アーキテクチャ責任者
Guillermo Roldán 氏

automated

自動化されたオペレーションツール

ストリーミングデータパイプラインを構築し、デプロイする際に、Databricks は本番環境に必要な複雑な運用タスクの多くを自動化します。これには、基盤となるインフラの自動的な拡張、パイプラインの依存関係のオーケストレーション、エラー処理とリカバリ、パフォーマンスの最適化などが含まれます。拡張オートスケールは、各ワークロードにコンピュートリソースを自動的に割り当てることで、クラスタ利用を最適化します。これらの機能に加えて、自動データ品質テストと例外管理により、運用ツールの構築と保守に費やす時間を減らし、データから価値を得ることに集中できるようにします。

next-gen-stream

次世代ストリーム処理エンジン

Spark 構造化ストリーミング は、Databricks データインテリジェンスプラットフォーム上のデータストリーミングを解放するコアテクノロジーで、バッチ処理とストリーム処理のための統一された API を提供します。Databricks データインテリジェンスプラットフォームは、99.95% の稼働率を誇るマネージドサービスで、Apache Spark ワークロードを実行するのに最適な基盤です。Apache Spark API と互換性のある次世代エンジン Photon により、Spark ワークロードはさらに加速され、数千ノードまで自動的にスケールアップしながら、 記録的なパフォーマンスとコストを実現します。

unified

統合ガバナンスとストレージ

Databricks でのデータストリーミングは、 Databricks データインテリジェンスプラットフォームの基本コンポーネントである Unity Catalog と Delta Lake を利用することを意味します。Delta Lake は、ストリーミングデータとバッチデータの両方に対応するようゼロから設計された唯一のオープンソースストレージフレームワークで、お客様の未加工データを最適化できます。Unity Catalog は、あらゆるデータと AI 資産に対して、きめ細かく統合されたガバナンスを提供し、クラウド間でデータを発見、アクセス、共有するための一貫したモデルを提供します。また、Unity Catalog は、他の組織と容易かつセキュアにデータを共有するための業界初のオープンプロトコルである Delta Sharing をネイティブにサポートしています。また、Unity Catalog は、他の組織と容易かつセキュアにデータを共有するための業界初のオープンプロトコル Delta Sharing をネイティブにサポートしています。

統合

データチームに最大限の柔軟性を提供 — Partner Connectテクノロジーパートナーのエコシステムを活用して、一般的なデータストリーミングツールとシームレスに統合できます。

データストリーミング

fivetran
matillion
Striim
Confluent
Alteryx
arcion
fivetran
matillion
Striim
Confluent
Alteryx
arcion

カスタマーストーリー

walgreens

「動的な高速データには Databricks を使用しています。実店舗、オンラインを問わず、患者のニーズに応えるためのスピードの改善に大いに役立っています。現在、Databricks をデータ基盤とする十数件のプロジェクトが進行中です。」

ウォルグリーン社 プロダクトエンジニアリング部長 Sashi Venkatesan 氏
DAIWT-speakerLogo-ATT

「不正行為をリアルタイムで検知できるようになりました。システムの悪用や違法なロック解除、ロボコールやロボテキスト、個人情報の盗難などのリスクを回避し、先手を打つことができます。」

AT&T 社 VP Kate Hopkins 氏
edmunds
warner-bros
USDT
T Mobile
reckitt
edmunds
warner-bros
USDT
T Mobile
reckitt
edmunds

さらに詳しく

Table

Delta Live Tables

Partner Connect

Databricks Workflows

Unity

Unity Catalog

Delta

Delta Lake

Icon Production

Spark 構造化ストリーミング

無料お試し・その他ご相談を承ります