Apache Spark™
Apache Spark とは、ビッグデータと機械学習のための極めて高速な分散処理フレームワークです。これはもともと、2009 年にカリフォルニア大学バークレー校で開発されました。
データ処理で最大のオープンソースプロジェクト
ビッグデータ分析に最適なオープンソースの分散処理システムであるApache Sparkはそのリリース以来、さまざまな業種の企業に採用され、急速な拡大を遂げています。Netflix、Yahoo、eBay などのインターネット大手も、Spark を大規模にデプロイし、8000 を超えるノードのクラスターで、複数のペタバイトデータをまとめて処理しています。Apache Spark は現在、250 を超える組織から 1000 名以上が参加する、ビッグデータの最大のオープンソースコミュニティへと急速に成長しています。
Databricks は、カリフォルニア大学バークレー校で Spark の研究プロジェクトを開始したチームによって 2013 年に設立されました。
Apache Spark とのネイティブ統合が最も優れているデータベースとして、Databricks のレイクハウスプラットフォームが挙げられます。Delta Lake をはじめとするオープンフォーマットと組み合わせることで、Spark のパフォーマンスを最大限に引き出すことができます。
Apache Spark は 100％ オープンソースで、ベンダーに依存しない Apache Software Foundation によってホストされています。
Apache Sparkとは？ - Apache Sparkの利点
Databricks クラウドで Apache Spark を無料でお試しください。
Databricks の統合分析プラットフォームは、分散処理システムの Spark、対話型ノート、統合されたワークフロー、およびエンタープライズセキュリティについて、5 倍のパフォーマンスを提供します。これらは全て、フルマネージド型のクラウドプラットフォームで実行されます。
オープンソースの Apache Spark プロジェクトはこちらからダウンロード可能です。