Apache Spark と Hadoop の連携

Apache SparkがHadoopエコシステムにどのように適合するのか、また、既存のHadoopクラスターでSparkをどのように実行できるのかという質問がよくあります。このブログでは、これらの質問にお答えします。

まず、SparkはHadoopスタックを置き換えるのではなく、強化することを目的としています。Spark は開発当初から、HDFS はもちろん、HBase や Amazon の S3 といった他のストレージ システムからもデータを読み書きできるように設計されていました。そのため、HadoopユーザーはSparkをHadoop MapReduce、HBase、その他のビッグデータフレームワークと組み合わせることで、処理能力を強化できます。

第二に、私たちは、すべての Hadoop ユーザーが Spark の機能をできるだけ簡単に利用できるようにすることに、常に注力してきました。Hadoop 1.x と Hadoop 2.0 (YARN) のどちらを実行しているか、また Hadoop クラスターを構成する管理権限を持っているかどうかにかかわらず、Spark を実行する方法があります。特に、Hadoop クラスターに Spark をデプロイするには、standalone、YARN、SIMR の 3 つの方法があります。

スタンドアロンデプロイ: スタンドアロンデプロイでは、Hadoopクラスター内のすべてのマシンまたは一部のマシンにリソースを静的に割り当て、Hadoop MR と並行して Spark を実行できます。その後、ユーザーは自分のHDFSデータ上で任意のSparkジョブを実行できます。そのシンプルさから、これは多くのHadoop 1.xユーザーにとって最適なデプロイメントとなっています。

Hadoop Yarn のデプロイ: すでに Hadoop Yarn をデプロイしている、またはデプロイを計画している Hadoop ユーザーは、事前のインストールや管理者権限を必要とせずに、YARN 上で Spark を簡単に実行できます。これにより、ユーザーは Spark を Hadoop スタックに簡単に統合し、Spark の全能力、および Spark 上で実行される他のコンポーネントを活用できます。

Spark In MapReduce (SIMR): YARN をまだ実行していない Hadoop ユーザーは、スタンドアロン デプロイメントに加えて、SIMR を使用して MapReduce 内で Spark ジョブを起動することもできます。SIMR を使用すると、ユーザーは Spark をダウンロードしてから数分以内に、そのシェルを使ってエクスペリメントを開始できます。これにより、導入の障壁が大幅に下がり、事実上誰もが Spark を試せるようになります。

他のシステムとの相互運用性

Spark は Hadoop だけでなく、他の一般的なビッグデータテクノロジーとも相互運用します。

• Apache Hive: Shark を通じて、Spark は Apache Hive ユーザーが未修正のクエリーをはるかに高速に実行できるようにします。Hive は Hadoop 上で実行される人気のデータウェアハウスソリューションですが、Shark は Hive フレームワークを Hadoop の代わりに Spark 上で実行できるようにするシステムです。その結果、Shark は、入力データがメモリに収まる場合は最大 100 倍、入力データがディスクに保存されている場合は最大 10 倍、Hive クエリを高速化できます。
• AWS EC2: ユーザーは、Sparkに付属のスクリプトを使用するか、AmazonのElastic MapReduceでホストされているバージョンのSparkおよびSharkを使用して、AmazonのEC2上でSpark（およびShark）を簡単に実行できます。
• Apache Mesos: Spark は、MPI や Hadoop などの分散アプリケーション間で効率的なリソース分離を提供するクラスターマネージャーシステムである Mesos 上で実行されます。Mesos はきめ細かい共有を可能にし、Spark ジョブが実行中にクラスター内のアイドルリソースを動的に利用できるようにします。これにより、特に長時間実行される Spark ジョブの場合、パフォーマンスが大幅に向上します。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事