Managed Spark とは何ですか?
自動化された Spark サービスにより、迅速な作成、動的なスケーリング、オンデマンドのクラスタ管理が可能になり、ユーザーは運用よりもデータ分析に集中できます。
Summary
- ジョブのニーズに合わせて設定されたデプロイメント、ロギング、モニタリングを備えた自動クラスタ管理機能により、安定性、拡張性、高速性を備えたクラスタを維持できるため、ユーザーはインフラストラクチャではなくデータに集中できます。
- サイズ変更可能なクラスタをオンデマンドで迅速に作成・拡張でき、未使用のノードは自動的に縮小されるため、必要に応じて一時的なクラスタプロビジョニングを行うことで、リソースを大量に消費するプロビジョニングと構成が不要になります。
- ハードウェアとソフトウェアの自動または手動構成が可能で、YARNリソース割り当てを気にすることなく管理を簡素化します。コスト効率の高い、使用したコンピューティング量に応じた課金モデルを採用しています。
マネージドSparkとは
マネージド Spark は、バッチ処理、クエリ、ストリーミング、機械学習などのオープンソースのデータツールを利用できるマネージドサービスです。ユーザーは、このような自動化を使用することで、オンデマンドでクラスタの迅速な作成や管理を容易にし、タスクが完了したときにクラスタをオフにすることができます。ワークロード、パフォーマンス要件、または既存のリソースに基づいてクラスタのサイズを設定することも可能です。さらに、数秒で柔軟にスケールアップ・ダウンできる、完全に管理された Spark クラスタへのアクセス権が付与されます。これは、ジョブの処理中でも実行できます。さらに、ユーザーは不要になったらクラスタをオフにすることで、コストを節約できます。マネージド Spark プロバイダーは、プロビジョニングを行い、全てのジョブのクラスタを保持する代わりに、一時クラスタを作成します。通常、マスターノードとワーカーノードを持つマシンのクラスタを使用します。マネージド Spark のサービスを採用することで、組織は貴重なリソースを運用ではなく分析に活用することができ、データから価値を引き出す作業に集中できるようになります。
ガートナー®: Databricks、クラウドデータベースのリーダー
マネージドSparkサービスを採用するメリット
クラスタ管理の自動化
特定のジョブのニーズに応じて管理された展開、ログ記録、および監視によって、クラスタに焦点を当てるのではなく、データに集中できます。安定性、拡張性のある高速なクラスタで分析作業ができます。
サイズ変更可能なクラスタ
クラスタを迅速に作成およびスケーリングするため、Spark クラスタの構築と構成による大量のリソース消費を心配する必要はありません。ノードは不要になった時点で自動的に解放され、スケーリングは必要に応じて実行されます。
開発者ツール
通常、クラスタを管理する方法は複数用意されています。
自動／手動の構成
クラスタ上のハードウェアとソフトウェアは自動的に設定されますが、手動での制御も可能です。
シンプルな管理
YARNリソースマネージャーなどのツールの使用により、クラスタやリソース割り当ての優先順位付けや管理をシンプルにします。
費用対効果
従量課金制のため、ユーザーは、プロセス中に消費されるコンピューティングリソースに対してのみ料金を支払います。
FAQ
マネージドSparkとは何ですか？
Sparkクラスタを自動で作成・管理し、分析や機械学習に集中できるようにするマネージドサービスです。
利用するメリットは？
クラスタ管理の自動化、動的スケーリング、コスト最適化、従量課金による柔軟性が挙げられます。
どのような利用者に適していますか？
大規模データ処理を行うが、クラスタ運用よりもデータ分析や開発にリソースを集中したい組織に最適です。
