O que é o Managed Spark?
Serviço Spark automatizado que permite criação rápida, escalonamento dinâmico e gerenciamento de clusters sob demanda, para que os usuários possam se concentrar na análise de dados em vez das operações.
Summary
- Oferece gerenciamento automatizado de clusters com implantação, registro e monitoramento configurados para as necessidades de cada tarefa, mantendo clusters estáveis, escaláveis e rápidos enquanto os usuários se concentram nos dados em vez da infraestrutura.
- Permite a criação e o escalonamento rápido de clusters redimensionáveis sob demanda, com nós desativados quando não utilizados, eliminando o provisionamento e a configuração que consomem muitos recursos por meio do provisionamento temporário de clusters conforme a necessidade.
- Oferece configuração automática ou manual de hardware e software, simplificando o gerenciamento sem preocupações com a alocação de recursos do YARN, com modelos de preços econômicos de pagamento somente pelo poder computacional consumido.
O que é o Spark gerenciado?
Um serviço Spark gerenciado permite aproveitar as ferramentas de dados de código aberto para processamento em lotes, queries, streaming e machine learning. Ao usar essa automação, você poderá criar rapidamente clusters sob demanda, gerenciá-los com facilidade e desativá-los quando a tarefa for concluída. Os usuários também podem dimensionar clusters de acordo com a carga de trabalho, requisitos de desempenho ou com base nos recursos existentes. Além disso, você terá acesso a clusters do Spark totalmente gerenciados, que podem ser dimensionados dinamicamente para cima e para baixo em apenas alguns segundos. E isso pode ser feito mesmo enquanto os jobs estão sendo processados. Além disso, os usuários poderão desativar clusters quando não precisarem mais deles, o que economiza dinheiro. Os provedores do Spark gerenciado criam clusters temporais em vez de fazer disposições e reter um cluster para todos os seus jobs. Normalmente, eles usam um cluster de máquinas com um nó mestre e workers. As organizações podem se concentrar na extração de valor de seus dados em vez de gastar seus recursos em operações. 
Gartner®: Databricks, líder em banco de dados em nuvem
Vantagens de usar um serviço Spark gerenciado:
Gerenciamento automatizado de clusters
A implantação, o registro e o monitoramento gerenciados de acordo com as necessidades do seu job específico permitem se concentrar nos dados, e não no cluster. Seus clusters serão estáveis, escaláveis e rápidos...
Clusters redimensionáveis
A criação e a configuração de clusters do Spark consomem muitos recursos, mas você não precisa mais se preocupar com isso, pois os clusters podem ser criados e dimensionados rapidamente. Os nós são encerrados quando não são mais necessários. Tudo é feito conforme a necessidade
Ferramentas para desenvolvedores
Geralmente são fornecidas várias maneiras de gerenciar um cluster.
Configuração automática ou manual
O hardware e o software em clusters são configurados automaticamente, permitindo também o controle manual.
Simplicidade de gerenciamento
Você não precisará mais enfatizar o gerenciamento do cluster ou a alocação de recursos e fazer qualquer priorização por meio de ferramentas como o YARN Resource Manager.
Econômico em termos de custo
Os usuários pagam apenas pelos recursos de compute que são consumidos durante o processo.
