O que é o Managed Spark?
Serviço Spark automatizado que permite criação rápida, escalonamento dinâmico e gerenciamento de clusters sob demanda, para que os usuários possam se concentrar na análise de dados em vez das operações.
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
- Oferece gerenciamento automatizado de clusters com implantação, registro e monitoramento configurados para as necessidades de cada tarefa, mantendo clusters estáveis, escaláveis e rápidos enquanto os usuários se concentram nos dados em vez da infraestrutura.
- Permite a criação e o escalonamento rápido de clusters redimensionáveis sob demanda, com nós desativados quando não utilizados, eliminando o provisionamento e a configuração que consomem muitos recursos por meio do provisionamento temporário de clusters conforme a necessidade.
- Oferece configuração automática ou manual de hardware e software, simplificando o gerenciamento sem preocupações com a alocação de recursos do YARN, com modelos de preços econômicos de pagamento somente pelo poder computacional consumido.
O que é o Spark gerenciado?
Um serviço Spark gerenciado permite aproveitar as ferramentas de dados de código aberto para processamento em lotes, queries, streaming e machine learning. Ao usar essa automação, você poderá criar rapidamente clusters sob demanda, gerenciá-los com facilidade e desativá-los quando a tarefa for concluída. Os usuários também podem dimensionar clusters de acordo com a carga de trabalho, requisitos de desempenho ou com base nos recursos existentes. Além disso, você terá acesso a clusters do Spark totalmente gerenciados, que podem ser dimensionados dinamicamente para cima e para baixo em apenas alguns segundos. E isso pode ser feito mesmo enquanto os jobs estão sendo processados. Além disso, os usuários poderão desativar clusters quando não precisarem mais deles, o que economiza dinheiro. Os provedores do Spark gerenciado criam clusters temporais em vez de fazer disposições e reter um cluster para todos os seus jobs. Normalmente, eles usam um cluster de máquinas com um nó mestre e workers. As organizações podem se concentrar na extração de valor de seus dados em vez de gastar seus recursos em operações. 
Principais conclusões sobre sistemas multiagentes, casos de uso de IA, avaliações e muito mais
Vantagens de usar um serviço Spark gerenciado:
Gerenciamento automatizado de clusters
A implantação, o registro e o monitoramento gerenciados de acordo com as necessidades do seu job específico permitem se concentrar nos dados, e não no cluster. Seus clusters serão estáveis, escaláveis e rápidos...
Clusters redimensionáveis
A criação e a configuração de clusters do Spark consomem muitos recursos, mas você não precisa mais se preocupar com isso, pois os clusters podem ser criados e dimensionados rapidamente. Os nós são encerrados quando não são mais necessários. Tudo é feito conforme a necessidade
Ferramentas para desenvolvedores
Geralmente são fornecidas várias maneiras de gerenciar um cluster.
Configuração automática ou manual
O hardware e o software em clusters são configurados automaticamente, permitindo também o controle manual.
Simplicidade de gerenciamento
Você não precisará mais enfatizar o gerenciamento do cluster ou a alocação de recursos e fazer qualquer priorização por meio de ferramentas como o YARN Resource Manager.
Econômico em termos de custo
Os usuários pagam apenas pelos recursos de compute que são consumidos durante o processo.
Recursos adicionais
Receba os posts mais recentes na sua caixa de entrada
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.