O que é o Hosted Spark?
Plataforma de dados unificada com acesso à API REST para clusters Spark para aplicações remotas, permitindo a exploração interativa e em lote de dados em vários idiomas.
Summary
- Suporta shells interativos em Scala, Python e R, além de submissões em lote em Scala, Java e Python por meio de APIs REST, permitindo que vários usuários compartilhem servidores e enviem trabalhos de qualquer lugar sem alterações de código.
- Facilita a interação imediata entre o Spark e os servidores de aplicativos, simplificando a arquitetura necessária para aplicativos web e móveis interativos por meio de serviços que conectam aplicativos remotos de forma eficiente aos clusters Spark.
- Fornece APIs de alto nível em diversas linguagens com um mecanismo otimizado que suporta grafos de computação em geral, além de recursos de Spark SQL, aprendizado de máquina MLlib, processamento de grafos GraphX e Spark Streaming para análise de dados abrangente.
O que é hosted Spark?
O Apache Spark é um sistema de computação de cluster rápido e de uso geral para big data construído em torno da velocidade, facilidade de uso e análise avançada. Foi criado na UC Berkeley em 2009. Ele fornece APIs de alto nível em Scala, Java, Python e R, e um mecanismo otimizado compatível com gráficos de computação gerais para análise de dados. Além disso, também é compatível com várias outras ferramentas como Spark SQL for SQL e DataFrames, MLlib para machine learning, GraphX para processamento de gráficos e Spark Streaming para processamento de stream.
O Spark inclui dois modos para exploração de dados:
- Interativo
- Batch
Para simplificar a interação com o usuário final, o Spark também é fornecido às organizações em uma plataforma de dados hospedada e unificada. Na ausência de acesso direto aos recursos do Spark por aplicativos remotos, o usuário precisava atravessar um caminho mais longo até a produção. Para superar esse obstáculo, foram criados serviços que permitem a conexão de aplicativos remotos de forma eficiente a um cluster do Spark por meio de uma API REST de qualquer lugar. Essas interfaces permitem a execução de fragmentos de código ou programas em um contexto do Spark que é executado localmente ou no Apache Hadoop YARN. As interfaces do hosted Spark são soluções prontas para uso, pois facilitam a interação entre o Spark e os servidores de aplicativos, simplificando a arquitetura exigida por aplicativos interativos para web e dispositivos móveis.
Gartner®: Databricks, líder em banco de dados em nuvem
Os serviços do hosted Spark incluem estes recursos:
- Coberturas interativas para Scala, Python e R
- Envios em batch no Scala, Java e Python
- Vários usuários podem compartilhar o mesmo servidor
- Permite que os usuários enviem trabalhos de qualquer lugar usando REST
- Nenhuma alteração de código é necessária em seus programas
As organizações agora podem superar facilmente os gargalos existentes que impedem sua capacidade de operacionalizar o Spark e, em vez disso, manter o foco na captura do valor prometido pelo big data.