IA a serviço do carro conectado

A fim de criar valor para seus clientes, wejo ingere dados de streaming de 50 milhões de veículos conectados, processando dados de OEMs e sistemas de navegação por satélite a cada três segundos. Esses dados são indicadores para melhorar o fluxo de tráfego, reduzir acidentes, emitir alertas de segurança e informar serviços de emergência e até inovar para otimizar estacionamentos. Todos esses fluxos de dados vêm de fontes diferentes: extrair insights deles por meio da data science é um desafio real e consome muitos recursos.

• Enormes volumes de dados: a empresa processa mais de três trilhões de pontos de dados por mês, transmitidos continuamente de veículos para o mercado em menos de 40 segundos. Isso requer um ambiente que combine baixa latência e alta capacidade.

• Desafios em larga escala: para ingerir essa enorme quantidade de dados, wejo contou com clusters Mapreduce, que possuem dimensões rígidas e sofrem com limitações em termos de bibliotecas disponíveis. O resultado foram dias de atraso esperando que os módulos Python necessários fossem instalados, um verdadeiro freio para a inovação.

• Desempenho lento: os jobs mais longos às vezes levavam horas ou até dias para ser processados.

A Databricks oferece à wejo uma plataforma de análise de dados unificada que facilita a criação de um ambiente escalável e colaborativo entre as equipes de data science e engenharia de dados. Isso permite que as equipes de dados forneçam inovações baseadas em ML mais rapidamente à indústria automotiva.

• A plataforma gerenciada em nuvem simplifica o provisionamento de clusters de compute de qualquer tamanho.

• A compatibilidade com diversas linguagens (SQL, Scala, Python, R) melhora a colaboração entre data engineering, data science e analistas.

• A compatibilidade nativa com o Delta Lake permite que a equipe de data engineering execute e dimensione de forma confiável os pipelines em batch e de streaming nos mesmos dados.

Com a Databricks, a Wejo agora é capaz de processar dados em escala e aproveitar o machine learning mais rapidamente do que antes, reduzindo custos. Mais importante ainda, a empresa agora tem uma maneira fácil de compartilhar resultados entre as equipes e a organização e capacitar outras pessoas a trazer inovação para o mercado.

• Ganho de eficiência operacional: recursos como dimensionamento automático de cluster melhoraram as operações de data engineering. Os pipelines de análise downstream, em particular, passaram de semanas para minutos.

• Melhor colaboração entre equipes: o ambiente de notebook compartilhado compatível com várias linguagens aumentou a produtividade da equipe.

• Tempo de análise reduzido: com a Databricks, agora estamos vendo um desempenho 20 vezes melhor do que o Spark, uma ferramenta de código aberto. Quanto ao tempo de lançamento no mercado, ele foi reduzido em 90%.