O VisionHeight é uma plataforma de inteligência pré-ataque que ajuda as equipes de segurança cibernética a detectar ameaças antes que elas ataquem, mapeando continuamente a infraestrutura adversária para que os clientes possam consultar dados em tempo real e obter respostas em segundos. Essa experiência em tempo real era executada em um sistema Apache Pinot separado — o único workload ainda não disponível na Databricks. Ao substituir o Pinot pelo Lakehouse//RT, a VisionHeight reduziu os custos de infraestrutura em mais de 90%, atingiu tempos de resposta de menos de um segundo e passou para a produção em dias sem migração de dados.
Análise em tempo real para uma plataforma de segurança cibernética
A interface de query voltada para o cliente da VisionHeight exige tempos de resposta interativa de dois a quatro segundos em centenas de padrões de query, e não há duas queries iguais. "Não sabemos quais perguntas o usuário vai fazer", disse Nitsan Daniel, CTO e cofundador da VisionHeight. "Provavelmente existem centenas ou milhares de maneiras diferentes de a query acessar os dados, e precisamos de desempenho superrápido porque é interativo."
Para atender essas queries, a VisionHeight usou o Apache Pinot. A arquitetura funcionou, mas gerava uma sobrecarga operacional constante: um cluster 24 horas por dia, 7 dias por semana, pipelines para copiar dados da Databricks, alterações de esquema para corresponder ao formato do Pinot e infraestrutura separada para gerenciar. "Tivemos que lidar com a coleta de dados, ajustar o esquema, a sintaxe e, em seguida, lidar com a alta disponibilidade e o que acontece quando uma máquina quebra", disse Daniel. "Nossa equipe estava gastando muito tempo solucionando esse tipo de problema."
O custo dessa sobrecarga foi o tempo de engenharia. "Se continuarmos com o Pinot, teremos que gerenciar isso nós mesmos", disse Erez Weiss, líder da equipe de engenharia de software da VisionHeight. "Estava ao vivo 24 horas por dia, 7 dias por semana, e toda vez que algo quebrava, eu gastava tempo solucionando problemas em vez de construindo."
Zero cópia de dados e pronto para produção em três dias
A VisionHeight avaliou várias plataformas em tempo real — bancos de dados colunares populares de código aberto, mecanismos NewSQL especificamente desenvolvidos, bancos de dados relacionais gerenciados e os recursos em tempo real de outros grandes data warehouses em nuvem. Nenhuma atendeu aos requisitos de desempenho e custo da empresa sem um investimento adicional significativo em infraestrutura.
"Eles não conseguiram atender aos nossos KPIs de desempenho e custo", disse Daniel. "Teríamos que gastar muito dinheiro para obter recursos suficientes, e mesmo assim havia a sobrecarga de transferir dados para fora e conhecer uma plataforma diferente."
O ponto de viragem veio quando o Lakehouse//RT entrou em seu programa de pré-visualização. Como os dados do VisionHeight já estavam armazenados na Databricks, a equipe pôde testar imediatamente. Eles executaram suas queries mais comuns no Lakehouse//RT (powered by Reyden) e depois trabalharam com a equipe de engenharia da Databricks para fazer ajustes.
"Testamos no Reyden, entregamos à equipe da Databricks para otimizar e, quando vimos que os resultados eram muito bons, implementamos em nossos servidores muito rapidamente", disse Weiss. "Depois de dizer que estava tudo bem, estava em produção em dois ou três dias."
Como o Lakehouse//RT consulta dados diretamente onde eles estão no lakehouse, a migração não exigiu cópia de dados, nem pipelines de ingestão, nem nova plataforma para aprender nem infraestrutura para provisionar. A equipe simplesmente atualizou suas queries e as apontou para o novo mecanismo.
Redução de custos de mais de 90% e desempenho em menos de um segundo
O impacto financeiro excedeu as expectativas. A infraestrutura Apache Pinot da VisionHeight exigia clusters EC2 sempre ativos e executados 24 horas por dia, 7 dias por semana. Com a escalabilidade automática serverless do Lakehouse//RT, que é executada apenas enquanto as queries estão em execução, a equipe teve uma redução de custos de mais de 90%.
"Na verdade, eu estava disposto a pagar um pouco mais para me livrar das despesas gerais operacionais", disse Daniel. "Não percebi que a redução de custos seria tão dramática."
O desempenho também melhorou. Na query mais pesada do VisionHeight, o Lakehouse//RT entregou tempos de resposta de menos de um segundo, quase × mais rápido que o Apache Pinot, excedendo o padrão exigido para os casos de uso interativo dos clientes.
A maior vitória foi eliminar a complexidade de executar dois sistemas separados. O VisionHeight não copia mais dados entre plataformas, gerencia um cluster dedicado ou soluciona incompatibilidades de esquemas entre a Databricks e um banco de dados externo. Cada carga de trabalho — processamento de dados, machine learning, análise, batch jobs e agora serviço em tempo real — é executada em uma única plataforma com uma única cópia dos dados.
"Isso apenas nos permitiu ter mais recursos, tanto em termos de custos quanto de humanos, disponíveis para outras coisas", disse Daniel. "Podemos atingir nossas metas de negócios mais rapidamente."
Para uma startup, essa consolidação é especialmente poderosa. Como parceira da Built on Databricks e vencedora do grande prêmio do Built-On Databricks Startup Challenge, a VisionHeight é a prova de que empresas de alto desempenho podem criar uma plataforma de dados completa na Databricks sem sacrificar requisitos de custo, desempenho ou simplicidade.
Perguntas frequentes sobre o Lakehouse//RT
O VisionHeight substituiu sua camada de query em tempo real Apache Pinot pela Databricks Lakehouse//RT, baseada no mecanismo Reyden. O Lakehouse//RT consulta os mesmos dados já armazenados na Databricks, eliminando a necessidade de um banco de dados de atendimento separado, duplicação de dados e infraestrutura de cluster sempre ativa.