VisionHeight è una piattaforma di intelligence pre-attacco che aiuta i team di sicurezza informatica a rilevare le minacce prima che colpiscano, mappando continuamente l'infrastruttura avversaria in modo che i clienti possano interrogare dati in tempo reale e ottenere risposte in pochi secondi. L'esperienza in tempo reale veniva eseguita su un sistema Apache Pinot separato, l'unico carico di lavoro non ancora su Databricks. Sostituendo Pinot con Lakehouse//RT, VisionHeight ha ridotto i costi di infrastruttura di oltre il 90%, ha raggiunto tempi di risposta inferiori al secondo e è passato alla produzione in pochi giorni senza migrazione dei dati.
Analisi in tempo reale per una piattaforma di sicurezza informatica
L'interfaccia di query rivolta al cliente di VisionHeight richiede tempi di risposta interattiva da due a quattro secondi su centinaia di pattern di query, e non ci sono due query uguali tra loro. "Non sappiamo quali domande porrà l'utente", ha affermato Nitsan Daniel, CTO e cofondatore di VisionHeight. "Ci sono probabilmente centinaia o migliaia di modi diversi in cui la query può accedere ai dati, e abbiamo bisogno di prestazioni superrapide perché è interattivo."
Per soddisfare tali query, VisionHeight ha utilizzato Apache Pinot. L'architettura funzionava, ma comportava un sovraccarico operativo costante: un cluster attivo 24 ore su 24, pipeline per copiare i dati da Databricks, modifiche dello schema per adattarlo al formato Pinot e infrastruttura separata da gestire. "Abbiamo dovuto copiare i dati, modificare lo schema e la sintassi, quindi occuparci dell'alta disponibilità e di cosa succede quando una macchina si guasta", afferma Daniel. "Il nostro team passava molto tempo a risolvere questo tipo di problemi."
Il costo di tale sovraccarico era costituito dai tempi di progettazione. "Se continuassimo con Pinot, dovevamo gestirlo da soli", ha affermato Erez Weiss, Software Engineer Team Lead di VisionHeight. "Era live 24 ore su 24, 7 giorni su 7 e ogni volta che qualcosa si rompeva passavo il mio tempo a risolvere i problemi anziché a creare."
Zero copia dei dati e pronto per la produzione in tre giorni
VisionHeight ha valutato diverse piattaforme in tempo reale: popolari database colonnari open source, motori NewSQL appositamente creati, database relazionali gestiti e le funzionalità in tempo reale di altri importanti data warehouse cloud. Nessuno soddisfaceva i requisiti di prestazioni e costi dell'azienda senza significativi investimenti aggiuntivi nell'infrastruttura.
"Non erano in grado di soddisfare i nostri KPI né per prestazioni né per costi", ha affermato Daniel. "Avremmo dovuto spendere molti soldi per ottenere risorse sufficienti, e anche allora c'era il costo aggiuntivo di copiare i dati all'esterno e di conoscere una piattaforma diversa."
Il punto di svolta è arrivato quando Lakehouse//RT è entrato nel suo programma di anteprima. Poiché i dati di VisionHeight erano già archiviati in Databricks, il team ha potuto testare immediatamente. Hanno eseguito le query più comuni su Lakehouse//RT (basato sul motore Reyden), quindi hanno collaborato con il team di ingegneri di Databricks per perfezionarlo.
"L'abbiamo testato su Reyden, l'abbiamo consegnato al team di Databricks per l'ottimizzazione e, quando abbiamo visto che i risultati erano molto buoni, l'abbiamo implementato nei nostri server molto rapidamente", ha affermato Weiss. "Una volta detto che era ok, era in produzione in due o tre giorni."
Poiché Lakehouse//RT esegue query sui dati direttamente dove risiedono nel lakehouse, la migrazione non ha richiesto la copia dei dati, né pipeline di acquisizione, né nuove piattaforme da apprendere né infrastrutture da provisioning. Il team ha semplicemente aggiornato le query e le ha indirizzate al nuovo motore.
Riduzione dei costi superiore al 90% e prestazioni inferiori al secondo
L'impatto finanziario ha superato le aspettative. L'infrastruttura Apache Pinot di VisionHeight richiedeva cluster EC2 sempre attivi e funzionanti 24 ore su 24, 7 giorni su 7. Con la scalabilità automatica serverless di Lakehouse//RT, che fattura solo mentre le query sono in esecuzione, il team ha registrato una riduzione dei costi di oltre il 90%.
"Ero disposto a pagare un po' di più per eliminare i costi operativi", afferma Daniel. "Non mi rendevo conto che la riduzione dei costi sarebbe stata così drastica."
Migliorate anche le prestazioni. Sulla query più pesante di VisionHeight, Lakehouse//RT ha fornito tempi di risposta inferiori al secondo, quasi 3,5 volte più veloci rispetto a Apache Pinot, superando lo standard richiesto per i casi d'uso interattivi dei clienti.
Il vantaggio più grande è stato l'eliminazione della complessità derivante dall'esecuzione di due sistemi separati. VisionHeight non copia più i dati tra piattaforme, gestisce un cluster dedicato o risolve i problemi di discorrispondenze di schema tra Databricks e un database esterno. Ogni carico di lavoro (elaborazione dei dati, machine learning, analisi, lavori in batch e ora serving, in tempo reale) viene eseguito su un'unica piattaforma con un'unica copia dei dati.
"Ci ha permesso di avere più risorse, sia in termini di costi che di personale, disponibili per altre cose", ha affermato Daniel. "Possiamo raggiungere i nostri obiettivi aziendali più velocemente."
Per una startup, questo consolidamento è particolarmente efficace. In qualità di partner Built on Databricks e vincitore del primo premio della Built-On Databricks Startup Challenge 2026, VisionHeight è la prova che le aziende ad alte prestazioni possono creare una piattaforma dati completa su Databricks senza sacrificare i requisiti per costi, prestazioni o semplicità.
Domande frequenti su Lakehouse//RT
VisionHeight ha sostituito il suo livello di query in tempo reale Apache Pinot con Databricks Lakehouse//RT, basato sul motore Reyden. Lakehouse//RT esegue query sugli stessi dati già archiviati in Databricks, eliminando la necessità di un database servante separato, della duplicazione dei dati e dell'infrastruttura cluster sempre attiva.