VisionHeight est une plateforme de renseignement pré-attaque qui aide les équipes de cybersécurité à détecter les menaces avant qu'elles ne frappent, en cartographiant continuellement l'infrastructure adversaire afin que les clients puissent interroger des données en direct et obtenir des réponses en quelques secondes. Cette expérience en temps réel fonctionnait sur un système Apache Pinot séparé, la seule charge de travail qui n'était pas encore présente sur Databricks. En remplaçant Pinot par Lakehouse//RT, VisionHeight a réduit les coûts d'infrastructure de plus de 90 %, a atteint des temps de réponse de moins de une seconde et est passé en production en quelques jours sans migration de données.
Analyse en temps réel pour une plateforme de cybersécurité
L'interface de requête orientée client de VisionHeight exige des temps de réponse interactifs de deux à quatre secondes sur des centaines de modèles de requête, et il n'y a pas deux requêtes identiques. « Nous ne savons pas quelles questions l'utilisateur va poser », a déclaré Nitsan Daniel, CTO et cofondateur de VisionHeight. « Il y a probablement des centaines ou des milliers de façons différentes dont la requête peut accéder aux données, et nous avons besoin de performances ultra rapides parce que c'est interactif. »
Pour servir ces requêtes, VisionHeight a utilisé Apache Pinot. L'architecture a fonctionné, mais elle a entraîné des frais opérationnels constants : un cluster 24/7, des pipelines pour copier les données de Databricks, des modifications de schéma pour correspondre au format de Pinot et une infrastructure séparée à gérer. « Nous avons dû gérer la copie des données, l'ajustement du schéma, la syntaxe, puis gérer la haute disponibilité et ce qui se passe lorsqu'une machine tombe en panne », a déclaré Daniel. « Notre équipe passait beaucoup de temps à résoudre ce genre de problèmes. »
Le coût de ces frais généraux était le temps d'ingénierie. « Si nous continuions avec Pinot, nous devions le gérer nous-mêmes », a déclaré Erez Weiss, chef d'équipe d'ingénieurs logiciels chez VisionHeight. « C'était en direct 24h/24, 7j/7, et chaque fois que quelque chose se brisait, je passais mon temps à dépanner plutôt qu'à créer. »
Aucune copie de données et prêt pour la production en trois jours
VisionHeight a évalué plusieurs plateformes en temps réel : des bases de données colonnaires open source populaires, des moteurs NewSQL spécialement conçus, des bases de données relationnelles gérées et les capacités en temps réel d'autres grands data warehouses cloud. Aucun ne répondait aux exigences de performances et de coûts de l'entreprise sans un investissement supplémentaire important dans l'infrastructure.
« Ils n'ont pas été en mesure de répondre à nos indicateurs clés de performance et de coûts », a déclaré Daniel. « Nous aurions dû dépenser beaucoup d'argent pour obtenir suffisamment de ressources, et même alors, il y avait des frais généraux liés à la copie de données à l'extérieur et à l'apprentissage d'une plateforme différente. »
Le point tournant est venu lorsque Lakehouse//RT est entré dans son programme de prévisualisation. Comme les données de VisionHeight étaient déjà stockées dans Databricks, l'équipe a pu tester immédiatement. Ils ont exécuté leurs requêtes les plus courantes sur Lakehouse//RT (alimenté par le moteur Reyden), puis ont travaillé avec l'équipe d'ingénierie Databricks pour affiner.
« Nous l'avons testé sur Reyden, nous l'avons donné à l'équipe Databricks pour l'optimiser, et lorsque nous avons vu que les résultats étaient très bons, nous l'avons mis en œuvre dans nos serveurs très rapidement », a déclaré Weiss. « Une fois que nous avons dit que c'était OK, il était en production en deux à trois jours. »
Parce que Lakehouse//RT interroge les données directement là où elles vivent dans le lakehouse, la migration n'a nécessité aucune copie des données, aucun pipeline d'ingestion, aucune nouvelle plateforme à apprendre, ni aucune infrastructure à provisionner. L'équipe a simplement mis à jour ses requêtes et les a dirigées vers le nouveau moteur.
Plus de 90 % de réduction des coûts et des performances inférieures à une seconde
L'impact financier a dépassé les attentes. L'infrastructure Apache Pinot de VisionHeight nécessitait des clusters EC2 toujours actifs fonctionnant 24/7. Grâce à l'autoscaling de Lakehouse//RT, qui facture uniquement lorsque les requêtes sont en cours d'exécution, l'équipe a constaté une réduction des coûts de plus de 90 %.
« J'étais en fait prêt à payer un peu plus pour me débarrasser des frais généraux opérationnels », a déclaré Daniel. « Je ne savais pas que la réduction des coûts serait aussi spectaculaire. »
Les performances ont également été améliorées. Sur la requête la plus lourde de VisionHeight, Lakehouse//RT a fourni des temps de réponse inférieurs à une seconde, près de 3 fois plus rapides que Apache Pinot, dépassant la norme requise pour les cas d'utilisation interactifs des clients.
Le plus grand gain a été d'éliminer la complexité de l'exécution de deux systèmes distincts. VisionHeight ne copie plus les données entre les plateformes, ne gère plus un cluster dédié ou ne résout plus les inadéquations de schémas entre Databricks et une base de données externe. Chaque charge de travail — traitement des données, apprentissage automatique, analytique, tâches par lots et désormais service en temps réel — s'exécute sur une seule plateforme avec une seule copie des données.
« Cela nous a simplement permis de disposer de plus de ressources, à la fois du point de vue des coûts et du point de vue humain, disponibles pour d'autres choses », a déclaré Daniel. « Nous pouvons atteindre nos objectifs commerciaux plus rapidement. »
Pour une startup, cette consolidation est particulièrement puissante. En tant que partenaire Built on Databricks et gagnant du grand prix du Built-On Databricks Startup Challenge 2026, VisionHeight est la preuve que les entreprises haute performance peuvent créer une plateforme de données complète sur Databricks sans sacrifier les exigences en matière de coûts, de performances ou de simplicité.
Questions fréquemment posées sur Lakehouse//RT
VisionHeight a remplacé sa couche de requête en temps réel Apache Pinot par Databricks Lakehouse//RT, alimenté par le moteur Reyden. Lakehouse//RT interroge les mêmes données déjà stockées dans Databricks, éliminant le besoin d'une base de données de service séparée, de la duplication des données et d'une infrastructure de cluster toujours active.