VisionHeight는 90% 적은 비용으로 최대 3배 빠르게 실시간 쿼리를 실행합니다

VisionHeight는 사이버 보안 팀이 위협이 공격하기 전에 탐지하고 적의 인프라를 지속적으로 매핑할 수 있도록 지원하는 공격 전 인텔리전스 플랫폼으로, 고객이 라이브 데이터를 쿼리하고 몇 초 만에 답을 얻을 수 있도록 지원합니다. 이러한 실시간 경험은 별도의 Apache Pinot 시스템에서 실행되었으며, 이는 아직 Databricks에서 실행되지 않은 워크로드였습니다. VisionHeight는 Pinot를 Lakehouse//RT로 대체함으로써 인프라 비용을 90% 이상 절감하고 초 미만의 응답 시간을 달성했으며 데이터 마이그레이션 없이 며칠 만에 프로덕션으로 전환했습니다.

사이버 보안 플랫폼을 위한 실시간 분석

VisionHeight의 고객 대면 쿼리 인터페이스는 수백 개의 쿼리 패턴에 대해 2~4초의 대화형 응답 시간을 요구하며, 두 개의 쿼리가 동일하지 않습니다. VisionHeight의 CTO 겸 공동 창업자인 Nitsan Daniel은 "사용자가 어떤 질문을 할 것인지 알 수 없습니다"라고 말했습니다. "쿼리가 데이터에 액세스할 수 있는 방법은 수백 또는 수천 가지가 있을 수 있으며, 대화형이므로 초고속 성능이 필요합니다."

VisionHeight는 이러한 쿼리를 처리하기 위해 Apache Pinot를 사용했습니다. 아키텍처는 작동했지만 지속적인 운영 오버헤드가 있었습니다. 24/7 클러스터, Databricks에서 데이터를 복사하는 파이프라인, Pinot의 형식과 일치하는 스키마 변경 사항, 관리해야 하는 별도의 인프라와 같이 지속적인 운영 오버헤드를 발생했습니다. "우리는 데이터를 복사하고, 스키마, 구문을 조정하고, 높은 가용성과 시스템이 고장났을 때 발생하는 일에 대처해야 했습니다."라고 Daniel은 말했습니다. "우리 팀은 이러한 종류의 문제들을 해결하는 데 많은 시간을 할애했습니다."

이러한 오버헤드의 비용은 엔지니어링 시간이었습니다. VisionHeight의 소프트웨어 엔지니어 팀 리드인 Erez Weiss는 "Pinot를 계속 사용했다면 우리 스스로 관리해야 했습니다. R&D)와 프로덕션에 배포 사이의 주기 시간이 너무 길었습니다(예: R&D)를 사용했습니다. "24시간 연중무휴로 운영되었고, 무언가가 고장날 때마다 저는 구축하는 대신 문제 해결에 시간을 보냈습니다."

데이터 복사 없이 3일 만에 프로덕션 지원

VisionHeight는 인기 있는 오픈 소스 컬럼형 데이터베이스, 특정 목적에 맞게 구축된 NewSQL 엔진, 관리되는 관계형 데이터베이스 및 기타 주요 클라우드 데이터 웨어하우스의 실시간 기능 등 여러 실시간 플랫폼을 평가했습니다. 상당한 추가 인프라 투자 없이 회사의 성능 및 비용 요구 사항을 충족할 수 있는 업체는 없습니다.

"그들은 성능과 비용 모두에서 우리의 KPI를 충족할 수 없었습니다."라고 Daniel은 말했습니다. "충분한 리소스를 확보하려면 많은 돈을 지출해야 했을 것이고, 그렇더라도 외부에서 데이터를 복사하고 다른 플랫폼을 알게 되는 오버헤드가 있었습니다."

전환점은 Lakehouse//RT가 미리 보기 프로그램에 참여했을 때 였습니다. VisionHeight의 데이터는 이미 Databricks에 저장되어 있었기 때문에 팀은 즉시 테스트할 수 있었습니다. 그들은 Lakehouse//RT(Reyden 엔진 기반)에서 가장 일반적인 쿼리를 실행한 다음 Databricks 엔지니어링 팀과 협력하여 미세 조정했습니다.

"Reyden에서 테스트를 했고 Databricks 팀에게 최적화할 수 있도록 주었고 결과가 매우 좋았을 때 서버에 매우 빠르게 구현했습니다."라고 Weiss는 말했습니다. "문제가 없다고 말한 후에는 2~3일 만에 프로덕션에 들어갔습니다."

Lakehouse//RT는 레이크하우스에 있는 곳에서 데이터를 직접 쿼리하므로 마이그레이션에는 데이터 복사, 수집 파이프라인, 학습할 새로운 플랫폼, 프로비저닝할 인프라가 필요하지 않았습니다. 팀은 단순히 쿼리를 업데이트하고 새로운 엔진을 가리켰습니다. 

90% 이상의 비용 절감 및 초 미만의 성능

재정적 영향은 기대를 뛰어넘었습니다. VisionHeight의 Apache Pinot 인프라에는 24시간 연중무휴로 실행되는 상시 온라인 EC2 클러스터가 필요했습니다. 쿼리가 실행되는 동안에만 청구하는 Lakehouse//RT의 서버리스 자동 확장을 통해 팀은 90% 이상의 비용 절감을 경험했습니다.

"실제로 운영 오버헤드를 제거하기 위해 조금 더 지불할 의향이 있었습니다."라고 Daniel은 말했습니다. "비용 절감이 그렇게 극적이일 수 있다는 것을 깨닫지 못했습니다."

성능 또한 개선되었습니다. VisionHeight의 가장 많은 쿼리에서 Lakehouse//RT는 Apache Pinot보다 거의 3배 빠른 초 미만의 응답 시간을 제공하여 고객의 대화형 사용 사례에 필요한 표준을 초과했습니다.

가장 큰 성과는 두 개의 별도 시스템을 실행하는 복잡성을 제거했다는 것입니다. VisionHeight는 더 이상 플랫폼 간에 데이터를 복사하지 않고, 전용 클러스터를 관리하지 않으며, Databricks와 외부 데이터베이스 간의 스키마 불일치 문제를 해결하지 않습니다. 데이터 처리, 머신 러닝, 분석, 배치 작업 및 이제는 실시간 서비스와 같은 모든 워크로드는 데이터의 단일 복사본을 사용하여 단일 플랫폼에서 실행됩니다.

"덕분에 비용 효율적이고 인력 효율적으로 다른 일에 사용할 수 있는 더 많은 리소스를 가질 수 있었습니다."라고 Daniel은 말했습니다. "비즈니스 목표를 더 빠르게 달성할 수 있습니다."

스타트업의 경우 이러한 통합은 특히 강력합니다. Built on Databricks 파트너이자 2026 Built-On Databricks Startup Challenge에서 대상을 수상한 VisionHeight는 고실적을 가진 기업이 비용, 성능 또는 단순성에 대한 요구 사항을 희생하지 않고 Databricks에서 완전한 데이터 플랫폼을 구축할 수 있다는 증거입니다.