Lakehouse//RT 소개: 통합 레이크하우스에서의 실시간 성능

저희가 레이크하우스 아키텍처를 처음 선보였을 때, 저희의 비전은 데이터 레이크와 데이터 웨어하우스 간의 장벽을 허물어 모든 데이터 요구사항을 충족하는 단일 통합 플랫폼을 만드는 것이었습니다. 저희는 오픈 데이터를 사용해 분석, BI, AI, ETL의 다양한 워크로드를 단일 플랫폼으로 통합하고, 중복을 제거하며, 거버넌스를 중앙집중화함으로써 Databricks Lakehouse로 이것이 가능하다는 것을 증명했습니다.

이제 저희는 실시간 서빙을 핵심 데이터 플랫폼과 통합하고자 합니다. 현재는 별도의 서빙 레이어나 특화된 엔진을 사용하는 방식으로 이를 구현하는 경우가 많습니다. 이로 인해 데이터 사일로와 복제본이 생성되어 데이터 아키텍처의 복잡성, 비용, 리스크가 증가하게 됩니다.

Databricks는 밀리초 단위의 성능을 레이크하우스에 직접 구현하게 되었음을 기쁜 마음으로 발표합니다. 운영 분석, BI 및 앱 서빙, 관측 가능성(observability) 워크로드를 위해 설계된 Databricks의 새로운 실시간 데이터 웨어하우스인 Lakehouse//RT를 소개합니다. Lakehouse//RT는 높은 동시성 환경에서 즉각적인 응답성이 요구되는 실시간 워크로드를 위한 혁신적인 신규 엔진인 Reyden을 기반으로 작동합니다.

별도의 서빙 레이어: 한계가 명확한 타협안

사용자, 애플리케이션, 대시보드, 에이전트 전반으로 데이터 액세스가 확장됨에 따라, 높은 동시성 하에서의 실시간 응답성에 대한 요구가 계속해서 증가하고 있습니다. 기존의 해결책은 전용 서빙 레이어를 도입하는 것이었습니다. 이 방식은 읽기 속도는 빠르지만 데이터를 새로운 레이어로 복사해야 하므로, 데이터를 플랫폼의 나머지 부분과 격리시키고 환경 전반에 걸쳐 복잡성을 가중시킵니다.

데이터를 별도의 서빙 레이어로 복사하는 데는 대가가 따릅니다. 단 하나의 쿼리도 서빙하기 전에 이미 세 가지 비용을 치르게 됩니다.

1. 데이터 중복 비용이 발생합니다. Delta나 Iceberg 같은 오픈 포맷에서 데이터를 추출하여 다른 엔진은 읽을 수 없는 독점 스토리지로 복사해야 합니다. 이로 인해 두 번째 수집(ingestion) 파이프라인이 생기고, 동기화가 깨질 때마다 새로운 장애 유형이 발생하며, 소스 데이터가 변경될 때마다 새로운 운영 오버헤드가 발생합니다.
2. 거버넌스 비용이 발생합니다. Unity Catalog에서 한 번 정의한 보안 정책, 액세스 제어, 비즈니스 로직은 서빙 레이어로 복사된 데이터에 자동으로 적용되지 않습니다. 따라서 다른 곳에서 이를 다시 정의해야 합니다. 두 레이어 간에 차이가 발생하는 순간, 일관성 없는 규칙, 파편화된 액세스 권한, 그리고 보안 팀이 해명해야 하는 보안 공백이 생기게 됩니다.
3. 엔지니어링 리소스 비용이 발생합니다. 누군가는 그 파이프라인을 관리해야 합니다. 누군가는 동기화 실패를 디버깅해야 하고, 누군가는 두 번째 클러스터를 운영해야 합니다. 지연 시간에 가장 민감한 워크로드를 다루는 엔지니어들이 제품 개발 대신 시스템 연결 작업을 하느라 시간을 허비하게 됩니다.

가장 큰 문제는 이 세 가지 비용을 모두 치르고도 서빙 레이어가 모든 쿼리를 실행할 수 없다는 점입니다. 쿼리가 복잡해지거나(예: 조인, 윈도우 함수) 데이터 규모가 커지는 순간 시스템은 마비됩니다.

Lakehouse//RT: Reyden 기반의 실시간 성능

Lakehouse//RT는 데이터 이동 없이 대규모 환경에서 밀리초 단위의 성능을 제공하는 새로운 실시간 웨어하우스입니다. 이미 분석 및 AI를 지원하고 있는 것과 동일한 오픈 포맷, 거버넌스 모델, 중앙 데이터 아키텍처를 그대로 사용하면서 실시간 워크로드를 지원할 수 있습니다.

프리뷰 참여자들은 실시간 서빙 레이어 대비 최대 16배 더 우수한 성능을 확인했으며, 소규모 데이터 세트에서는 최저 10ms의 응답 시간을, 대규모 데이터 세트에서는 100ms 미만의 성능을 경험했습니다. 표준 분석 벤치마크에서 Lakehouse//RT는 초당 12,000개의 쿼리를 처리하면서도 100ms 미만의 지연 시간을 기록했습니다.

하지만 단일 벤치마크의 수치 하나만 유리하게 선택하는 것은 쉽습니다. 진짜 시험대는 더 많은 데이터, 더 복잡한 쿼리, 더 무거운 부하 등 모든 환경에서 그 속도가 유지되는지 여부입니다.

모든 벤치마크에서 뛰어난 성능을 입증한 Lakehouse//RT

이 새로운 접근 방식 덕분에 Lakehouse//RT는 다른 데이터 웨어하우스나 특화된 실시간 엔진의 속도가 급격히 느려지거나 완전히 실패할 수 있는 대규모 및 소규모 데이터 세트 모두에서 초당 수천 개의 쿼리가 발생하더라도 낮은 지연 시간을 유지할 수 있습니다.

세 가지 차원에서 비교한 결과는 다음과 같습니다:

1. 부하 환경에서의 성능: 단일 쿼리로 낮은 지연 시간을 제공하는 것은 쉽습니다. 진짜 과제는 대시보드나 애플리케이션이 시스템에 동시에 수천 개의 쿼리를 보낼 때 발생합니다. 최종 사용자가 분석 애플리케이션을 열고 로드될 때까지 몇 초 또는 몇 분 동안 기다리는 것을 원치 않으실 것입니다. 저희는 초당 몇 개의 쿼리에서 수천 개로 처리량을 늘려가며 주요 대안 솔루션들과 Lakehouse//RT의 쿼리 지연 시간을 테스트했습니다. 대안 솔루션들은 모두 동일한 패턴을 보였습니다. 지연 시간이 한동안 유지되다가 급증한 후, 마침내 엔진이 응답을 완전히 멈췄습니다. 반면 Lakehouse//RT는 전체 범위에서 지연 시간이 일정하게 유지되었으며, 쿼리 지연 시간의 저하 없이 초당 수천 개의 쿼리로 확장되었습니다.

2. 대규모 환경에서의 성능: 이 테스트는 표준 의사 결정 지원 벤치마크인 TPCH를 기반으로 합니다. 저희는 일상적인 비즈니스 보고서 형태인 대규모 테이블 스캔, 다중 테이블 조인, 집계가 결합된 매출 스키마에 대해 일련의 쿼리를 실행했습니다. 사용량과 이력이 누적됨에 따라 모든 데이터 세트가 거치는 경로인 소규모 데이터 세트부터 테라바이트 규모까지 테스트를 진행했습니다. Lakehouse//RT는 데이터가 증가해도 낮은 지연 시간을 유지하며, 차트는 규모가 커져도 성능이 어떻게 유지되는지 보여줍니다. 안타깝게도 대규모 환경에서는 테스트 대상이었던 3개의 대안 솔루션 중 2개가 실행에 실패했습니다. 이는 이러한 실시간 사이드 스택이 유의미한 규모의 데이터를 처리하지 못한다는 점을 극명하게 보여줍니다.

3. 가장 복잡한 쿼리에서의 성능: 이 테스트는 데이터 웨어하우스에 대해 더 엄격한 기준을 요구하는 의사 결정 지원 벤치마크인 TPCDS를 기반으로 합니다. 저희는 단순한 조회를 훨씬 넘어서는 분석을 수행할 때 작성하는 형태인, 실제 웨어하우스 스키마에서 깊은 다중 테이블 조인, 서브쿼리, 윈도우 함수로 구성된 복잡한 쿼리 세트를 실행했습니다. Lakehouse//RT는 쿼리가 더 복잡해져도 낮은 지연 시간을 유지하며, 차트에서 볼 수 있듯이 그 격차는 더욱 벌어져 한 대안 솔루션은 최대 25배나 더 느리게 실행되었습니다. 그리고 가장 큰 규모에서는 동일한 대안 솔루션이 아예 실행을 완료하지 못했습니다. 이는 단순 조회용으로 구축된 실시간 사이드 스택이 비즈니스에서 매일 실행하는 복잡한 분석을 처리할 수 없음을 보여주는 또 다른 증거입니다.

결과는 세 가지 모두에서 일관되게 나타납니다. 단일 엔진에서 단일 데이터 복사본을 사용하여 부하가 높을 때도, 규모가 클 때도, 가장 복잡한 쿼리에서도 빠른 속도를 제공합니다. 프리뷰 고객들은 대시보드부터 실시간 분석 애플리케이션에 이르기까지 실제 비즈니스 시나리오에서 Lakehouse//RT를 통해 이와 유사한 성능 향상을 경험했습니다.

통합되고 안전하게 거버넌스가 적용된 단일 플랫폼에서 실현하는 대규모 밀리초 속도

실시간 성능을 중앙 데이터 플랫폼과 통합함으로써, Lakehouse//RT는 아키텍처상의 타협을 배제하고 실시간 답변, 간소화된 아키텍처, 일관된 거버넌스라는 세 가지 핵심 이점을 제공합니다.

실시간 답변

가장 빠르고 최신의 인사이트를 얻는 것이 중요할 때 Lakehouse//RT가 해결책이 되어 드립니다. 동시 쿼리 수에 관계없이 매 밀리초가 중요한 까다로운 산업 분야의 고객들은 실시간 레이크하우스를 통해 인사이트 도출 시간(time-to-insight)을 획기적으로 단축하고 있습니다.

초기 프리뷰 고객들이 경험한 성능 향상 사례는 다음과 같습니다:

"Meta Enterprise는 공급망, 재무 등 내부 팀을 위한 분석을 실행하고 있으며, 분석가들은 가장 큰 테이블에서 높은 동시성 부하가 발생할 때도 즉각적인 답변을 기대합니다. Lakehouse//RT 덕분에 별도의 시스템을 병행하여 운영할 필요 없이, 레이크에 있는 데이터를 통해 일반적인 쿼리 결과를 수십 밀리초 만에 얻을 수 있게 되었습니다."

— Srikanth Sakhamuri, Meta 데이터 엔지니어링 리더

"우주 솔루션 기업인 SES는 정부를 보호하고, 비즈니스를 성장시키며, 사람들이 어디에 있든 연결 상태를 유지할 수 있도록 지원합니다. 통합된 다중 궤도 위성과 글로벌 지상 네트워크를 통해 복원력 있고 원활한 연결성을 제공합니다. 저희의 운영 대시보드는 수십억 행의 실시간 텔레메트리 데이터를 기반으로 실행되며, 높은 동시성 환경에서 밀리초 단위의 응답 속도를 요구합니다.

Lakehouse//RT는 저희의 Databricks 데이터에서 바로 이를 구현해 줍니다. 지연 시간 요구사항을 충족하기 위해 더 이상 별도의 서빙 레이어를 운영할 필요가 없어졌기 때문에, 이전 쿼리 시간보다 20배 더 빠르면서도 비용은 극히 일부만 소요됩니다."

— Dennis Rossberg, SES 수석 데이터 클라우드 아키텍트

"Enverus는 에너지 산업의 AI 및 데이터 플랫폼으로, 25년 이상의 독점 인텔리전스를 기반으로 구축되었으며, 지속적으로 업데이트되는 2.7 페타바이트의 데이터, 3억 5천만 개 이상의 법원 기록, 전체 에너지 가치 사슬을 아우르는 연간 5,000억 달러 이상의 거래 데이터를 보유하고 있습니다. 이는 분석가와 임베디드 앱 트래픽이 증가하더라도 분석 서비스가 대화식(interactive)으로 원활하게 유지되어야 함을 의미합니다.

Lakehouse//RT를 사용하면 일부 쿼리의 경우 수십 밀리초 내에 결과가 반환되며, 다른 쿼리에서는 기존의 특화된 실시간 엔진보다 최대 100배 더 빠르게 실행됩니다. 이러한 성능 덕분에 분리되어 있던 분석 스택을 단일 통합 Lakehouse로 통합할 수 있게 되었습니다."

— Paul Lamb, Enverus 엔터프라이즈 분석 부문 디렉터

간소화된 아키텍처

데이터를 복사 및 이동하고 추가 파이프라인을 구축하는 대신, 팀은 독점 도구 없이도 필요한 컴퓨팅 성능을 확보할 수 있는 단일하고 민첩한 플랫폼에 의존할 수 있습니다. 이는 복잡성과 시스템 무분별한 확장을 줄여줍니다.

"저희 플랫폼은 전체 고객 기반에서 실시간 성능 데이터를 위해 초당 수백 개의 쿼리를 처리하므로, 일관성과 지연 시간(latency)이 고객 경험에 직접적인 영향을 미칩니다.

Lakehouse//RT를 통해 핵심 대시보드 쿼리에서 일관되게 200밀리초 미만의 성능을 확인하고 있습니다. 거버넌스가 적용된 lakehouse 데이터에서 직접 이를 달성할 수 있어 파이프라인과 서빙 아키텍처가 극적으로 간소화되었습니다."

— Kayvon Raphael, Magnite 엔지니어링 부문 시니어 디렉터

"위협 조회는 사용자 및 에이전트 전반에서 사용량이 확장되더라도 일관되게 낮은 지연 시간을 유지해야 합니다. Lakehouse//RT를 통해 라이브 데이터에서 밀리초 단위의 성능과 5배 향상된 응답 시간을 확인하고 있으며, 이를 통해 별도의 서빙 시스템을 유지하는 대신 당사의 lakehouse에서 해당 워크로드를 실행할 수 있는 길이 열렸습니다."

— Chris Kopek, Cisco 데이터 플랫폼 부문 총괄

"Halcyon에서는 수백만 개의 엔드포인트에서 보안 데이터를 모니터링하고 서로 다른 신호를 상호 연관시켜 몇 초 내에 중요한 위협을 식별합니다. 고객의 보안 요구 사항이 증가함에 따라 시스템의 부하도 커졌습니다.

Lakehouse//RT는 당사에 필요한 성능과 동시성을 제공했습니다. 이제 중요한 쿼리가 별도의 캐싱 시스템 없이 당사의 Lakehouse에서 직접 약 4배 더 빠르게 실행됩니다."

— Seagen Levites, Halcyon AI 정량 분석 부문 시니어 디렉터

강력하고 일관된 거버넌스

동시에 거버넌스는 중앙 집중식으로 유지됩니다. 보안 정책, 권한, 액세스 제어 및 비즈니스 로직이 Unity Catalog를 통해 일관되게 정의되고 적용됩니다. 팀에서 규칙을 중복으로 만들거나 손상된 거버넌스를 해결하기 위해 시간을 낭비할 필요가 없습니다. 한 번만 설정하면 어디서나 작동합니다.

"Lakehouse//RT는 헬스케어 데이터 세트에서 이전 데이터 웨어하우스보다 평균 3분의 1 이상 더 빠르게 실행되었으며, [일부 워크로드에서는] 10배 더 빠른 쿼리 속도를 보여주었습니다. 이는 고객이 정보에 더 빠르게 액세스하고 의사 결정 시간을 더 많이 확보할 수 있음을 의미합니다. Lakehouse 아키텍처를 보완하기 위해 전용 실시간 시스템 도입을 고려했으나, Lakehouse//RT 덕분에 그럴 필요가 없어졌으며, 일관된 거버넌스와 함께 이러한 속도를 기본적으로(natively) 제공받게 되었습니다."

— Mehrshad Setayesh, PointClickCare 엔지니어링(데이터, 플랫폼, AI) 부문 SVP

"Bally's는 Unity Catalog 하의 Delta Lake에 저장된 약 60TB의 데이터에서 하루에 수백만 건의 트랜잭션을 처리하는 업계 최대 규모의 글로벌 게이밍 및 복권 기술 그룹 중 하나입니다. 당사의 운영 팀은 몇 초 만에 해답을 얻어야 했으며, 이를 위해 lakehouse와 함께 별도의 저지연 서빙 시스템을 운영해 왔습니다. Lakehouse//RT는 이러한 절충안을 없애줍니다. 거버넌스가 적용된 Delta 테이블에서 직접 동일한 데이터에 대해 7배 더 빠르고 1초 미만의 성능을 제공합니다. 복사본도, 추가 클러스터도, 보안을 유지해야 할 두 번째 시스템도 필요하지 않습니다.

이러한 간소함은 데이터 거버넌스, 보안 및 개인정보 보호의 최고 표준을 유지하는 것이 운영의 기본인 규제가 엄격한 산업에서 특히 중요합니다."

— Mark Borg, Bally’s 데이터 부문 수석 부사장

"Equilibrium Energy는 시장이 실제로 요구하는 속도로 수십 개의 서로 다른 소스에서 가져온 라이브 데이터에서 인간 트레이더와 함께 작동하는 AI 에이전트를 통해 에너지 거래 방식을 재정의하고 있습니다. 이는 대부분의 실시간 아키텍처가 감당하기 어려운 워크로드입니다. Lakehouse//RT는 포털 쿼리에서 SQL Serverless보다 최대 3.6배 빠른 중앙값 지연 시간(median latency)을 제공하여, 트레이더가 데이터를 기다리는 대신 데이터를 보며 생각할 수 있을 만큼 빠릅니다. 즉, 시나리오를 실행하고 AI 에이전트와 함께 탐색하며 몇 초 만에 의사 결정을 내릴 수 있습니다.

스택에 별도의 실시간 레이어를 추가하는 대신 이 모든 것을 단일 플랫폼에서 유지함으로써 거버넌스를 희생하지 않고도 이 정도의 속도로 나아갈 수 있습니다."

— Tarek Rached, Equilibrium Energy 데이터 플랫폼 부문 디렉터

파트너사

프리뷰 고객 외에도 Databricks의 가장 큰 글로벌 파트너사 중 일부는 이미 Lakehouse//RT에 대한 비전을 공유하고 있습니다. 이들은 이것이 시장에 가져올 놀라운 잠재력을 인식하고 있으며, 실시간 데이터 웨어하우징의 길을 열어가는 과정에서 당사와 협력하기를 열망하고 있습니다.

"Deloitte와 Databricks의 동맹은 조직이 데이터를 전략적이고 AI에 바로 사용할 수 있는 자산으로 전환하도록 지원하면서 계속해서 놀라운 모멘텀을 구축하고 있습니다. Lakehouse//RT의 출시는 고급 분석을 촉진하고 가치 창출 시간(time-to-value)을 단축하는 데 필요한 실시간 기능을 제공함으로써 중대한 도약을 의미합니다. 저희는 Databricks와의 협력을 더욱 심화하고 이러한 최신 혁신을 고객에게 제공하여 측정 가능하고 영향력 있는 비즈니스 성과를 창출하게 되어 기쁩니다."

— Thomas Zipprich, Deloitte Consulting LLP 프린시펄 겸 글로벌 Databricks 얼라이언스 리더

"새로운 비즈니스 그룹 출시와 함께 Databricks와의 파트너십이 가속화되는 모멘텀을 보이고 있는 가운데, 실시간 데이터와 AI에 대한 기업의 요구가 그 어느 때보다 명확해졌습니다. Lakehouse//RT의 출시는 고객이 지능형 비즈니스 재창조를 추진하는 데 필요한 속도와 개방형 아키텍처를 제공합니다. 새로운 가능성을 열어젖히기 위해 Databricks와의 여정을 계속해 나가기를 기대합니다."

— Jigyasa Singh, Accenture 글로벌 Databricks 비즈니스 그룹 리드

"이제 Sigma가 Lakehouse//RT, Agent Bricks, Genie Agents 및 Lakebase에 직접 연결되므로, 양사 공동 고객은 대규모 환경에서 1초 미만의 쿼리 성능을 얻고, 친숙한 스프레딧 인터페이스를 통해 수십억 개의 행을 탐색하며, 해당 데이터에 따라 작동하는 에이전트를 구축하고, 이미 신뢰하고 있는 거버넌스가 적용된 환경을 벗어나지 않고도 메모리, 상태 등 전체 에이전트 워크플로우를 관리할 수 있습니다.

기업용 AI에서 가장 어려운 부분은 모델을 구축하는 것이 아닙니다. 실제 권한 하에 대규모로 실제 비즈니스 데이터에서 에이전트가 작동하도록 만드는 것입니다. 이것이 바로 Sigma와 Databricks가 함께 해결하는 과제입니다."

— Mike Palmer, Sigma CEO

새로운 엔진과 새로운 컴퓨팅 모델

성능, 간소함, 거버넌스 이점 외에도 Lakehouse//RT는 팀의 의사 결정 부담을 덜어줍니다.

자동 크기 조정(AUTO sizing). 더 이상 티셔츠 사이즈를 선택할 필요가 없습니다. Databricks가 워크로드에 적합한 기본 컴퓨팅을 자동으로 결정하므로, 추측할 필요가 없으며 쿼리가 느려질 때 크기를 늘리거나 비용을 절감하기 위해 다시 크기를 줄이는 번거로운 과정이 사라집니다.

점진적 오토스케일링(Incremental autoscaling). 기존 데이터 웨어하우스는 전체 복사본을 2배, 3배, 4배로 실행하여 더 많은 동시성을 처리합니다. 수요가 약간만 증가해도 요금이 두 배로 늘어날 수 있습니다. Lakehouse//RT는 부하 변화에 따라 개별 노드를 추가하고 제거하는 방식으로 확장되므로, 필요한 만큼의 정확한 용량을 확보하고 사용한 만큼만 비용을 지불하게 됩니다.

실시간 워크로드를 한곳으로 통합하세요

Databricks는 현대적인 분석과 AI에 필요한 확장성과 개방성을 오랫동안 제공해 왔습니다. 이제 조직은 저지연 성능과 개방형 통합 데이터 아키텍처 중 하나를 선택할 필요가 없습니다. 더 파편화된 스택은 필요하지 않습니다. 더 유능한 데이터 웨어하우스가 필요할 뿐입니다.

Lakehouse//RT는 이제 일부 읽기 전용 워크로드에 대해 베타 버전으로 제공되며, 향후 몇 달 내에 더 많은 기능이 추가될 예정입니다. Databricks 어카운트 팀에 문의하여 시작하고 실시간 워크로드를 레이크하우스로 가져오세요. 출시 기념 혜택으로 2027년 1월까지 Lakehouse//RT 사용료가 30% 할인됩니다. 시작하신 후에는 웨어하우스 선택기에서 Lakehouse//RT를 선택하기만 하면 바로 시작할 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)