Databricks Lakebase AWS 정식 버전(General Availability) 출시

대부분의 개발자는 컴퓨트과 스토리지를 긴밀하게 결합하는 기존 데이터베이스의 숨겨진 비용을 잘 알고 있습니다. 이러한 아키텍처는 팀이 빌드에 집중하는 대신 개발자 워크플로를 관리하기 위한 맞춤형 인프라를 구축하도록 유도하는 경우가 많습니다. 더 중요한 것은 위험한 리소스 충돌을 야기한다는 점입니다. 모든 쿼리가 동일한 고정 CPU 및 메모리 리소스를 두고 경쟁하기 때문에 단일 쿼리가 모든 실시간 운영에 영향을 미칠 수 있습니다.

이러한 제약 때문에 팀의 작업 속도가 느려지고 라이브 데이터 작업에 대한 위험이 커집니다. 애플리케이션이 더욱 자동화되고 시스템이 실시간으로 데이터를 처리하게 되면서, 이와 같은 공유되고 취약한 인프라는 훨씬 더 큰 부담이 됩니다.

이러한 아키텍처 병목 현상을 해결하기 위해 저희는 컴퓨트와 스토리지를 분리하는 운영 데이터베이스용 새로운 아키텍처인 lakebase 카테고리를 만들었습니다. 오늘, 이 카테고리의 첫 번째 구현인 Databricks 레이크베이스는 AWS에서 정식 출시(General Availability)되었으며, Azure에서는 베타로 제공된다는 소식을 전합니다.

수십 년 동안 운영 데이터와 분석 데이터를 분리하여 유지하는 데 따르는 아키텍처상의 부담은 기업의 혁신을 둔화시켰습니다. 스토리지 계층을 분리하고 데이터 레이크와 직접 통합함으로써 레이크베이스는 인프라를 유연한 온디맨드 서비스로 취급하는 새로운 종류의 운영 데이터베이스로 자리매김하고 있습니다. 고급 AI 역량을 구축하는 기업의 경우, 이는 데이터베이스가 수작업으로 인한 병목 현상을 일으킬 가능성이 적다는 것을 의미합니다. 이는 AI 개발 속도에 보조를 맞추기 위해 에이전트가 더 독립적으로 가동하고 관리할 수 있는 도구가 됩니다. 이는 데이터 이동과 중복을 줄이고 운영, 분석, AI 워크로드를 더 긴밀하게 통합하는 아키터처로의 광범위한 전환을 반영합니다.— Devin Pratt, IDC 리서치 디렉터

서버리스 관리형 Postgres로 더 빠르게 출시하세요

레이크베이스의 정식 출시는 프로덕션 애플리케이션에 필요한 가동 시간과 예측 가능한 성능을 갖춘 완전 관리형 serverless Postgres 서비스를 제공합니다. 컴퓨트와 스토리지를 분리하여 일반적으로 개발 속도를 늦추는 구성 및 리소스 관리 작업을 자동화합니다. 새로운 아키텍처는 과도한 쿼리를 처리하도록 자동으로 확장되고, 부하가 걸린 상태에서도 앱의 응답성을 유지하며, 팀이 프로덕션 환경을 위험에 빠뜨리지 않고 안전하게 테스트하고 개발할 수 있도록 즉시 데이터 브랜칭을 지원합니다. 2025년 6월 출시 이후, Databricks의 데이터 웨어하우징 제품보다 두 배 이상 빠른 속도로 도입이 증가했으며, 수천 개의 기업이 운영 데이터에서 직접 프로덕션 워크로드를 실행하고 있습니다.

현재 사용 가능한 주요 기능은 다음과 같습니다.

• 서버리스 오토스케일링(Serverless autoscaling) 및 제로 스케일링(scale to zero): 컴퓨트 리소스는 트래픽 급증에 맞춰 동적으로 조정되며, 유휴 상태에서는 완전히 종료되어 비용 낭비를 제거합니다.
• 즉시 데이터베이스 브랜칭: Lakebase는 즉시 데이터베이스 브랜칭을 제공하여 몇 초 만에 프로덕션 데이터의 격리된 제로 카피 클론을 생성할 수 있으며, 최신 업데이트에서는 제로 카피 COW 브랜칭을 통해 CI/CD 워크플로를 지원함으로써 안전하고 효율적인 테스트 및 개발 환경을 제공합니다.
• 특정 시점 복구 (PITR): 밀리초 수준의 복원으로 우발적인 삭제 또는 버그로부터 보호합니다.
• 통합 거버넌스: 전체 데이터 자산에 걸쳐 단일 보안 모델을 위해 Unity Catalog를 통해 액세스 제어 및 감사를 관리합니다.
• 테이블 동기화: 취약한 파이프라인을 유지 관리할 필요 없이 운영 데이터와 과거 레이크하우스 컨텍스트를 동기화 상태로 유지합니다.

지금 바로 Databricks 레이크베이스를 시작해 보세요

레이크베이스로 AI 에이전트 및 앱 구축하기

레이크베이스를 사용하면 운영 워크로드가 Databricks 플랫폼에서 직접 실행됩니다. 애플리케이션은 이미 분석 및 AI 분야에서 신뢰받고 있는 동일한 거버넌스, 보안 및 데이터 기반을 공유합니다. 관리할 사일로화된 데이터베이스도, 유지 관리할 별도의 액세스 제어도, 동기화를 유지하기 위한 데이터 이동도 없습니다.

이 공유 기반은 다음과 같은 일반적인 애플리케이션 패턴을 가능하게 합니다.

• 실시간 feature serving 으로 machine learning을 위해 최신 데이터에 짧은 지연 시간으로 액세스할 수 있습니다.
• 레이크하우스와 일관성을 유지하는 AI 에이전트를 위한 영구 메모리.
• 임베디드 분석: 운영 데이터와 과거 인사이트를 결합합니다.

Hafnia는 레이크베이스를 사용해 기존의 BI 스택과 정적 보고서에서 벗어나 선단, 상업, 재무 워크플로를 위한 실시간 비즈니스 애플리케이션으로 전환했습니다. 레이크베이스를 내부 운영 포털의 트랜잭션 엔진으로 사용하여 프로덕션 준비가 완료된 앱과 대시보드를 제공하는 데 걸리는 시간을 2개월에서 단 5일로 단축했습니다.

Warner Music Group과 같은 다른 회사들은 레이크베이스 덕분에 개발 효율성을 누렸습니다.

레이크베이스는 분석 워크로드와 운영 워크로드가 실시간으로 함께 작동하는 통합 기반을 제공합니다. 인사이트를 프로덕션 시스템으로 직접 이전함으로써 신뢰성을 저해하지 않으면서 더 빠르게 대응하고, 자신 있게 혁신하며, 새로운 기능을 출시할 수 있습니다. 이러한 속도와 통합은 저희가 고객 경험을 확장하는 데 매우 중요합니다. — Mike Jones, Warner Music Group 소프트웨어 엔지니어링 디렉터

엔터프라이즈 거버넌스 및 성능

레이크베이스가 정식 출시되면서 안정성, 성능, 거버넌스를 위한 프로덕션급 기능이 추가되었습니다.

• Unity Catalog를 통한 통합 거버넌스: 애플리케이션은 Databricks 플랫폼 전반에 걸쳐 일관된 액세스 제어, 감사, 규정 준수를 상속받습니다.
• AI를 위한 신뢰할 수 있는 기반: 거버넌스가 적용되고 감사 가능한 운영 데이터는 자율 AI 시스템이 신뢰할 수 있고 규정을 준수하는 정보에 따라 작동하도록 보장합니다.
• 자동화된 백업 및 특정 시점 복구 를 통해 팀은 구성 가능한 보존 기간 내에서 데이터베이스 상태를 특정 밀리초로 복원하여 애플리케이션 버그 또는 우발적인 삭제로부터 데이터를 보호할 수 있습니다.
• 향상된 스토리지 용량 인스턴스당 최대 8TB를 지원하여 더 큰 애플리케이션 워크로드를 처리할 수 있습니다.
• Postgres 17 지원 은 Postgres 16을 계속 지원하면서 AI 기반 검색을 위한 pgvector를 비롯한 최신 Postgres 개선 사항과 확장 기능을 제공합니다.

이러한 기능들을 통해 레이크베이스는 안정성과 성능에 대한 요구 수준이 높은 미션 크리티컬 시스템에 적합합니다.

레이크베이스로 레거시 시스템을 현대화하세요.

많은 조직이 발전시키기 어려운 노후화된 데이터베이스와 데스크톱 도구를 사용하여 중요한 애플리케이션을 실행하고 있습니다. 이를 교체하려면 전체 스택을 재구축하거나 수년 동안 병렬 시스템을 운영해야 하는 경우가 많습니다.

레이크베이스는 단일 플랫폼에서 애플리케이션 로직, 분석 및 거버넌스를 통합하여 더 간단한 현대화 경로를 제공합니다.

easyJet은 레이크베이스와 Databricks Apps를 사용하여 10년 된 데스크톱 애플리케이션과 유럽 최대 규모의 레거시 SQL Server 환경 중 하나를 교체했습니다. 100개 이상의 Git 리포지토리를 2개로 통합하고 개발 주기를 9개월에서 4개월로 단축했습니다.

기존 레거시 시스템은 한계에 도달했지만 Databricks Data Intelligence Platform, 특히 레이크베이스와 Databricks Apps를 통해 더 빠르고 간단하며 훨씬 더 안정적인 수익 관리 앱을 구축했습니다. 한때 몇 달이 걸렸던 작업이 이제는 훨씬 짧은 시간에 완료되어 상업적 의사 결정을 위한 기반을 마련하고, 저희 팀이 데이터 기반의 현대적인 항공사처럼 분석하고, 결정하고, 행동할 수 있도록 지원합니다. — Dennis Michon, easyJet 데이터 제품 책임자

오늘 바로 사용해 보세요

정식 버전(GA) 출시와 함께 레이크베이스는 AI 네이티브 시대의 운영 시스템을 위한 새로운 기반을 마련합니다. 오늘부터 레이크베이스는 일부 AWS 리전에서 프로덕션 워크로드용으로 사용할 수 있으며, 일부 Azure 리전에서는 베타 버전으로 제공됩니다. 앞으로 몇 달 안에 Azure로, 그리고 올해 후반에는 Google Cloud로 GA를 빠르게 확장할 예정입니다. SOC2 및 HIPAA를 포함한 규정 준수 인증도 올해 초 로드맵에 포함되어 있습니다.

몇 분 만에 레이크베이스를 시작해 보세요. 첫 프로젝트를 만들고 데이터베이스에 연결하여 주요 기능을 살펴보세요. 시작하려면 기술 문서 와 시작 가이드를 확인하세요.

레이크베이스 GA는 개발 중에 Databricks와 긴밀히 협력하고 실제 프로덕션 환경에서 레이크베이스를 검증한 파트너의 검증된 통합과 함께 제공됩니다. GA 파트너 에코시스템에 대한 자세한 내용은 관련 블로그 여기에서 확인하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)