Lakebase Public Preview 발표

데이터 및 AI 서밋에서 우리는 지능형 애플리케이션을 구축하기 위한 새로운 범주의 운영 데이터베이스 인 레이크베이스를 소개했습니다. 오늘, 우리는 데이터 앱과 AI를 위해 구축된 첫 번째 완전 관리형 Postgres 데이터베이스인 Databricks Lakebase의 Public Preview를 발표하게 되어 기쁩니다. 

고객들은 운영 데이터와 분석 데이터를 결합하여 지능형 애플리케이션을 구축하고 있습니다: 기능과 모델을 제공하거나 독립적인 애플리케이션을 구축하거나 레이크하우스에서 운영 데이터를 분석합니다. 그러나 그들은 프로비저닝, 스케일링 및 데이터를 위한 현대 개발자 경험의 부재로 계속 투쟁하고 있습니다. 왜냐하면 데이터베이스는 지난 수십 년 동안 크게 혁신이 없었기 때문입니다. 

Lakebases는 AI 시대에 대한 해결책을 제공합니다. 이 블로그에서는 Databricks Lakebase의 주요 기능과 이점을 소개하고, 고객들이 어떻게 Lakebase를 현재 사용하고 있는지 개요를 제공하겠습니다.

Lakebase 소개

OLTP 데이터베이스는 90년대 이후로 본질적으로 변하지 않았습니다. 클라우드에 배포되어 있음에도 불구하고, 이 레거시 데이터베이스들은 제공하고 관리하는 데 느리고 비용이 많이 듭니다. 운영 데이터베이스는 일반적으로 분석 플랫폼과 별도의 스택에 배포되어, 트랜잭션 데이터와 분석 데이터 사이에 사일로를 생성합니다. 또한, 이러한 데이터베이스는 AI 개발에 필요한 현대적인 개발 워크플로우에 적합하지 않습니다. 전통적인 아키텍처는 일반적으로 개발, 테스트, 스테이징, 프로덕션 환경을 위한 별도의 데이터베이스를 포함하며 - 각각이 별도로 프로비저닝되고, 채워지며, 유지 관리됩니다.

Databricks Lakebase는 오픈 소스 표준에 기반을 둔 최초의 데이터베이스로, 컴퓨팅과 저장의 분리에 기반한 고도로 확장 가능한 아키텍처를 가지고 있으며, 현대의 애플리케이션 개발을 위해 특별히 설계되었습니다. Lakebase는 운영, 분석, AI 스택을 결합하기 쉽게 만들기 위해 레이크하우스에 깊게 통합되어 있습니다.

오픈 소스 Postgres를 기반으로 구축됨 

지난 7년 동안, Postgres는 개발자 커뮤니티에서 가장 인기 있는 데이터베이스가 되었으며, 현대 애플리케이션에 대한 사실상의 데이터베이스 선택이 되었습니다. 이것은 오픈 소스이며, 활발한 확장 생태계를 가지고 있으며, 강력한 라이브러리, 도구, 프레임워크의 커뮤니티에 의해 지원됩니다. 엔지니어들은 이미 이것을 다루는 방법을 알고 있으며, 모든 기본 모델은 Postgres 생태계에서 사용 가능한 대량의 데이터에 대해 훈련되어 있어, 지능형 애플리케이션과 에이전트에게 매우 접근하기 쉽습니다.

PostGIS와 pgvector와 같은 인기 있는 확장 기능을 지원하며, 드라이버와 도구의 광범위한 생태계를 통해 Lakebase는 개발 팀에게 친숙한 다양한 기능을 제공합니다. 

컴퓨트와 스토리지의 분리

Lakebase는 컴퓨트와 스토리지를 분리하는 아키텍처를 활용하여 독립적인 스케일링을 지원하면서 낮은 지연 시간 (<10ms)과 높은 동시성 트랜잭션 (>10k qps)을 지원합니다.

Lakebase는 Databricks에 의해 완전히 관리되므로, 프로비저닝하거나 유지할 인프라가 없습니다. 결과적으로, 이는 인프라와 개발 과정 모두에서 마찰을 제거하는 데이터베이스 서비스를 제공하여, 팀이 제어력이나 신뢰성을 손상시키지 않고 더 빠르게 움직일 수 있게 합니다.

• 읽기 가능한 보조 시스템을 통한 고가용성: 다중 영역 고가용성은 영역 실패에 대비하여 보조 컴퓨팅 자원을 영역 간에 할당함으로써 보호합니다. 보조 시스템은 선택적으로 읽기 가능하여 읽기 작업 부하의 격리와 수평 확장을 제공할 수 있습니다.
• 데이터 저장 및 복구: 모든 트랜잭션은 지역적으로 내구성이 있고 단일 영역 실패에 대해 보호되는 암호화된 저장소에 유지됩니다. 최대 35일의 복구 시간을 제공하는 데이터 보호 창을 통해 시점 복구가 가능합니다.
• 독립적인 테스트 환경 또는 특정 시점 복구를 위한 브랜치: Lakebase는 쓰기 시 복사 브랜치를 사용하여 데이터베이스의 즉시 복제본을 생성하고, 그 브랜치에서 작동하는 전용 컴퓨트를 함께 제공합니다. 자식 브랜치는 주 브랜치와 독립적으로 관리되며, 현재 시점의 부모 데이터를 기반으로 생성되거나, 이전 시점 또는 로그 시퀀스 번호(LSN)를 기반으로 생성될 수 있습니다. 이를 사용하여 프로덕션 데이터를 가진 독립적인 테스트 환경을 생성하거나 특정 시점 복구 작업을 수행할 수 있습니다.

현대적인 DevEx, AI를 위해 구축됨

Lakebase는 Neon 기술에 기반을 두고 있으며, 이는 복사-쓰기 분기 및 자동 확장 서버리스 컴퓨팅을 제공합니다. 복사-쓰기 분기는 기존 데이터베이스와 동일한 데이터와 스키마를 가진 새로운 데이터베이스를 즉시 생성할 수 있게 해주며, 이는 원본에 영향을 주지 않습니다. 이 새로운 데이터베이스는 기본 데이터를 중복하지 않기 때문에 경제적으로 효율적입니다. 서버리스 컴퓨팅 자동 확장은 초 단위의 시작 시간을 제공하며, 수요에 따라 확장되며, 제로까지의 확장이 비용 효율적인 컴퓨팅 활용을 가능하게 합니다.

결합된 서버리스 자동 스케일링 컴퓨팅과 브랜칭 기능은 애플리케이션 개발 패러다임을 완전히 바꿉니다. 개발자들은 각 git 브랜치에 맞는 데이터베이스 브랜치를 즉시 생성할 수 있으며, 새로운 데이터베이스 인스턴스를 세우거나, 개발 또는 테스트 환경을 위한 데이터 샘플링, 또는 여러 데이터베이스를 채우는 것에 대해 걱정할 필요가 없습니다.

개발자와 에이전트 모두에게 이는 일시적인 데이터베이스 환경을 거의 비용 없이, 거의 노력 없이 빠르게 생성, 사용, 폐기할 수 있다는 것을 의미합니다.

전체 Neon 개발자 경험과 Lakebase에서 많은 흥미로운 기능들이 곧 제공될 예정입니다.

레이크하우스와 통합

Lakebase는 트랜잭션 데이터베이스 계층을 레이크하우스와 통합하고 Databricks Platform의 운영 성숙도를 상속받아, 관찰 가능성, 보안, 접근 제어를 포함합니다. Lakebase는 Unity Catalog 관리 테이블과 동기화하여, 운영, 분석, AI 작업 부하를 사용자 정의 ETL 파이프라인 없이 빠르고 쉽게 결합할 수 있게 합니다. 결과적으로, 레이크하우스에서 생성된 기능이나 예측을 사용하는 지능형 애플리케이션을 구축하고, 신선한 운영 데이터로 분석 계층을 업데이트할 수 있습니다. 이 모든 것은 통합된 플랫폼 내에서 이루어집니다.

• 완전히 관리되는 데이터 동기화: 쉽게 구성할 수 있는 데이터 동기화 파이프라인은 Unity Catalog 관리 테이블과 Lakebase 사이의 데이터를 관리하는 간단하고 확장 가능한 방법을 제공합니다. 데이터 동기화 빈도 옵션에는 일회성 스냅샷, 트리거 또는 연속이 포함됩니다.
• 기능 및 모델 제공: Lakebase를 온라인 피처 스토어로, 레이크하우스를 훈련 및 분석을 위한 오프라인 스토어로 사용하여 애플리케이션에 머신러닝 기능과 모델을 제공합니다.
• 통합 거버넌스: Unity 카탈로그와 Databricks 아이덴티티와의 기본 통합을 활용하여 플랫폼 전반의 액세스 제어를 단순화하세요. Databricks 아이덴티티와 OAuth를 활용하여 운영 및 분석 사용자 간에 일관된 아이덴티티를 유지하세요. Unity 카탈로그에 Postgres 데이터베이스를 등록하여 분석 사용자를 위한 통합 거버넌스 및 액세스 제어를 제공하세요.
• Databricks 앱 통합: Lakebase를 이용하여 Databricks에서 전체 스택 애플리케이션을 구축하고 배포하세요. Databricks 앱은 Lakebase를 기본 리소스 유형으로 지원합니다.
• 통합 개발 환경: Databricks SQL Editor를 사용하여 Lakebase를 직접 쿼리하고 데이터를 탐색합니다.
• 내장 모니터링: 초당 트랜잭션 수, 열려 있는 연결 수, 리소스 사용률 등의 주요 데이터베이스 지표를 제공합니다.
• 네트워크 보안: Lakebase는 Databricks의 기업 네트워크 보안 기능, PrivateLink 및 IP ACL을 포함하여 일관된 네트워크 보안을 제공하도록 통합되어 있습니다.
• 멀티 클라우드: Lakebase는 플랫폼을 변경하지 않고 클라우드 제공업체 간에 사용할 수 있습니다. Public Preview에서 Lakebase는 Azure 와 AWS에서 사용할 수 있으며, 향후 Google Cloud Platform에 대한 지원이 추가될 예정입니다.

고객들은 Lakebase를 사용하고 있습니다.

사적인 미리보기 프로그램에 참여하는 수백 명의 고객들과 함께 다양한 사용 사례를 보는 것은 흥미롭습니다.

• 레이크하우스에서 데이터 및/또는 특징 제공 개인화된 추천이나 고객 세분화와 같은 애플리케이션을 위해,
• 애플리케이션 및 에이전트 구축 주문 처리, 대화형 워크플로우 승인 및 챗봇을 위한 것입니다.
• 레이크하우스에서 운영 데이터 분석 역사적 주문 분석이나 챗봇 이력을 훈련 데이터로 사용하기 위해 데이터를 레이크하우스로 동기화합니다.

Heineken에서는 최고로 연결된 양조업체가 되는 것이 목표입니다. 그러기 위해서는, 우리 모든 데이터셋을 통합하여 데이터에서 가치로의 경로를 가속화하는 방법이 필요했습니다. Databricks는 오랫동안 우리의 분석 기반으로, 제품 추천 및 공급 체인 개선과 같은 인사이트를 생성해 왔습니다. 우리의 분석 데이터 플랫폼은 이제 운영 AI 데이터 플랫폼으로 발전하고 있으며, 애플리케이션에 대한 인사이트를 저 지연 시간으로 제공해야 합니다.

—Jelle Van Etten, 글로벌 데이터 플랫폼 헤드, Heineken

Tibber에서는 고객이 에너지 소비를 통제할 수 있도록 유연한 데이터 인프라가 필요합니다. Lakebase와 Databricks의 통합은 분석 및 트랜잭션 데이터를 쉽게 제공하여 고객에게 실시간 인사이트를 제공하는 데 도움이 됩니다.

— Niklas Nordansjö, 데이터 플랫폼 리드, Tibber AS

강력한 파트너 네트워크는 Lakebase 고객이 기존 기술 파트너와 시스템 통합자와 함께 데이터 통합, 비즈니스 인텔리전스, 거버넌스 작업을 수행할 수 있도록 돕습니다. 우리는 Lakebase를 위한 업계 출시 파트너 그룹이 놀라운 것에 대해 기쁩니다.

dbt Labs에서는 데이터 엔지니어링이 어떻게 수행되는지를 바꾸고 있습니다. Databricks의 새로운 Lakebase를 사용하면, 공동 고객들은 이제 Databricks 플랫폼에서 저지연 트랜잭션 데이터와 분석 데이터를 하나로 결합할 수 있게 됩니다. 이것은 우리가 고객을 위해 기업 규모의 AI를 제공하는 데 도움이 될 것입니다. Databricks와 함께 새로운 분석 시대를 맞이하는 것을 기다릴 수 없습니다.

— Ryan Segar, Chief Product Officer, dbt Labs

요약

Lakebase는 Postgres의 친숙함과 확장성, 현대적인 서버리스 아키텍처의 확장성, 현대적인 개발자 경험, 레이크하우스의 통합 데이터 경험, 그리고 Databricks 데이터 인텔리전스 플랫폼의 운영 성숙도를 결합합니다. 이러한 요소들을 하나의 완전히 관리되는 제공물로 결합함으로써, Lakebase는 팀이 전통적으로 트랜잭션 시스템과 관련된 운영 복잡성 없이 지능적이고 데이터 중심의 애플리케이션을 구축할 수 있게 합니다.

Lakebase는 공개 미리보기에서 사용 가능하며 가격 정보는 여기에서 확인하실 수 있습니다. 분석과 AI를 포함한 애플리케이션을 구축하려는 경우, 이는 개발을 가속화하고 운영을 단순화하는 데 필요한 누락된 부분입니다. Workspace 또는 계정 관리자인 경우, Databricks 계정에서 직접 활성화 할 수 있습니다. 오늘 바로 시도해보세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)