Lakebase 공개 미리 보기 발표

Data and AI Summit에서 지능형 애플리케이션 구축을 위한 운영 데이터베이스의 새로운 범주인 lakebase를 소개했습니다. 오늘날 저희는 데이터 앱 및 AI를 위해 구축된 최초의 완전 관리형 Postgres 데이터베이스인 Databricks Lakebase의 공개 미리 보기 버전을 발표하게 되어 기쁩니다. 

고객들은 운영 데이터와 분석 데이터를 결합하여 지능형 애플리케이션을 구축하고 있습니다. 즉, 기능 및 모델 제공, 독립형 애플리케이션 구축 또는 lakehouse에서 운영 데이터 분석을 수행하고 있습니다. 하지만 지난 수십 년간 데이터베이스에는 큰 혁신이 없었기 때문에 프로비저닝, 확장 및 현대적인 개발 경험 부족으로 계속 어려움을 겪고 있습니다. 

Lakebase는 AI 시대를 위한 솔루션을 제공합니다. 이 블로그에서는 주요 Databricks Lakebase 기능과 이점을 소개하고 고객이 현재 Lakebase를 어떻게 사용하고 있는지 간략하게 설명하겠습니다.

Lakebase 소개

OLTP 데이터베이스는 90년대 이후 근본적으로 변하지 않았습니다. 클라우드에 배포되더라도 이러한 레거시 데이터베이스는 프로비저닝 및 관리가 느리고 비용이 많이 듭니다. 운영 데이터베이스는 일반적으로 분석 플랫폼과 별도의 스택에 배포되어 트랜잭션 데이터와 분석 데이터 간의 사일로를 생성합니다. 또한 이러한 데이터베이스는 AI 개발에 필요한 현대적인 개발 워크플로에 적합하지 않습니다. 기존 아키텍처는 일반적으로 개발, 테스트, 스테이징 및 프로덕션 환경에 대해 별도의 데이터베이스를 포함하며, 각 환경은 별도로 프로비저닝, 채우기 및 유지 관리됩니다.

Databricks Lakebase는 개방형 소스 표준을 기반으로 구축된 최초의 데이터베이스로, 컴퓨팅과 스토리지를 분리한 고도로 확장 가능한 아키텍처를 기반으로 하며 현대적인 애플리케이션 개발을 위해 특별히 설계되었습니다. Lakebase는 lakehouse에 깊이 통합되어 운영, 분석 및 AI 스택을 더 쉽게 결합할 수 있습니다.

개방형 소스 Postgres 기반

지난 7년 동안 Postgres는 개발자 커뮤니티에서 가장 인기 있는 데이터베이스가 되었으며 현대적인 애플리케이션을 위한 사실상의 데이터베이스 선택이 되었습니다. 개방형 소스이며 확장 기능의 활발한 생태계를 갖추고 있으며 라이브러리, 도구 및 프레임워크의 강력한 커뮤니티 지원을 받습니다. 엔지니어는 이미 이를 다루는 방법을 알고 있으며, 모든 기본 모델은 Postgres 생태계에서 사용할 수 있는 방대한 양의 데이터로 학습되므로 지능형 애플리케이션 및 에이전트에 매우 쉽게 액세스할 수 있습니다.

PostGIS 및 pgvector와 같은 인기 있는 확장 기능과 광범위한 드라이버 및 도구 생태계를 지원하는 Lakebase는 개발 팀에게 친숙한 풍부한 기능 세트를 제공합니다. 

컴퓨팅 및 스토리지 분리

Lakebase는 컴퓨팅과 스토리지를 분리하는 아키텍처를 활용하여 독립적인 확장을 지원하면서도 낮은 지연 시간(<10ms) 및 높은 동시성 트랜잭션(>10k qps)을 지원합니다.

Lakebase는 Databricks에서 완전히 관리하므로 프로비저닝하거나 유지 관리할 인프라가 없습니다. 그 결과 인프라 및 개발 프로세스의 마찰을 제거하는 데이터베이스 서비스로, 팀은 제어 또는 안정성을 저하시키지 않고 더 빠르게 이동할 수 있습니다.

• 읽기 가능한 복제본을 통한 고가용성: 다중 영역 고가용성은 영역 간 복제본 컴퓨팅 리소스를 프로비저닝하여 영역 장애로부터 보호합니다. 복제본은 선택적으로 읽기 가능하여 읽기 워크로드의 격리 및 수평 확장을 제공할 수 있습니다.
• 데이터 스토리지 및 복구: 모든 트랜잭션은 지역적으로 내구성이 있고 단일 영역 장애로부터 보호되는 암호화된 스토리지에 영구 저장됩니다. 시점 복구는 최대 35일의 복구 시간을 제공하는 데이터 보호 창을 통해 사용할 수 있습니다.
• 격리된 테스트 환경 또는 시점 복구를 위한 브랜칭: Lakebase는 복사 후 쓰기 브랜칭을 사용하여 데이터베이스의 즉각적인 제로 복사 클론을 생성하고 해당 브랜치에서 작동할 전용 컴퓨팅을 제공합니다. 자식 브랜치는 기본 부모 브랜치와 독립적으로 관리되며, 현재 시점 또는 이전 시점 또는 로그 시퀀스 번호(LSN)의 데이터를 기반으로 생성될 수 있습니다. 이는 프로덕션 데이터를 사용하여 격리된 테스트 환경을 만들거나 시점 복구 작업을 수행하는 데 사용할 수 있습니다.

AI를 위해 구축된 현대적인 DevEx

Lakebase는 복사 후 쓰기 브랜칭 및 자동 확장 서버리스 컴퓨팅을 제공하는 Neon 기술을 기반으로 구축되었습니다. 복사 후 쓰기 브랜칭을 사용하면 기존 데이터베이스와 동일한 데이터 및 스키마를 가진 새 데이터베이스를 원본에 영향을 주지 않고 즉시 생성할 수 있습니다. 이 새 데이터베이스는 기본 데이터를 복제하지 않으므로 경제적입니다. 서버리스 컴퓨팅 자동 확장은 1초 미만의 시작 시간을 제공하며 수요에 따라 확장되며 제로 확장으로 비용 효율적인 컴퓨팅 활용이 가능합니다.

결합된 컴퓨팅의 서버리스 자동 확장 및 브랜칭 기능은 애플리케이션의 개발 패러다임을 완전히 바꿉니다. 개발자는 각 git 브랜치에 맞게 데이터베이스 브랜치를 즉시 생성할 수 있으며 새로운 데이터베이스 인스턴스를 설정하거나 개발 또는 테스트 환경을 위해 데이터를 샘플링하거나 여러 데이터베이스를 채우는 것에 대해 걱정할 필요가 없습니다.

개발자와 에이전트 모두에게 이는 임시 데이터베이스 환경을 거의 비용과 노력 없이 신속하게 생성, 사용 및 폐기할 수 있음을 의미합니다.

Lakebase의 전체 Neon 개발 환경과 더 많은 흥미로운 기능이 곧 제공될 예정입니다.

lakehouse와 통합

Lakebase는 트랜잭션 데이터베이스 계층을 lakehouse와 통합하고 Databricks Platform의 운영 성숙도(관찰 가능성, 보안 및 액세스 제어 포함)를 상속합니다. Lakebase는 Unity Catalog 관리 테이블과 동기화되어 사용자 지정 ETL 파이프라인 없이 운영, 분석 및 AI 워크로드를 빠르고 쉽게 결합할 수 있습니다. 결과적으로 lakehouse 내에서 생성된 기능 또는 예측을 소비하고 통합 플랫폼 내에서 신선한 운영 데이터로 분석 계층을 업데이트하는 지능형 애플리케이션을 구축할 수 있습니다.

• 완전 관리형 데이터 동기화: 구성하기 쉬운 데이터 동기화 파이프라인은 Unity Catalog 관리 테이블과 Lakebase 간의 데이터를 관리하는 간단하고 확장 가능한 방법을 제공합니다. 데이터 동기화 빈도 옵션에는 일회성 스냅샷, 트리거 또는 연속이 포함됩니다.
• 기능 및 모델 제공: Lakebase를 온라인 기능 저장소로, lakehouse를 학습 및 분석을 위한 오프라인 저장소로 사용하여 애플리케이션에 대한 기계 학습 기능 및 모델을 제공합니다.
• 통합 거버넌스: Unity Catalog 및 Databricks ID와의 기본 통합을 활용하여 플랫폼 전체의 액세스 제어를 간소화합니다. Databricks ID 및 OAuth를 활용하여 운영 및 분석 사용자 간에 일관된 ID를 유지합니다. 분석 사용자를 위한 통합 거버넌스 및 액세스 제어를 제공하기 위해 Unity Catalog에 Postgres 데이터베이스를 등록합니다.
• Databricks Apps 통합: Lakebase를 사용하여 트랜잭션 상호 작용을 지원하는 Databricks에서 전체 스택 애플리케이션을 구축하고 배포합니다. Databricks Apps는 Lakebase를 기본 리소스 유형으로 지원합니다.
• 통합 개발 환경: Databricks SQL 편집기를 사용하여 Lakebase를 직접 쿼리하고 데이터를 탐색할 수 있습니다.
• 내장 모니터링: 초당 트랜잭션 수, 열린 연결 수, 리소스 사용률과 같은 주요 데이터베이스 메트릭을 제공합니다.
• 네트워크 보안: Lakebase는 PrivateLink 및 IP ACL을 포함한 Databricks의 엔터프라이즈 네트워크 보안 기능과 통합되어 일관된 네트워크 보안을 제공합니다.
• 멀티 클라우드: Lakebase는 재플랫폼화 없이 클라우드 공급자 전체에서 사용할 수 있습니다. 공개 미리 보기에서 Lakebase는 Azure 및 AWS에서 사용할 수 있으며, 향후 Google Cloud Platform 지원이 추가될 예정입니다.

고객이 Lakebase를 사용하는 방법

비공개 미리 보기 프로그램에 수백 명의 고객이 참여하면서 다음과 같은 다양한 사용 사례를 보게 되어 흥미로웠습니다.

• 개인화된 추천 또는 고객 세분화와 같은 애플리케이션을 위한 lakehouse에서 데이터 및/또는 기능 제공
• 주문 처리, 대화형 워크플로 승인 및 챗봇을 위한 애플리케이션 및 에이전트 구축.
• 과거 주문 분석 또는 학습 데이터를 위한 챗봇 기록을 위해 데이터를 lakehouse로 동기화하여 lakehouse에서 운영 데이터 분석.

Heineken의 목표는 최고의 연결성을 갖춘 양조업체가 되는 것입니다. 이를 위해 모든 데이터 세트를 통합하여 데이터에서 가치 창출까지의 경로를 가속화할 방법이 필요했습니다. Databricks는 오랫동안 분석의 기반이 되어 제품 추천 및 공급망 개선과 같은 인사이트를 만들어 왔습니다. 이제 저희의 분석 데이터 플랫폼은 운영 AI 데이터 플랫폼으로 진화하고 있으며, 이러한 인사이트를 저지연으로 애플리케이션에 제공해야 합니다. — Jelle Van Etten, Heineken 글로벌 데이터 플랫폼 총괄

Tibber에서 고객이 에너지 소비를 제어할 수 있도록 지원하려면 유연한 데이터 인프라가 필요합니다. Lakebase와 Databricks의 통합은 분석 및 트랜잭션 데이터를 쉽게 제공하여 고객에게 실시간 인사이트를 제공하는 데 도움이 됩니다. — Niklas Nordansjö, Tibber AS 데이터 플랫폼 리드

강력한 파트너 네트워크는 Lakebase 고객이 데이터 통합, 비즈니스 인텔리전스 및 거버넌스를 위해 기존 기술 파트너 및 시스템 통합업체와 협력하도록 지원합니다. 저희는 Lakebase를 위한 훌륭한 업계 출시 파트너 그룹을 확보하게 되어 기쁩니다.

dbt Labs에서는 데이터 엔지니어링 방식을 바꾸고 있습니다. Databricks의 새로운 Lakebase를 통해 저희 공동 고객은 이제 저지연 트랜잭션 데이터와 분석 데이터를 Databricks의 단일 플랫폼에서 결합할 수 있게 될 것입니다. 이를 통해 저희는 고객을 위해 엔터프라이즈 규모의 AI를 제공할 수 있습니다. Databricks와 함께 분석의 새로운 시대를 열기를 기대합니다. — Ryan Segar, dbt Labs 최고 제품 책임자

요약

Lakebase는 Postgres의 친숙함과 확장성, 최신 서버리스 아키텍처의 확장성, 최신 개발자 경험을 레이크하우스의 통합 데이터 경험 및 Databricks Data Intelligence Platform의 운영 성숙도와 결합합니다. 이러한 요소를 단일의 완전 관리형 서비스로 결합함으로써 Lakebase는 팀이 트랜잭션 시스템과 관련된 전통적인 운영 복잡성 없이 지능형 데이터 기반 애플리케이션을 구축할 수 있도록 지원합니다.

Lakebase는 Public Preview로 제공되며 가격 정보는 여기에서 확인할 수 있습니다. 분석 및 AI를 통합하는 애플리케이션을 구축하려는 경우, 개발을 가속화하고 운영을 단순화할 준비가 된 스택의 누락된 조각입니다. 워크스페이스 또는 계정 관리자인 경우 Databricks 워크스페이스에서 직접 사용 설정할 수 있습니다. 지금 바로 사용해 보세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)