Lakebase 휴일 업데이트

여름에 Lakebase의 Public Preview를 발표한 이후 수천 명의 Databricks 고객들은 Lakebase를 기반으로 데이터 인텔리전트 애플리케이션을 구축하여 애플리케이션 데이터 서빙, 특징점, 에이전트 메모리에 활용하는 한편, 해당 데이터를 분석 및 machine learning 워크플로와 긴밀하게 연계하고 있습니다.

연말을 맞이하여 흥미로운 새로운 개선 사항들을 출시하게 되어 매우 기쁩니다.

• 오토스케일링: 부하에 따라 compute를 동적으로 조정
• 0으로 자동 조정, 유휴 상태일 때 compute를 종료하고 수백 밀리초 내에 자동으로 재개합니다
• 즉시 프로비저닝 으로 몇 초 만에 새 데이터베이스 인스턴스 생성
• 즉각적인 데이터베이스 브랜칭, 격리된 COW(기록 중 복사) 환경으로 git과 유사한 워크플로를 지원하여 개발, 테스트, 스테이징을 수행할 수 있습니다
• 자동 백업 및 특정 시점 복구 로 빠른 복원과 더 안전한 운영이 가능합니다
• Postgres 17, 지속적인 Postgres 16 지원과 함께 제공
• 최대 8TB로 스토리지 용량 증가 대규모 프로덕션 워크로드용
• 일반적인 워크플로를 간소화하는 새로운 Lakebase UI

이러한 기능들은 OLTP 스토리지와 컴퓨팅을 분리하는 서버리스 데이터베이스 아키텍처인 lakebase 카테고리를 정의하는 데 있어 중요한 이정표입니다. 이는 Neon 인수를 통해 확보한 서버리스 Postgres 및 스토리지 기술과 Databricks의 엔터프라이즈급 멀티 클라우드 인프라를 결합하여 가능해졌습니다. 

동적 애플리케이션 워크로드를 위한 자동 확장

최신 애플리케이션 워크로드는 예측 가능한 트래픽 패턴을 따르는 경우가 거의 없습니다. 사용자 활동은 하루 종일 변동하며, 백그라운드 작업은 쓰기 폭증을 유발하고, 에이전트 기반 시스템은 동시성을 갑자기 급증시킬 수 있습니다. 기존 운영 데이터베이스는 팀이 수동으로 최대 사용량을 계획하고 용량을 조정해야 하므로 오버프로비저닝과 불필요한 복잡성을 초래하는 경우가 많습니다.

Lakebase는 스토리지 레이어와 compute 레이어를 분리하여 각각 독립적으로 확장할 수 있는 아키텍처를 기반으로 합니다. 이제 활성 워크로드 수요에 따라 compute를 동적으로 조정할 수 있는 compute 오토스케일링 기능을 출시합니다. 트래픽이 증가하면 compute가 확장되어 성능을 유지합니다. 활동이 줄어들면 compute 규모가 축소됩니다. 유휴 데이터베이스는 짧은 시간 동안 비활성 상태이면 일시 중단되고, 새 query가 도착하면 빠르게 재개됩니다. 프로덕션 및 개발 환경 모두에서 워크로드 수요에 맞게 compute가 동적으로 조정됩니다.

그 결과, 용량 관리에 드는 시간은 줄이고 애플리케이션 동작에 더 많은 시간을 집중할 수 있습니다.

빠른 startup 및 즉시 프로비저닝

새 데이터베이스를 생성하거나 유휴 데이터베이스를 재개하는 작업으로 인해 개발이 지연되어서는 안 됩니다. 이번 업데이트를 통해 새로운 Lakebase 데이터베이스가 몇 초 만에 프로비저닝되고, 트래픽이 다시 발생하면 중단된 인스턴스가 신속하게 재개됩니다. 이를 통해 필요에 따라 환경을 더 쉽게 구성하고, 개발 중에 반복 작업을 수행하며, 데이터베이스가 자주 생성되고 폐기되는 워크플로를 지원할 수 있습니다.

애플리케이션을 빌드하고 테스트하는 팀의 경우 더 빠른 startup은 마찰을 줄이고 반복 주기를 짧게 유지해 주며, 특히 브랜칭 및 오토스케일링과 결합할 때 더욱 그렇습니다.

더 빠르고 안전한 반복을 위한 브랜칭

프로덕션 애플리케이션을 구축하고 발전시키는 것은 끊임없는 변화를 의미합니다. 팀은 스키마 업데이트를 검증하고, 복잡한 문제를 디버그하며, 일관적인 데이터 뷰에 의존하는 CI 파이프라인을 실행합니다. 기존의 데이터베이스 클로닝은 전체 복사본이 느리고 많은 저장 공간을 차지하며 운영상 위험이 따르기 때문에 어려움을 겪습니다.

Lakebase 스토리지 서비스는 copy-on-write 브랜칭을 구현하며, 이제 이 기능을 데이터베이스 브랜칭으로 고객에게 제공합니다. Branch는 기본 스토리지를 공유하면서 격리된 상태를 유지하는 즉각적인 copy-on-write 환경입니다. 이를 통해 몇 초 만에 개발, 테스트, 스테이징 환경을 쉽게 생성하고 프로덕션 시스템에 영향을 주지 않고 애플리케이션 로직을 반복적으로 개선할 수 있습니다.

실제로 브랜칭은 개발 라이프사이클의 마찰을 줄여 팀이 자신감을 갖고 더 빠르게 개발을 진행하도록 돕습니다. (하지만 프로덕션 환경에서의 테스트는 여전히 권장하지 않습니다!)

자동화된 백업 및 특정 시점 복구 

모든 데이터 문제가 장애인 것은 아닙니다. 때로는 문제가 더 미묘할 수 있습니다. 예를 들어 시간이 지남에 따라 조용히 잘못된 데이터를 쓰는 버그, 예상과 다르게 작동하는 스키마 변경, 의도한 것보다 더 많은 행에 영향을 미치는 백필 스크립트 등이 있습니다. 이러한 문제는 팀이 분석, 보고 또는 다운스트림 애플리케이션 동작을 위해 과거 데이터를 사용해야 할 때가 되어서야 발견되는 경우가 많습니다.

기존 환경에서는 이와 같은 시나리오로부터 복구하는 과정이 매우 번거로울 수 있습니다. 정상으로 알려진 데이터 버전을 복구하기 위해 팀에서는 기록을 수동으로 재구성하거나, logs를 리플레이하거나, 임시 시스템을 구축해야 합니다. 이 과정은 시간이 많이 걸리고 오류가 발생하기 쉬우며, 데이터베이스에 대한 깊은 전문 지식이 필요한 경우가 많습니다.

이제 Lakebase를 통해 이러한 상황을 훨씬 더 쉽게 처리할 수 있습니다. 자동화된 백업 및 특정 시점 복구(point-in-time recovery) 기능을 통해 팀은 몇 초 내에 데이터베이스를 특정 시점으로 정확하게 복원할 수 있습니다. 이를 통해 애플리케이션 팀은 수동 재실행이나 복잡한 복구 워크플로 없이 애플리케이션 버그나 운영상의 오류로 인해 발생한 데이터 문제를 신속하게 복구할 수 있습니다.

대규모 프로덕션 워크로드 지원

복구 외에도 데이터양이 증가함에 따라 프로덕션 시스템도 성장할 공간이 필요합니다. 이번 업데이트를 통해 Lakebase는 지원되는 스토리지 용량을 이전 한도보다 4배 증가한 최대 8TB까지 확장하여 더 크고 까다로운 애플리케이션 워크로드에 적합하도록 개선되었습니다. 

Postgres 버전 지원 확대

이제 Lakebase는 기존의 Postgres 16을 계속 지원하는 동시에 Postgres 17도 지원합니다. 이를 통해 팀은 기존 애플리케이션과의 호환성을 유지하면서 최신 Postgres 개선 사항을 활용할 수 있습니다.

이러한 업데이트들을 통해 Lakebase는 Databricks에서 프로덕션급 운영 워크로드를 실행하기 위한 더 강력한 기반이 됩니다.

새로운 Lakebase UI로 더 간단해진 워크플로

이제 Lakebase에는 일상적인 워크플로들을 간소화하도록 설계된 새로워진 사용자 인터페이스가 포함됩니다. 향상된 default와 더 빠른 프로비저닝을 통해 데이터베이스 생성, Branch 관리, 용량 동작 이해가 더욱 간단해졌습니다. 이 새로운 UI는 새로운 Lakebase 자동 확장(autoscaling) 오퍼링의 앱 시작 관리자(App Launcher) 아이콘에서 액세스할 수 있습니다. 이전의 Lakebase 프로비저닝 오퍼링은 몇 주 내로 UI에 표시될 예정입니다. 

채택

앞서 언급했듯이, 수천 개의 Databricks 고객이 Lakebase를 기반으로 애플리케이션을 구축해 왔습니다. Lakebase는 Databricks Data Intelligence Platform에 완전히 통합되어 있으므로, 운영 데이터는 분석, AI, 애플리케이션 및 에이전틱(agentic) 워크플로를 지원하는 동일한 기반에 상주합니다. Unity Catalog는 일관된 거버넌스, 액세스 제어, 감사 및 데이터 리니지(data lineage)를 제공합니다. Databricks 앱과 에이전트 프레임워크는 Lakebase를 활용하여 실시간 상태와 과거의 컨텍스트를 통합할 수 있으므로 ETL이나 복제가 필요하지 않습니다.

실무자의 경우, 애플리케이션이 인텔리전스와 계속 연결되도록 여러 시스템을 복잡하게 관리할 필요 없이 운영 데이터와 분석 데이터가 일관되게 유지되는 통합 환경이 조성됩니다.

두 얼리 어답터의 후기입니다.

“Lakebase를 사용하면 에이전트 팀이 모델에 필요한 데이터가 과거의 클레임이든 실시간 트랜잭션이든 신속하게 셀프 서비스로 이용할 수 있으며, 이는 매우 강력한 기능입니다.” — Dragon Sky, 수석 아키텍트, Ensemble Health

“Lakebase는 애플리케이션 상태를 위한 내구성 있고 지연 시간이 짧은 저장소를 제공하므로, 데이터 앱이 빠르게 로드되고 원활하게 refresh되며 사용자 간 공유 페이지 Link까지 지원합니다.” — Bobby Muldoon, YipitData 엔지니어링 부사장

Lakebase의 다음 단계

이 새로운 기능은 현재 AWS us-east-1, us-west-2, eu-west-1에서 사용할 수 있으며 앞으로 몇 주에 걸쳐 더 많은 리전에 점진적으로 출시될 예정입니다. 제품 설명서 에서 자세한 내용을 알아보고 최신 기능을 사용해 보세요.

이번 업데이트는 Lakebase의 의미 있는 진전입니다. 하지만 저희는 안주하지 않습니다. 내년 연휴 이후 많은 흥미로운 업데이트를 기대해 주세요!

Lakebase 팀이 전하는 즐거운 연휴 인사!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)