프로비저닝을 넘어서: Databricks Lakebase 자동 스케일링 개발자 가이드

데이터베이스를 프로비저닝할 때 두 가지 선택지가 있습니다.

• 과잉 프로비저닝: 최악의 시나리오에 대비하여 compute를 높게 설정하고 유휴 CPU에 대해 과도한 비용을 지불합니다
• 과소 프로비저닝: compute를 낮게 설정하여 지금 당장 비용을 절약할 수 있지만, 나중에 워크로드 급증 시 시스템이 마비될 수 있습니다

이것이 바로 '프로비저닝 패러독스'이며, 프로덕션 데이터베이스를 관리해 본 적이 있다면 이 문제에 직면해 보셨을 겁니다.

수년 동안 우리는 이것을 관계형 데이터베이스를 사용하는 데 드는 비용으로만 여겨왔습니다. 하지만 Databricks Lakebase가 도입되고, 서버리스 Postgres 가 Databricks 와 통합되면서 판도가 바뀌었습니다.우리는 고정 크기의 "always-on" 인스턴스에서 벗어나 더 지능적이고 탄력적인 모델인 자동 확장(Autoscaling)으로 전환했습니다.

이 게시물에서는 Lakebase 자동 확장이 실제로 어떻게 작동하는지, 왜 최신 개발자 워크플로에 필수적인지, 그리고 인프라를 관리하는 대신 기능 구축에 집중할 수 있도록 가드레일을 구성하는 방법에 대해 자세히 알아보겠습니다.

Lakebase 자동 확장이란 무엇인가요?

Lakebase Autoscaling은 애플리케이션의 즉각적인 요구사항에 맞춰 데이터베이스 크기를 조정하는 지능형 compute 모델입니다.

데이터베이스의 올바른 크기는 애플리케이션에 필요한 만큼입니다. 데이터베이스 compute는 고정된 크기로 제한되는 정적인 방식이 아니라 반응형이어야 합니다. 자동 확장을 사용하면 데이터베이스에 할당하려는 리소스의 범위를 정의할 수 있습니다. 그러면 시스템이 현재 부하에 따라 데이터베이스에서 사용 가능한 compute 양을 동적으로 조정합니다.

Lakebase에서는 이를 컴퓨팅 단위(CU)라는 추상화를 통해 처리합니다. 오토스케일링은 1 CU가 2GB의 메모리를 할당하는 세분화된 접근 방식을 사용합니다. 이를 통해 시스템이 더 작고 정밀한 증분으로 확장할 수 있으므로 성능과 비용을 모두 더 세밀하게 제어할 수 있습니다.

메커니즘: 확장 알고리즘의 작동 방식

오토스케일링이 원시 CPU 사용량만 확인한다고 가정하기 쉽지만 Lakebase는 그보다 더 스마트합니다. 애플리케이션 성능이 저하되지 않도록 오토스케일링 알고리즘은 세 가지 핵심 기술 요소를 모니터링합니다.

1. CPU 부하

가장 직관적인 지표입니다. 애플리케이션이 복잡한 조인을 실행하기 시작하거나 동시 요청 볼륨이 증가하면, 시스템은 프로세서 사용량 급증을 감지하고 더 많은 CU를 추가하여 쿼리 지연 시간을 낮게 유지합니다.

2. 메모리 사용량

관계형 데이터베이스는 메모리 사용량이 많기로 악명 높습니다. 이 메트릭은 활성 프로세스와 버퍼가 소비하는 메모리 양을 추적합니다. Lakebase는 메모리를 모니터링하여 세션이 충돌하기 전에 Out of Memory(OOM) 문제를 방지하도록 확장함으로써, 과부하 상태에서도 일관된 가용성을 보장합니다.

3. 작업 집합 크기

이것은 아마도 가장 중요한 전문가 수준의 메트릭일 것입니다. 워킹 세트는 자주 액세스되며 캐시에서 "활성(hot)" 상태로 유지되어야 하는 데이터의 일부입니다. 워킹 세트가 현재 할당된 RAM보다 커지면 데이터베이스는 데이터를 디스크로 "스왑"해야 하며, 이는 훨씬 더 느립니다. Lakebase는 사용자의 워킹 세트 크기를 예측하고 compute를 확장하여 "활성(hot)" 데이터가 고속 메모리에 유지되도록 합니다.

이 접근 방식의 장점은 재시작 없이 모든 작업이 이루어진다는 것입니다. 데이터베이스 연결은 계속 열려 있고 애플리케이션은 응답성을 유지하며, 그동안 기본 인프라는 트래픽에 유연하게 적응합니다.

가드레일 구성: 최소 및 최대 CU

자동 확장이 무한한 리소스나 무한한 요금 청구를 의미하는 것은 아닙니다. 개발자로서 성능 하한과 비용 상한을 제어해야 합니다. 이를 위해 확장 범위를 설정합니다.

스케일링 경계 정의

Lakebase compute 인스턴스를 구성할 때 두 가지 기본값을 설정하게 됩니다.

• 최소 CU: 기준이 되는 값입니다. 트래픽이 적은 기간에도 데이터베이스가 관리 작업이나 백그라운드 작업에 신속하게 응답할 수 있도록 보장합니다.
• 최대 CU: 예산을 위한 안전망입니다. 런어웨이 프로세스, 재귀 쿼리 버그 또는 예기치 않은 트래픽 급증으로 인해 승인한 한도를 초과하여 비용이 확장되는 것을 방지합니다.

중요 경계 참고 사항: 예측 가능하고 응답성이 뛰어난 확장을 위해 Lakebase에서는 최대 및 최소 compute 크기의 차이가 8CU를 초과하지 않도록(예: 2~10CU 범위) 규정하고 있습니다. Lakebase 자동 확장은 최대 32CU의 범위를 지원합니다. 지속적으로 더 많은 성능이 필요한 워크로드의 경우 더 큰 고정 크기 compute도 사용할 수 있습니다.

실제 사례: 오토스케일링이 효과적인 경우

1. AI 에이전트 및 대화형 앱 워크로드

Databricks에서 AI 기반 애플리케이션이나 자율 에이전트를 빌드하는 경우 트래픽 패턴이 거의 선형적이지 않습니다. 에이전트는 몇 시간 동안 유휴 상태로 있다가 복잡한 프롬프트를 처리하거나 새 데이터세트를 수집할 때 갑자기 대규모 query 체인을 trigger할 수 있습니다.

오토스케일링은 인프라를 "미리 준비(pre-warm)"할 필요 없이 데이터베이스가 이러한 갑작스러운 활동 급증을 처리하도록 보장합니다. 에이전트가 작업을 완료하면 데이터베이스가 자동으로 축소되어 프로젝트 예산을 보호합니다.

2. 개발, 테스트 및 브랜칭

Lakebase의 최신 데이터베이스 워크플로는 종종 데이터베이스 브랜칭을 포함하는데, 이는 특정 기능이나 PR을 위해 격리된 COW(기록 중 복사) 환경을 만드는 기능입니다.

이러한 개발 브랜치의 대부분은 90%의 시간 동안 유휴 상태입니다. 자동 확장을 사용하면 이러한 환경은 사용하지 않을 때 최소 CU를 유지합니다. 하지만 CI/CD 파이프라인이 부하가 큰 통합 테스트를 실행하기 시작하거나 개발자가 수동 데이터 검증을 시작하는 즉시, 환경은 즉시 확장되어 프로덕션 수준의 성능을 제공합니다.

Scale to Zero의 이점

자동 확장은 활성 시간을 처리하지만, 업무 시간이 끝나면 어떻게 될까요?

바로 이 지점에서 스케일 투 제로(scale to zero) 가 최고의 비용 최적화 도구가 됩니다. 자동 확장과 함께 활성화하면 Lakebase는 완전히 비활성 상태인 기간을 감지할 수 있습니다. 15분 동안 쿼리가 없는 경우 등 사용자가 정의한 타임아웃 시간이 지나면 compute 인스턴스가 완전히 중단됩니다.

• compute 비용 제로: 인스턴스가 일시 중단된 동안 compute 요금은 0이 됩니다.
• 즉시 재시작: 새로운 연결이나 query가 도착하는 즉시 데이터베이스가 사용자가 정의한 최소 자동 확장 크기로 즉시 재개됩니다.

업무 시간에만 사용되는 개발 환경이나 내부 대시보드의 경우, 이 조합으로 월간 compute 비용을 70% 이상 절감할 수 있습니다.

현대 개발자들이 Lakebase로 전환하는 이유

자동 확장으로의 전환은 비용 효율성만큼이나 운영의 단순성도 중요합니다.

• 수동 크기 조정 없음: CPU 사용량이 80%에 도달했을 때 Grafana 보드를 확인하고 수동으로 인스턴스 크기를 조정할 필요가 없습니다.
• 예측 가능한 성능: Lakebase는 작업 집합과 메모리 사용량을 모니터링하여 사용자가 속도 저하를 체감하기 전에 확장됩니다.
• 세분화된 제어: CU당 2GB 모델을 사용하면 약간의 RAM을 추가하기 위해 인스턴스 크기와 요금을 두 배로 늘려야 하는 기존 클라우드 제공업체와 달리 훨씬 더 세밀하게 조정할 수 있습니다.

결론

추측에 의존하여 데이터베이스 크기를 조정하던 시대는 끝났습니다. Databricks Lakebase Autoscaling을 활용하여 파트타임 시스템 관리자 역할에서 벗어나 중요한 것, 즉 코드와 데이터에만 집중할 수 있습니다.

경계를 설정하고 개발 브랜치에 대해 '0으로 스케일링'을 활성화한 후, Lakebase 알고리즘이 힘든 작업을 처리하도록 하세요. 사용자와 이해관계자들이 여러분에게 감사할 것입니다.

시작할 준비가 되셨나요?

Lakebase 오토스케일링 설명서 에서 오늘 첫 오토스케일링 compute 인스턴스를 구성하는 방법을 자세히 알아보세요.

자주 묻는 질문 (FAQ)

자동 확장(Autoscaling)이란 무엇인가요? 자동 확장(Autoscaling)은 애플리케이션 요구사항에 맞춰 데이터베이스 크기를 보장하는 지능형 컴퓨트 모델입니다. 고정 크기 인스턴스에서 벗어나 현재 부하에 따라 데이터베이스에 제공되는 compute를 조정하는 탄력적인 모델로 전환됩니다.

오토스케일링의 주요 목표는 무엇인가요? 주요 목표는 개발자가 전통적으로 유휴 CPU에 대한 과다 지불과 워크로드 급증 시 시스템 장애 위험 사이에서 선택해야 했던 프로비저닝 역설을 해결하는 것입니다. 이를 통해 데이터베이스 compute가 정적 크기에 제약받지 않고 반응적으로 정확한 크기로 조정될 수 있습니다.

자동 확장을 사용하면 어떤 이점이 있나요? 수동으로 크기를 조정할 필요가 없어 운영이 간편해지고, 메모리와 워킹 세트를 사전에 모니터링하여 예측 가능한 성능을 확보하는 등의 이점이 있습니다. 또한 CU당 2GB의 세분화된 모델은 더 많은 RAM을 위해 인스턴스 크기를 두 배로 늘려야 하는 다른 공급업체에 비해 더 세밀한 비용 및 성능 튜닝을 가능하게 합니다.

자동 확장은 용량을 어떻게 동적으로 관리하나요? 용량은 Compute Unit이라는 세분화된 추상화를 통해 관리되며, 하나의 단위는 2GB의 메모리를 할당합니다. 시스템은 데이터베이스를 다시 시작하지 않고도 이러한 단위를 추가하거나 제거하여 기본 인프라가 적응하는 동안 연결이 열린 상태로 유지되도록 보장합니다.

자동 확장은 클라우드 확장성을 어떻게 향상시키나요? 자동 확장은 데이터베이스가 수동 사전 워밍업 없이 갑작스러운 활동 급증을 처리할 수 있게 하여 확장성을 향상시킵니다. 이러한 탄력성 덕분에 인프라는 과중한 작업 중에는 프로덕션급 성능을 위해 확장되고, 작업이 끝나면 예산을 보호하기 위해 자동으로 다시 축소될 수 있습니다.

Lakebase 자동 확장은 어떤 측정 항목을 모니터링하나요? 이 알고리즘은 낮은 query 지연 시간 유지를 위한 CPU 부하, 메모리 부족 문제 방지를 위한 메모리 사용량, 자주 액세스하는 데이터가 캐시에 유지되도록 하기 위한 작업 집합 크기라는 세 가지 주요 기술 요소를 모니터링합니다.

Lakebase의 Compute Unit(CU)이란 무엇인가요? Compute Unit은 Lakebase에서 확장 범위를 정의하는 데 사용되는 세분화된 리소스 추상화입니다. 각 개별 단위는 정확히 2GB의 메모리를 제공합니다.

Lakebase 자동 확장에서 지원하는 최대 CU 범위는 무엇인가요? Lakebase 자동 확장은 최대 32CU까지의 범위를 지원합니다. 해당 범위 내에서 시스템은 사용자가 정의한 최소 CU와 최대 CU 간의 차이가 8CU를 초과하지 않도록 요구합니다.

Lakebase에서 제로 스케일링은 어떻게 작동하나요? 제로 스케일링은 전체 비활성 기간을 감지하고 사용자가 정의한 시간 초과 후 컴퓨팅 인스턴스를 완전히 일시 중단합니다. 새 연결이나 쿼리가 도착하면 데이터베이스가 정의된 최소 오토스케일링 크기로 다시 시작됩니다.

Lakebase의 오토스케일링과 Scale to Zero의 차이점은 무엇인가요? 오토스케일링은 활성 시간 동안 변동하는 수요에 맞춰 설정된 범위 내에서 compute 크기를 조정합니다. Scale to Zero는 비활성 기간에 쿼리가 없을 때 인스턴스를 완전히 중단하여 compute 비용을 제거합니다.

Lakebase Autoscaling을 데이터베이스 브랜칭과 함께 사용할 수 있나요? Autoscaling은 기능별로 격리된 환경이 유휴 상태일 때 최소 CU로 유지되도록 하므로 데이터베이스 브랜칭에 매우 유용합니다. 이러한 브랜치된 환경은 개발자가 유효성 검사를 시작하거나 CI/CD 파이프라인이 테스트를 실행할 때마다 확장되어 프로덕션 수준의 성능을 제공합니다.

자동 확장을 사용하려면 데이터베이스를 재시작해야 하나요? 아니요. Lakebase가 기본 리소스를 유연하게 확장하는 동안에도 데이터베이스 연결은 활성 상태로 유지됩니다.

Lakebase의 RAM 대 CU 비율은 어떻게 되나요? 각 compute 단위(CU)는 정확히 2GB의 메모리를 제공합니다.

스케일 투 제로(scale to zero)를 사용하여 얼마나 절약할 수 있나요? 개발 브랜치나 내부 대시보드와 같이 하루 중 특정 시간에만 활성화되는 워크로드의 경우, 사용자는 종종 70% 이상의 compute 비용 절감 효과를 볼 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)