주요 컨텐츠로 이동
공학

Databricks 클러스터 속도 제한을 7.5배 높인 방법

장기 실행 작업에 고정 요청 비율 제한보다 적응형 동시성 제한이 더 효과적인 이유.

작성자: Heqing Ya, Tan Zhang, Ankit Batra , Abhishek Rai

  • 적응형 동시성 제한은 장기 실행 클러스터 생성 워크플로를 추적하고 시스템 상태 변화에 따라 실행 가능한 작업량을 조절합니다.
  • 제한된 대기열과 공정 스케줄링은 트래픽 급증을 흡수하고 용량을 공유하는 데 도움을 줍니다. 고정된 API 요청 비율 상한선은 고객 대면 안전 장치로 유지됩니다.
  • Databricks는 보고된 범위 내에서 기본 클러스터 생성 요청 비율 제한을 7.5배 높이고 백 개가 넘는 고객별 재정의 설정을 제거했습니다.

Databricks의 Compute Platform 팀에서는 클라우드 인프라를 고객의 워크로드를 실행할 수 있는 클러스터로 변환하는 작업을 담당합니다. 저희의 일상적인 업무에는 AWS, Azure, Google Cloud 전반에서 가상 머신을 프로비저닝하고 클러스터 생성을 조율하는 일이 포함됩니다. 목표는 이러한 시스템의 가용성을 유지하면서 고객이 안전하게 사용할 수 있는 최대치의 용량을 활용할 수 있도록 하는 것입니다.

이 게시물에서는 고정된 요청 속도 제한(request-rate limit)이 이러한 장기 실행 작업에 왜 부족할 수 있는지, 적응형 동시성 제한(adaptive concurrency limit)이 어떻게 도움이 되는지, 그리고 이를 Databricks 클래식 컴퓨트의 클러스터 생성에 적용하면서 배운 점에 대해 알아봅니다. Databricks를 사용하는 데 이러한 내용을 미리 알 필요는 없지만, Databricks Runtime 클러스터가 시작될 때 백그라운드에서 어떤 일이 일어나는지 궁금하다면 함께 자세히 살펴보겠습니다.

과거에는 다양한 부하 패턴과 장애 시나리오를 테스트하여 고정된 요청 속도 제한으로 시스템을 보호했습니다. 서비스 규모를 확장할 때는 주로 리소스를 추가하고 고객별 제한을 조정하는 방식을 사용했습니다.

워크로드와 종속성 장애가 복합적으로 작용하면서 이러한 제한을 테스트하고 조정하기가 점점 더 어려워졌습니다. 보수적인 제한으로 인해 여유 용량이 있음에도 고객 요청이 거부되었고, 반대로 클라우드 공급자와 같은 서비스나 종속성에 속도가 느려졌을 때는 요청을 계속 수락했습니다. 엔지니어들은 장애 발생 시 부하를 줄이기 위해 수동으로 제한을 낮추고, 복구 후에는 다시 높여야 했습니다.

적응형 동시성 제한은 완료되지 않은 작업과 변화하는 시스템 상태를 모두 고려합니다. 용량이 여유로울 때는 더 많은 작업이 시작되도록 하고 시스템이 어려움을 겪을 때는 속도를 늦추어, 수동 조정을 줄이면서도 서비스가 원활하게 진행되도록 돕습니다. 예외적으로 높은 유입 트래픽에 대비한 최종 안전 장치로서 고정된 API 요청 속도 상한선은 그대로 유지됩니다.

컴퓨팅 플랫폼을 주방에 비유해 보겠습니다. 주방의 목표는 요리사와 장비가 처리할 수 있는 만큼의 주문을 소화하는 것입니다. 매니저는 스토브에서 무슨 일이 일어나든 1분당 최대 10개의 새로운 주문만 받는다는 고정 규칙을 게시합니다.

요리할 여유가 있어도 이 규칙 때문에 주문이 거부됩니다. 오븐이 고장 나도 남은 요리사와 장비가 처리할 수 있는 것보다 더 빠른 속도로 주문을 계속 받습니다. 매니저는 상황이 바뀔 때마다 안내판을 계속 다시 써야 합니다.

image2.png
그림 1. 동일한 규칙은 용량이 있을 때는 유용한 작업을 거부하고 용량이 부족할 때는 너무 많은 작업을 수락합니다. 누군가가 계속해서 이를 조정해야 합니다. 주방과 속도 제한은 예시일 뿐입니다.

더 나은 주방이라면 짧은 대기열을 유지하고 한 번에 준비하는 식사 수를 제한합니다. 오븐이 고장 나면 시작하는 식사 수가 줄어들고, 용량이 회복되면 더 많이 시작할 수 있습니다. 주문은 잠시 기다릴 수 있지만, 서비스를 제공할 시간이 남아 있는 동안에만 가능합니다.

장기 실행 작업의 경우 고정된 요청 속도는 용량을 나타내는 좋은 모델이 아닙니다. 목표는 용량이 허용할 때 고객이 최고 성능으로 실행할 수 있도록 한 다음, 성능 저하 중에도 유용한 작업이 계속 진행될 수 있도록 충분히 속도를 조절하는 것입니다.

배경

API 호출은 핸들러가 직접 수행하는 것보다 훨씬 더 많은 작업을 시작할 수 있습니다. 클러스터 생성의 경우, 핸들러는 요청을 검증하고 작업 항목을 기록한 후 반환합니다. 백그라운드 워크플로는 서비스를 조율하고, 상태를 업데이트하며, 클라우드 가상 머신과 같은 리소스를 프로비저닝합니다. 이러한 작업은 비동기적으로 완료되며, 소요 시간은 종속성의 상태와 용량에 따라 달라집니다. API 호출은 몇 밀리초 만에 완료될 수 있지만 워크플로 자체는 몇 분이 걸릴 수 있습니다.

API 진입점의 요청 속도 제한기는 시간 창(time window)당 요청 수를 제한합니다. 이는 할당량을 적용하고, 어뷰징을 방지하며, API 호출을 처리하는 데 사용되는 리소스를 보호하는 데 유용합니다.

문제

고정된 요청 속도 제한은 사용 가능한 용량과 각 요청 뒤의 작업이 비교적 예측 가능한 상태를 유지할 때 조정하기 쉽습니다. 클러스터 생성은 두 가지 모두를 어렵게 만듭니다. 하나의 요청은 몇 개의 VM을 프로비저닝하고 다른 요청은 훨씬 더 많이 프로비저닝할 수 있는 반면, 클라우드 공급자의 상태에 따라 프로비저닝에 걸리는 시간이 달라집니다. 공유 속도 저하가 발생하는 동안에는 많은 워크플로가 동시에 더 오래 걸립니다. 따라서 동일한 유입 요청 속도로 인해 시스템이 작업을 완료하는 능력이 떨어지더라도 처리 중인 작업이 훨씬 더 많이 남게 됩니다.

image4.png
그림 2. 작업 시간이 길어지면 처리 중인 작업이 늘어나고 정상적인 프로세서가 줄어들면 용량이 감소합니다. 고정된 요청 속도 제한은 이러한 변화 중 어느 것도 조정하지 못합니다. 타임라인은 예시일 뿐입니다.

왼쪽에서는 유입량이 시간 단위당 하나의 작업으로 고정되어 있습니다. 지속 시간을 2개에서 6개 시간 단위로 늘리면 처리 중인 작업이 세 배로 늘어납니다. 오른쪽에서는 프로세서가 느려지거나 사용할 수 없게 되어 해당 작업을 처리하는 데 사용할 수 있는 용량이 줄어듭니다.

종속성 성능이 저하되면 더 많은 호출이 실패하거나 시간 초과됩니다. 장기 실행 워크플로는 임시 오류에서 복구하기 위해 해당 호출을 재시도합니다. 많은 활성 워크플로 전반에서 이러한 재시도는 어려움을 겪는 종속성에 압력을 가중시켜 더 많은 실패와 더 많은 재시도를 유발하며, 이는 재시도 폭풍(retry storm)으로 이어집니다.

이러한 내부 재시도는 이미 수락된 작업에서 비롯되므로 API 요청 속도 제한기는 이를 인식하지 못합니다. 유입 트래픽이 정상으로 돌아온 후에도 과부하가 지속될 수 있습니다. 활성 워크플로를 제한하면 이러한 압력을 제어하고 미완료된 작업이 해소될 수 있는 기회를 제공하는 데 도움이 됩니다.

낮은 속도를 설정한다고 해서 불일치가 해결되는 것은 아닙니다. 정상적인 기간에 더 많은 작업을 거부함으로써 여유 공간을 확보하는 것이지만, 충분히 큰 속도 저하가 발생하면 여유 공간이 고갈될 수 있습니다. 속도를 높이면 정상적인 용량을 더 잘 활용할 수 있지만 성능 저하 중에는 더 많은 작업이 수락됩니다. 하나의 숫자가 양쪽 모두를 커버해야 합니다.

용어

"속도 제한(Rate limiting)"은 동시 작업에 대한 제한을 포함하여 광범위하게 사용되기도 합니다. 여기서는 무엇을 카운트하느냐에 따라 두 가지 메커니즘을 구분합니다.

용어이 글에서의 의미
작업 (Operation)API 반환 후의 백그라운드 작업을 포함한 전체 워크플로.
요청 속도 제한 (Request-rate limit)초당 10개 요청과 같은 단위 시간당 허용되는 요청 수에 대한 상한선(버스트 허용량 포함 가능).
동시성 (Concurrency)종속성을 대기 중인 작업을 포함하여 한 번에 활성화된 작업의 수.
동시성 제한 (Concurrency limit)한 번에 100개와 같이 활성 작업에 대한 상한선. 각 작업은 완료될 때까지 슬롯을 유지합니다.
백로그 (Backlog)시작을 대기 중인 수락된 작업. 아직 활성 슬롯을 확보하지 못했습니다.

두 종류의 제한 모두 고정형이거나 적응형일 수 있습니다. 우리의 비교는 장기 실행 작업을 보호하기 위한 고정된 요청 속도 제한과 적응형 동시성 제한 사이의 비교입니다.

해결 방법

주방에서는 여전히 준비 중인 식사와 이를 완료하는 데 사용할 수 있는 용량을 추적해야 합니다. Databricks 클래식 컴퓨트에서 이에 해당하는 것은 여전히 인프라를 프로비저닝하고 있는 클러스터 생성 워크플로 세트입니다. 각 활성 워크플로에 슬롯을 부여하고 조건이 변경됨에 따라 슬롯 수를 조정합니다.

슬롯을 사용하여 활성 작업 추적

드라이버와 여러 워커 VM이 있는 클러스터에 대한 CreateCluster 요청을 생각해 보겠습니다. 요청이 수락되면 해당 프로비저닝 워크플로는 시작되기 전에 슬롯을 기다립니다. 해당 작업이 대기 중인지, 활성 처리 중인지, 완료되었는지 추적합니다.

모든 슬롯이 차 있으면 요청은 대기 상태로 유지됩니다. 활성 워크플로는 VM을 프로비저닝하고 종속성을 기다리는 동안 슬롯을 유지합니다. 워크플로가 완료되면 해당 슬롯을 다른 클러스터 시작에 사용할 수 있게 됩니다. 성공적으로 시작된 클러스터는 해당 프로비저닝 슬롯을 차지하지 않고도 몇 시간 동안 고객 워크로드를 계속 실행할 수 있습니다.

슬롯은 API 반환 후의 백그라운드 작업을 포함하여 전체 프로비저닝 작업을 다루어야 합니다. 슬롯을 추적한다고 해서 스레드를 점유해야 하는 것은 아닙니다.

이 컨트롤러는 활성 프로비저닝 워크플로를 카운트합니다. 실행 중인 클러스터, 할당된 VM 및 vCPU는 별도의 측정 기준입니다. 하나의 워크플로가 많은 VM을 프로비저닝할 수 있으므로 하나의 슬롯이 고정된 리소스 비용을 의미하지는 않습니다.

사용 가능한 용량에 적응

이제 클라우드 공급자가 VM을 프로비저닝하는 데 더 오래 걸린다고 가정해 보겠습니다. 활성 워크플로는 슬롯을 더 오래 유지하므로 슬롯 제한이 고정되어 있더라도 새로운 클러스터 시작 빈도가 낮아집니다. 수락된 요청이 대기함에 따라 고객은 더 긴 시작 대기 시간을 경험하게 됩니다.

적응형 제어는 슬롯 제한도 변경합니다. 클러스터 생성의 경우 유용한 신호에는 프로비저닝에 걸리는 시간과 중요한 스레드 풀이 포화 상태인지 여부가 포함됩니다. 이러한 신호가 혼잡을 나타내면 컨트롤러는 동시 프로비저닝 워크플로 수를 줄입니다. 조건이 회복됨에 따라 조심스럽게 더 많은 작업을 허용합니다. 수락된 작업이 시작될 때 용량 압력이 변경되며, RPC 속도 제한 거부는 예외적으로 높은 유입 요청 속도를 위해 예약됩니다.

image1.png
그림 3. 완료된 프로비저닝 워크플로는 다른 클러스터 시작을 위해 슬롯을 확보합니다. 상태 피드백은 한 번에 실행할 수 있는 워크플로 수를 조정합니다.

제한을 줄이면 활성 작업이 제한 아래로 떨어질 때까지 새로운 작업이 시작되는 것을 방지할 수 있으며, 기존 작업은 완료될 때까지 시간이 필요합니다. 이 응답 시간은 워크플로가 몇 분 동안 지속될 때 중요합니다. 또한 재시도에는 백오프와 시도 횟수 제한이 필요하므로 활성 워크플로가 복구 중인 종속성을 계속 압도하지 않습니다. 동시성 제한으로 사용할 수 없는 종속성을 복구할 수는 없지만, 해당 종속성이 복구되는 동안 추가적인 압력을 제한할 수 있습니다.

세부 사항에 답이 있습니다

제어 루프는 시작할 작업의 양을 결정합니다. 유용한 서비스를 구축한다는 것은 대기할 대상, 대기 시간, 그리고 전달할 메시지를 결정하는 것을 의미하기도 합니다.

요청이 제한되는 이유 설명하기

“너무 많은 요청”이라는 메시지는 서로 다른 두 가지 상황을 숨기고 있을 수 있습니다.

첫 번째 상황에서는 고객이 평소와 같은 트래픽을 보내지만 공유 종속성에서 지연이 발생합니다. 용량이 부족해진 것입니다. 고객에게 트래픽 패턴을 수정하 달라고 요구하는 것은 서비스 문제를 잘못 진단하는 것입니다.

두 번째 상황에서는 서비스가 정상 상태를 유지하는 동안 고객이 평소와 다르게 대량의 요청을 보냅니다. 다른 고객들도 동일한 리소스를 두고 경쟁하고 있습니다. 이러한 요청 폭주를 제한하면 다른 고객의 공정한 몫을 보호할 수 있습니다.

image3.png
그림 4. 동일한 증상이라도 원인은 다를 수 있습니다. 시스템 저하와 테넌트의 초과 수요는 별도로 가시화되어야 하며, 두 현상은 동시에 발생할 수도 있습니다.

이러한 상황을 구분하려면 시스템 상태, 각 테넌트의 유입 수요, 그리고 스케줄링 결정을 따로 추적해야 합니다. 진행 중인 작업 수가 많다고 해서 고객이 너무 많은 요청을 보냈다는 뜻은 아닙니다. 해당 작업들이 느린 종속성 뒤에서 정체되어 있을 수 있기 때문입니다. 마찬가지로, 여유 용량이 있고 정책이 허용한다면 공정성을 위해 요청 폭주를 반드시 제한할 필요는 없습니다.

이러한 구분은 메트릭과 고객용 설명에 반영되어야 합니다. 이를 통해 운영자는 손실된 용량을 조사해야 할지 아니면 비정상적인 워크로드를 조사해야 할지 알 수 있으며, 고객은 자신의 행동을 변경하는 것이 도움이 되는지 파악할 수 있습니다. 스로틀링으로 나타나는 경우라 하더라도 서비스 저하로 인해 발생한 실패는 서비스 신뢰성 메트릭에 집계하세요. 큐에서 대기하는 승인된 요청의 경우 클러스터 시작 지연 시간에 미치는 영향을 측정하세요.

요청이 성공할 수 있는 시간 동안 버퍼링하기

몇 분이 소요되는 작업의 경우, 즉각적인 오류 발생 후 재시도하는 것보다 짧은 대기 시간이 더 나은 경우가 많습니다. 큐는 요청 폭주를 흡수하고 시스템이 따라잡을 수 있는 시간을 제공합니다.

이는 대기 시간이 요청의 마감 기한에 맞을 때만 작동합니다. 큐의 크기와 각 요청의 대기 시간을 제한하고, 진행 상황을 가시화하며, 더 이상 유용하게 완료할 수 없는 작업은 거부하거나 만료시키세요. 큐는 지속적인 과부하를 용량으로 바꿀 수 없으며, 제한이 없는 큐는 잠시 동안의 장애를 몇 시간의 지연으로 바꿀 수 있습니다.

큐잉과 정리 작업 가볍게 유지하기

대기 중인 요청은 부족한 리소스를 보유한 실행 중인 워커가 아니라 가벼운 레코드여야 합니다. 백로그가 커진다고 해서 반복적인 스캔이나 스레드 및 연결 경쟁으로 인해 모든 활성 작업의 비용이 비싸져서는 안 됩니다.

정리 작업에도 동일한 주의가 필요합니다. 대규모 백로그가 한꺼번에 만료되는 경우, 서비스는 예측 가능한 시간 내에 이를 삭제할 수 있어야 합니다. 최악의 백로그를 대비해 계획하고, 만료와 거부를 저렴하게 유지하며, 마감 기한이 이미 지난 작업에 대해 비용이 많이 드는 설정 작업을 수행하지 마세요. 그렇지 않으면 원래의 정체가 끝난 지 한참 후에도 큐가 서비스를 바쁘게 만들 수 있습니다.

제품에 있어 “공정함”의 의미 정의하기

서비스가 100개의 요청을 지연시켜야 한다고 가정해 보겠습니다. 100명의 고객이 각각 하나의 느린 요청을 겪는 것이 나을까요, 아니면 한 명의 고객이 100개의 느린 요청을 겪는 것이 나을까요?

종합 메트릭은 동일해 보일 수 있지만, 고객 경험은 그렇지 않을 것입니다.

스케줄러는 우리가 지정하든 안 하든 이러한 선택을 내리게 됩니다. 어떤 작업을 먼저 처리할지, 경합 상황에서 각 테넌트가 어떤 몫을 받아야 할지, 그리고 우선순위가 낮은 작업이 영원히 대기하는 것을 어떻게 방지할지 정의하세요. 정책이 허용하는 경우 테넌트가 유휴 용량을 사용하도록 허용하는 동시에 다른 테넌트가 자신의 몫을 필요로 할 때 공정한 접근을 보장하세요.

현재 상태와 향후 작업

저희는 Databricks 클래식 컴퓨팅에서의 클러스터 생성을 위한 통합 부하 관리 시스템에 이러한 아이디어를 적용했습니다. 짧은 API 요청을 통해 퍼블릭 클라우드를 비롯한 여러 종속성을 조율하여 컴퓨팅 리소스를 프로비저닝하는 훨씬 더 긴 워크플로가 시작됩니다.

이 시스템은 대기열에 추가된 요청, 적응형 동시성 제한, 그리고 공정 스케줄링을 결합합니다. 대기 중인 작업이 언제 시작될 수 있는지를 결정하기 위해 현재 진행 중인 작업과 시스템 상태를 사용합니다.

예외적으로 높은 유입 트래픽에 대한 최종 방어선으로 API 요청 속도 제한을 유지했습니다. 이는 고객에게 안내할 수 있는 요청 속도 경계선을 제공합니다. 적응형 동시성 제한은 서비스 내부에서 유지되며 승인된 작업이 언제 시작될지를 제어합니다. 성공적인 API 응답이 클러스터의 즉로운 시작이나 고정된 시간 내의 완료를 보장하지는 않습니다.

초기 롤아웃 분석에서는 세 가지 결과를 보고했습니다.

  • 기본 클러스터 생성 요청 속도 제한 7.5배 향상.
  • 보고된 범위 내에서 클러스터 생성 속도 제한 오류 99.99% 이상 감소.
  • 범위 내 고객별 속도 제한 재정의 100건 이상 제거.

적응형 동시성 제어는 조건이 변경되는 동안 장기 실행 워크플로를 보호함으로써 7.5배 증가를 가능하게 했습니다. 해당 증가 이후, 더 높은 클러스터 생성 요청 속도 제한에 도달한 고객은 거의 없었으며, 해당 제한에 대한 새로운 수동 재정의를 추가하지 않았습니다. 고객은 개별적으로 조정되는 예외에 대한 필요성이 줄어들고 더 넓은 확장 여유를 갖게 되었습니다.

이러한 접근 방식을 다른 종류의 장기 실행 작업에 적용하면 추가적인 설계 문제가 제기됩니다. 작업의 리소스 비용이 크게 다를 경우, 각각을 하나의 슬롯으로 계산하는 것은 너무 단순할 수 있습니다. 가중치가 부여된 슬롯이나 별도의 제한이 가능한 확장 방안이 될 수 있습니다. 여러 병목 현상이 있는 워크플로의 경우, 느린 종속성으로 인해 관련 없는 작업이 중단되지 않도록 제어 지점을 어디에 둘 것인가가 또 다른 설계 문제입니다.

클라우드 공급자 지연 기간 동안, 이미 VM을 프로비저닝 중인 워크플로는 새로운 시작이 느려진 후에도 계속 재시도를 시도할 수 있습니다. 동시성 제한을 재시도 백오프 및 시도 횟수 제한과 결합하여 복구 과정에서의 해당 부하를 줄이세요.

FAQ

요청 속도와 동시성 제한의 차이점은 무엇인가요?

요청 속도 제한은 단위 시간당 수용되는 요청 수를 제한하며, 동시성 제한은 한 번에 활성화되는 작업 수를 제한합니다. 각 활성 작업은 종속성 대기 시간을 포함하여 완료될 때까지 슬롯을 유지합니다.

동시성 슬롯이 클러스터 생성 워크플로 전체를 다루어야 하는 이유는 무엇인가요?

CreateCluster 워크플로는 API 반환 후 종속성 대기 시간을 포함하여 VM을 프로비저닝하는 동안 슬롯을 유지합니다. 프로비저닝이 완료되면, 클러스터가 계속해서 고객 워크플로를 실행 중이더라도 슬롯이 해제됩니다. 제어기는 활성 프로비저닝 워크플로를 카운트하며, 실행 중인 모든 클러스터나 할당된 클러스터 또는 할당된 VM 및 vCPU를 카운트하지 않습니다. 슬롯을 추적하기 위해 스레드를 유지할 필요는 없습니다.

적응형 동시성 제한은 시스템 저하에 어떻게 대응하나요?

클라우드 공급자 속도가 느려지면 프로비저닝 워크플로는 슬롯을 더 오래 유지하고 승인된 요청은 시작을 위해 더 오래 대기합니다. 또한 프로비저닝 지연이나 스레드 풀 포화 같은 혼잡 신호가 압박을 나타내면 제어기는 슬롯 제한을 줄입니다. 조건이 회복됨에 따라 조심스럽게 더 많은 동시 작업을 허용합니다.

Databricks에서 여전히 고정된 API 요청 속도 제한을 유지하는 이유는 무엇인가요?

고정된 API 요청 속도 제한은 예외적으로 높은 유입 트래픽으로부터 보호하며 고객에게 안내할 수 있는 요청 속도 경계선을 제공합니다. 적응형 동시성 제한은 서비스 내부에서 작동하며, 용량 압박은 승인된 요청을 대기열에 넣고 프로비저닝을 지연시킵니다. 성공적인 API 응답이 클러스터의 즉로운 시작이나 고정된 시간 내의 완료를 보장하지는 않습니다.

적응형 동시성 제한을 도입한 후 Databricks에서 보고한 결과는 무엇인가요?

초기 롤아웃 분석에 따르면 기본 클러스터 생성 요청 속도 제한이 7.5배 향상되었고, 보고된 범위 내에서 클러스터 생성 속도 제한 오류가 99.99% 이상 감소했으며, 범위 내 고객별 속도 제한 재정의가 100건 이상 제거되었습니다. 증가 이후, 더 높은 제한에 도달한 고객은 거의 없었으며 해당 제한에 대한 새로운 수동 재정의는 추가되지 않았습니다.

규모에 맞게 API 할당량을 시행하는 상호 보완적인 문제에 대해서는 Databricks에서의 고성능 요청 속도 제한을 읽어보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.