프로토타입에서 프로덕션까지: Databricks AI Search를 위한 높은 QPS

검색은 어디에나 있습니다. 리테일 사이트의 상품 검색, 스마트 TV의 음성 쿼리, 모든 피드의 추천, 계정 조회 시의 신원 매칭 등이 그 예입니다. 이러한 작업은 페이지 조회, 키 입력, 사용자 행동마다 요청을 보냅니다. 대규모 소비자 서비스에서는 이것이 검색 인덱스에 도달하는 초당 수천 개의 쿼리(QPS)로 이어지며, 피크 트래픽은 종종 이보다 몇 배 더 높습니다.

검색은 매출의 핵심 경로이기도 합니다. 리테일 분야에서 검색을 사용하는 쇼핑객은 단순히 탐색만 하는 쇼핑객보다 구매 전환율이 2~3배 더 높습니다. 스트리밍 플랫폼에서는 추천 기능이 사용자가 시청하는 콘텐츠의 대부분을 결정합니다.

이전에는 프로덕션 수준의 QPS에 도달하려면 앱마다 맞춤형 검색 스택을 구축해야 했습니다. 인덱스 크기, 쿼리 유형, 필터 전반에 걸쳐 부하 테스트를 수행하고, 용량을 수동으로 산정하며, 인덱스 앞에 로드 밸런서를 연결해야 했습니다. 새로운 검색 사용 사례가 생길 때마다 이 작업을 처음부터 다시 시작해야 했습니다. 이러한 번거로움은 벡터 데이터베이스, 검색 엔진, 자체 구축(DIY) 스택 모두에서 공통적으로 겪는 문제입니다.

Databricks AI Search를 위한 높은 QPS 확장 기능 발표

오늘 Databricks AI Search를 위한 높은 QPS 확장 기능의 정식 출시(GA)를 발표합니다. 이제 Standard 엔드포인트는 사람이 읽을 수 있는 단 하나의 매개변수만으로 수천 QPS까지 확장할 수 있습니다. 목표치를 설정하기만 하면, Databricks가 이에 맞춰 인프라를 프로비저닝합니다.

엔드포인트를 생성할 때 target_qps을(를) 설정하거나, SDK, REST API 또는 엔드포인트 UI를 통해 기존 엔드포인트에서 언제든지 업데이트할 수 있습니다. Databricks가 목표를 달성하는 데 필요한 인프라를 프로비저닝하므로, 관리할 복제본 수나 크기를 조정할 노드, 연결할 로드 밸런서가 필요하지 않습니다.

Unity Catalog 거버넌스와 Delta Sync는 그대로 유지됩니다. 프로토타입을 구동하던 동일한 엔드포인트가 이제 플랫폼을 벗어나지 않고도 프로덕션 트래픽 규모로 확장됩니다.

높은 QPS 확장이 필요한 경우

다음 세 가지 실시간 프로덕션 패턴에서 이 기능이 필요합니다.

검색창: 이커머스의 상품 검색, 스트리밍 및 미디어 플랫폼의 콘텐츠 탐색, 커넥티드 디바이스의 음성 검색 등이 해당됩니다. 자동 완성 입력창은 키 입력마다 검색 호출을 실행할 수 있으므로, 활성 타이핑 볼륨에 따라 QPS가 확장됩니다. 대기 시간(latency)은 전환율에 직접적인 영향을 미칩니다. 엔드투엔드 아키텍처에 대한 자세한 내용은 Building Real-Time Product Search on Databricks를 참조하세요.

추천 및 개인화 시스템: 이커머스의 '추천 상품' 패널, 미디어 및 스트리밍 플랫폼의 개인화된 피드 등이 해당됩니다. 페이지를 조회할 때마다 추천 쿼리가 실행되므로 트래픽 급증 시 검색 엔진이 가장 먼저 영향을 받습니다. 추천 대기 시간은 요청의 핵심 경로에 있습니다.

실시간 엔티티 분석(entity resolution): 요청 시 대규모 카탈로그를 대상으로 한 신원 매칭, 중복 제거, 조회 등이 해당됩니다. 여기서 쿼리 속도는 버퍼링할 수 있는 일시적인 급증이 아니라 운영 SLA에 해당합니다.

다음 중 하나라도 해당된다면 이 기능이 필요할 수 있습니다.

• 프로덕션 로그에 429(Too Many Requests) 오류가 표시됨
• 평균 사용률이 완만하더라도 트래픽이 증가함에 따라 P95 대기 시간이 급증함
• 중복 엔드포인트 또는 클라이언트 측 로드 밸런싱과 같은 임시 해결책을 사용 중임

작동 방식 자세히 알아보기

선언형 설정. 엔드포인트에 목표 QPS를 설정하기만 하면 됩니다. Databricks가 해당 목표를 달성하는 데 필요한 컴퓨팅 용량을 계산하고 프로비저닝합니다. 복제본 수 관리, 노드 크기 조정, 용량 계획이 필요 없습니다.

기존 엔드포인트와 호환. Python SDK, REST API 또는 UI를 통해 모든 Standard 엔드포인트를 업데이트할 수 있습니다. 새로운 용량은 엔드포인트의 인덱스가 다음에 생성되거나 동기화될 때 적용됩니다.

확장 상태 모니터링. 엔드포인트의 scaling_info 필드는 SCALING_CHANGE_IN_PROGRESS to SCALING_CHANGE_APPLIED에서 전환되는 진행 상황을 추적합니다.

프로덕션 관측성. 프로덕션 환경에서 검색 시스템을 운영하려면 초당 요청 수, 요청 대기 시간, 엔드포인트 상태에 대한 가시성이 필요합니다. 이제 엔드포인트 UI에서 모든 엔드포인트에 대해 이 세 가지 정보를 모두 제공합니다.

성능 극대화를 위해 서비스 주체(service principal) 인증 사용. 서비스 주체 트래픽은 높은 QPS의 프로덕션 워크로드를 위해 구축된 성능 최적화 네트워크를 통해 라우팅됩니다. 개인용 액세스 토큰(PAT) 트래픽은 수십 QPS로 제한되므로 프로토타입 제작에는 적합하지만 프로덕션에는 적합하지 않습니다. 자세한 단계별 안내는 성능 가이드를 참조하세요.

크기 산정. 엔드포인트 관측성 UI 및 기본 Genie 통합을 사용하여 트래픽 패턴을 파악하고, 트래픽 급증에 대비한 충분한 여유 공간을 두고 target_qps을(를) 설정하세요.

지금 바로 시작해 보세요

이제 프로토타입과 프로덕션의 차이는 구성 매개변수 하나로 결정됩니다. 높은 QPS 확장 기능은 오늘부터 정식 출시되어 별도의 신청 없이 바로 사용할 수 있습니다. 시작하는 두 가지 방법은 다음과 같습니다.

• 초기 목표치로 target_qps이(가) 설정된 새 엔드포인트 생성
• 이미 애플리케이션을 지원하고 있는 인덱스를 확장하기 위해 target_qps으로 기존 엔드포인트 업데이트

향후 계획

저희는 대규모 검색을 더 쉽게 운영할 수 있도록 지속적으로 개선하고 있습니다. 수동 용량 계획이나 크기 조정이 필요 없는 트래픽 급증 대비 자동 확장 기능과 스토리지 최적화(Storage-Optimized) 엔드포인트 지원이 올해 말로 예정되어 있습니다.

자세히 알아보기:

• 높은 QPS 설명서
• Databricks AI Search 개요
• 성능 모범 사례
• Building Real-Time Product Search on Databricks

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)