Databricks에서 실시간 제품 검색 구축

자동차를 판매하는 온라인 마켓플레이스를 위한 검색 시스템을 설계한다고 상상해 보세요. 사용자들은 몇 밀리초 안에 예산에 맞는 결과, 선호도에 맞는 결과, 근처에서 구할 수 있는 결과, 그리고 관련성 있다고 느껴지는 결과를 기대합니다.

현대 웹 제품 검색은 이렇습니다. 단순한 조회 도구가 아니라 거의 즉각적으로 검색, 필터링, 순위 지정 및 응답해야 하는 실시간 의사 결정 엔진입니다. 이 모든 과정에서 수익, 클릭률, 지연 시간, 관련성과 같은 비즈니스 및 기술 메트릭의 균형을 맞춰야 합니다.

Databricks는 확장 가능한 데이터 수집(Lakeflow)부터 벡터 기반 검색(Vector Search), 실시간 운영 데이터(Lakebase), 에이전트 기반 검색 경험(Agent Bricks)에 이르기까지 이러한 시스템을 구축하기 위한 엔드투엔드 플랫폼을 제공합니다. 이 블로그에서는 이러한 구성 요소들이 어떻게 결합되어 실시간 제품 검색을 지원하는지 살펴봅니다.

제품 검색 구성 요소

제품 검색은 단순히 질문에 답하거나 챗봇을 통해 정보를 제공하는 것이 아닙니다. 동적이고 개인화되며 수익과 깊이 연관된 검색 및 결정 프로세스입니다. 구매자는 탐색, 비교, 조사를 기대합니다. 목표는 단일 답변을 생성하는 것이 아니라 관련성 있고 신뢰할 수 있으며 고려할 가치가 있다고 느껴지는 순위가 매겨진 선택 세트를 제시하는 것입니다.

실시간 제품 검색 시스템은 일반적으로 3가지 세그먼트로 구성됩니다(그림 1).

• 수집은 검색을 위해 제품 데이터를 준비합니다. 제품 제목, 설명 및 속성은 처리되고, 임베딩으로 변환되고, 메타데이터로 보강되고, 빠른 검색을 위해 인덱싱됩니다.
• 검색은 전체 텍스트, 의미론적 또는 하이브리드 검색과 구조화된 필터링을 사용하여 후보 세트를 생성함으로써 관련성이 있을 수 있는 것을 찾습니다.
• 개선은 쿼리 이해, 순위 지정 논리, 개인화 및 비즈니스 규칙을 적용하여 결과가 어떻게 해석되고 정렬되어야 하는지 결정합니다.

검색창 뒤편

이러한 경험은 강력한 인프라와 의미 있는 메트릭 없이는 존재할 수 없습니다.

• 인프라는 속도와 관련성을 가능하게 합니다.
• 메트릭은 시스템이 실제로 빠르고 관련성이 있음을 증명합니다. 단순히 서류상으로만 그런 것이 아닙니다.

현대 제품 검색은 이 두 가지를 모두 요구합니다. 결과를 제공하는 엔지니어링 기반과 이러한 결과가 충분히 좋다는 것을 지속적으로 검증하는 메트릭 규율입니다.

아키텍처 살펴보기

먼저 아키텍처를 살펴보겠습니다. 그림 2는 실시간 제품 검색 아키텍처의 상세 예시를 보여줍니다.

Databricks Vector Search는 여러 외부 시스템을 연결할 필요 없이 단일 플랫폼에서 수집, 검색 및 개선을 처리하여 이 설계의 중심에 있습니다.

• 수집은 효율적으로 검색할 수 있도록 제품 데이터를 준비합니다. 제품 목록 및 이미지와 같은 비정형 소스는 Databricks Auto Loader, Lakeflow Spark Declarative Pipeline 및 AI Functions(예: ai_parse_document)를 사용하여 확장 가능한 파이프라인을 통해 처리됩니다. 그런 다음 데이터를 분할하고 메타데이터(예: 자동차 모델, 색상 또는 가격)와 함께 Databricks Vector Search로 변환할 수 있습니다.
• 검색은 실시간 쿼리를 처리합니다. 사용자 입력은 임베딩 및 구조화된 필터로 변환되고, Databricks Vector Search는 의미론적 검색, 전체 텍스트 검색 또는 메타데이터 필터링을 사용한 하이브리드 검색을 사용하여 상위 후보를 검색합니다.
• 개선은 검색된 후보를 최종 결과로 향상시킵니다. 검색은 강력한 기준선을 제공하지만, 이 계층은 의도 해석, 순위 지정 논리 적용, 필요한 경우 개인화 및 비즈니스 규칙 통합을 통해 결과를 개선합니다. 세션 상태, 재고, 가격 책정 및 사용자 기본 설정과 같은 실시간 운영 컨텍스트는 Lakebase를 통해 제공될 수 있으며, 이는 최종 순서에 영향을 미치는 10ms 미만의 저지연 신호를 가능하게 합니다.

Databricks에서 검색 시스템을 구축할 때 몇 가지 실용적인 지침이 있습니다.

• 모델을 쉽게 실험하세요. 최소한의 마찰로 임베딩 모델을 교체하고 기본 재순위 지정 기능을 활용하세요. 향후 업데이트를 통해 플랫폼 내에서 직접 재순위 지정 모델의 원클릭 미세 조정을 사용할 수 있게 되어 관련성 최적화가 단순화될 것입니다.
• 검색 속도로 애플리케이션 상태를 제공하세요. Lakebase를 사용하여 실시간 애플리케이션 상태(세션 컨텍스트, 재고, 가격 책정, 사용자 기본 설정)를 10ms 미만의 지연 시간으로 저장하세요. 관리되는 CDC는 Lakebase를 Delta로 자동 동기화하므로 순위 지정 모델과 분석은 사용자 지정 파이프라인 없이 항상 최신 운영 데이터를 반영합니다.
• 프로덕션 전에 확장성을 테스트하세요. 높은 QPS 시나리오를 포함하여 실제 트래픽에서 지연 시간과 처리량을 검증하세요. 검색 부하 테스트 노트북을 사용하여 오늘날 프로덕션 워크로드를 시뮬레이션할 수 있으며, 향후 릴리스에서는 기본 원클릭 부하 테스트 지원이 제공될 예정입니다. 지속적인 트래픽의 경우 높은 QPS 엔드포인트를 활용하여 대규모 동시성을 처리하고 엔드포인트 관찰 기능을 통해 성능을 모니터링하여 지연 시간, 처리량 및 시스템 상태를 추적하세요.
• 처음부터 에이전트 준비 검색을 구축하세요. 관리되는 임베딩이 있는 모든 Vector Search 인덱스에는 관리되는 MCP 서버가 자동으로 제공됩니다. 제로 구성 에이전트 통합, 코드 우선 제어를 위한 VectorSearchRetrieverTool에 사용하거나 Knowledge Assistant를 인덱스에 연결하여 즉각적인 Q&A를 인용과 함께 제공하세요. 이는 표준 RAG 시스템보다 70% 더 나은 정확도를 제공하는 Instructed Retriever로 구동됩니다.

중요한 메트릭

검색 시스템은 다이어그램에서 멋지게 보이기 때문에 성공하는 것이 아닙니다. 비즈니스 결과를 이끄는 빠르고 관련성 있는 결과를 제공하기 때문에 성공하는 것입니다.

그림 3에 표시된 것처럼 세 가지 범주의 메트릭이 팀이 검색 파이프라인을 평가하는 데 도움이 됩니다. 각 메트릭은 시스템의 다른 계층과 연결됩니다.

• 운영 메트릭은 시스템이 대규모로 사용자를 지원할 만큼 빠르고 안정적인지 확인합니다. 이는 수집, 검색 및 개선 단계 전반에 걸쳐 중요합니다.
• 검색 품질 메트릭은 시스템이 실제로 관련성 있는 후보를 검색하고 순위를 매기고 있는지 측정하며, 순위 지정 및 재순위 지정이 발생하는 검색 및 개선 단계와 가장 밀접하게 관련됩니다.
• 사용자 참여 지표는 사용자가 클릭, 개선 또는 최종적으로 전환하는지 여부와 같은 실제 행동을 포착하여 검색 및 개선 사항을 시간이 지남에 따라 개선하는 데 도움이 되는 피드백을 제공합니다.

Databricks에서 검색 시스템을 평가할 때 몇 가지 실용적인 지침:

• 단일 지표만 최적화하지 말고 지표의 균형을 맞추세요. 효과적인 검색 시스템은 여러 지표의 균형을 맞춰야 합니다. 모든 지표에서 동시에 이기는 경우는 드뭅니다. 예를 들어, 정밀도를 공격적으로 최적화하면 지연 시간이 증가하거나 관련 결과가 숨겨져 결국 구매자가 좌절하게 될 수 있습니다.
• 실시간 지연 시간을 주의 깊게 모니터링하세요. 지연 시간을 파이프라인 단계별로 분석하고 p95/p99와 같은 후행 지연 시간을 추적하여 병목 현상을 신속하게 식별하세요. 캐싱과 같은 기술은 엄격한 지연 시간 SLA를 충족하는 데 도움이 될 수 있습니다.
• 지표를 체계적으로 추적하세요. MLflow를 사용하여 실험 전반에 걸쳐 검색 및 참여 지표를 기록하고 평가하세요. 검색 품질 평가를 위한 기본 검색 기능이 곧 Databricks Vector Search에 추가되어 이 작업이 더욱 쉬워질 것입니다.

대규모 프로덕션 검색 — FOX Sports

FOX Sports는 Databricks Vector Search를 기반으로 AI 기반 검색창을 구축하여 초당 수천 건의 쿼리를 처리하고 쿼리 성공률을 2배 향상했습니다. Super Bowl LIX에 출시된 이 아키텍처는 이 블로그에서 다룬 몇 가지 패턴을 보여줍니다.

• 실시간 수집. Spark Structured Streaming은 게시되는 콘텐츠를 Delta Sync 인덱스로 지속적으로 수집합니다.
• 2단계 검색. 플레이어 및 팀에 대한 정확한 개체 일치와 기사 및 비디오에 대한 시간 가중치 의미 검색은 Databricks Model Serving에서 조정됩니다.
• 프로덕션 최적화. 캐싱 계층과 인기 검색 기능(모든 검색 요청의 25% 이상을 처리함)은 라이브 이벤트 중 높은 트래픽 급증을 처리합니다.

검색에서 지능형 애플리케이션으로

제품 검색은 독립적으로 존재하지 않습니다. 이는 더 넓은 애플리케이션 스택의 한 계층입니다. Databricks 플랫폼의 나머지 부분이 Vector Search 위에 구축할 수 있는 기능을 확장하는 방법은 다음과 같습니다.

Lakebase를 사용한 실시간 애플리케이션

고객 대면 검색 애플리케이션(마켓플레이스, 제품 카탈로그, 미디어 플랫폼)의 경우 검색 인덱스는 이야기의 일부일 뿐입니다. 애플리케이션에는 운영 상태(재고 수준, 가격 책정, 사용자 세션, 개인화 기본 설정)를 위한 트랜잭션 데이터베이스도 필요합니다. Lakebase는 Databricks 플랫폼과 기본적으로 통합된 완전 관리형 PostgreSQL 호환 데이터베이스로 이를 제공합니다. Delta Lake와의 관리형 양방향 동기화는 순위 모델이 최신 운영 데이터에 대해 학습하고 분석적 통찰력이 애플리케이션 계층으로 다시 흐르도록 보장하며, 이 모든 것은 Unity Catalog에서 관리됩니다.

Agent Bricks를 사용한 에이전트 기반 검색

Databricks는 모든 Vector Search 인덱스에 대해 관리형 MCP 서버를 자동으로 제공하여 여러 통합 패턴을 잠금 해제합니다.

• 지식 도우미. 문서에 대한 질문-답변 챗봇입니다. Vector Search 인덱스를 가리키면 프로덕션 준비가 된 문서 검색과 인용을 얻을 수 있습니다. 내부적으로 Instructed Retriever를 사용합니다. 일반 RAG보다 70% 더 정확하고 에이전트 RAG보다 30% 더 정확합니다.
• 사용자 지정 에이전트. 모든 프레임워크(OpenAI Agents SDK, LangGraph, LlamaIndex)에서 VectorSearchRetrieverTool 또는 MCP를 사용하세요. 검색 매개변수, 임베딩 및 필터에 대한 완전한 제어 권한을 갖습니다. MLflow 추적을 사용하여 Databricks Apps로 배포하세요.
• 감독 에이전트. 여러 하위 에이전트를 조정합니다. 문서 Q&A를 위한 지식 도우미, 구조화된 데이터 쿼리를 위한 Genie 공간, 사용자 지정 비즈니스 논리를 위한 UC 함수 — 이 모든 것은 단일 감독자에 의해 조정됩니다.

결론

현대적인 제품 검색 시스템을 구축하려면 검색 인덱스 이상의 것이 필요합니다. 실제 규모, 성능 및 관찰 가능성을 처리하도록 설계된 인프라가 필요합니다.

• 낮은 지연 시간 실행. 쿼리 이해, 검색, 필터링 및 재순위는 엄격한 p95/p99 지연 시간 예산 내에서 완료되어야 합니다.
• 하이브리드 검색 기능. 의미론적 유사성(임베딩)과 가격, 카테고리 또는 가용성과 같은 구조화된 필터링을 결합합니다.
• 부하 시 확장성. 성능 저하 없이 피크 트래픽 동안 높은 QPS 및 동시성을 유지합니다.
• 관찰 가능성. 지연 시간 분석, 순위 성능 및 전반적인 시스템 상태에 대한 명확한 가시성을 유지합니다.
• 기본적으로 에이전트 준비. 모든 Vector Search 인덱스는 MCP 도구이므로 지식 도우미, 사용자 지정 에이전트 및 감독 에이전트에서 즉시 사용할 수 있습니다.
• 전체 스택 운영 지원. Lakebase는 ETL 없이 Delta에 동기화된 실시간 애플리케이션 상태를 위한 트랜잭션 데이터베이스를 제공합니다.

구축할 준비가 되셨나요? 검색 품질 가이드를 따라 검색 파이프라인을 벤치마킹하고 최적화하고, FOX Sports가 대규모로 AI 기반 검색을 구축한 방법을 확인하고, Vector Search 설명서를 자세히 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)