작성자: Joel Bowen , Jacob Portes
Ibotta의 미션은 '모든 구매를 보람 있게 만드는 것(Make Every Purchase Rewarding)'입니다. 저희가 'Saver'라고 부르는 사용자들이 D2C(direct-to-consumer) 앱, 브라우저 확장 프로그램, 웹사이트를 통해 관련 혜택을 찾고 활성화하도록 돕는 것은 이 미션의 핵심적인 부분입니다. 저희의 D2C 플랫폼은 수백만 명의 쇼핑객이 식료품 할인을 받거나, 보너스 리워드를 적립하거나, 다음 여행을 계획하는 등 일상적인 구매에서 캐시백을 받을 수 있도록 지원합니다. 또한 Ibotta Performance Network(IPN)을 통해 Walmart, Dollar General 등 리테일 업계의 대기업들을 위한 화이트 레이블 캐시백 프로그램을 운영하며, 2,600개 이상의 브랜드가 파트너 에코시스템 전반에서 디지털 혜택을 통해 2억 명 이상의 소비자에게 도달할 수 있도록 돕고 있습니다.
보이지 않는 곳에서 저희의 데이터 및 머신러닝 팀은 사기 탐지, 혜택 추천 엔진, 검색 관련성 등 핵심적인 경험을 지원하여 Saver의 여정을 개인화되고 안전하게 만들고 있습니다. 비즈니스가 계속 확장됨에 따라, 모든 접점에서의 모든 상호작용을 지원하는 데이터 기반의 지능형 시스템이 필요합니다.
D2C와 IPN 전반에서 검색은 참여를 유도하는 데 중추적인 역할을 하며, 비즈니스 규모, 진화하는 혜택 콘텐츠, 변화하는 Saver의 기대치에 발맞추어 발전해야 합니다.
이번 블로그 글에서는 야 심 찬 해커톤 프로젝트에서 시작해 현재 수백만 명의 Saver에게 혜택을 제공하는 강력한 프로덕션 기능으로 거듭나기까지, 저희가 D2C 검색 경험을 어떻게 획기적으로 개선했는지 살펴보겠습니다.
사용자의 검색 행동은 단순한 키워드 검색에서 자연어, 오타, 대화형 문구 등을 포함하는 방식으로 진화했습니다. 현대적인 검색 시스템은 사용자가 입력한 단어와 실제 의도 사이의 격차를 좁혀야 하며, 검색어가 콘텐츠와 정확히 일치하지 않더라도 문맥과 관계를 해석하여 관련성 높은 결과를 제공해야 합니다.
Ibotta의 기존 자체 구축 검색 시스템은 때로 진화하는 Saver의 기대치를 따라잡는 데 어려움을 겪었고, 저희는 이를 개선할 기회가 있음을 인지했습니다.
저희가 발견한 주요 개선 기회 영역은 다음과 같습니다.
저희는 시스템이 변화하는 혜택 콘텐츠, 검색 행동, 진화하는 Saver의 기대치에 더 잘 발맞출 수 있다고 믿었습니다. 그리고 Saver와 브랜드 파트너 모두에게 더 큰 가치를 제공할 수 있는 기회를 보았습니다.
기존 검색 시스템의 한계를 해결하려면 집중적인 노력이 필요했습니다. 이 이니셔티브는 사내 해커톤을 통해 큰 추진력을 얻었습니다. 데이터, 엔지니어링, 마케팅 분석, 머신러닝 팀의 멤버들로 구성된 다기능(cross-functional) 팀이 모여, 일부 멤버들이 Databricks Data + AI Summit에서 접했던 Databricks AI Search를 사용해 현대적인 대체 검색 시스템을 구축하자는 아이디어를 냈습니다.
단 3일 만에 저희 팀은 시맨틱하게 관련성 높은 검색 결과를 제공하는 작동 가능한 개념 증명(PoC)을 개발했습니다. 진행 방식은 다음과 같습니다.
이 해커톤 프로젝트는 1위를 차지했으며, 프로토타입을 프로덕션 시스템으로 전환하기 위한 강력한 내부 지지와 추진력을 얻었습니다. 몇 달 동안 Databricks 엔지니어 및 연구원들과의 긴밀한 협력을 통해, 저희는 프로토타입을 강력하고 완전한 기능을 갖춘 프로덕션 검색 시스템으로 탈바꿈시켰습니다.
해커톤 개념 증명(PoC)을 프로덕션 준비 상태의 시스템으로 이전하려면 신중한 반복 작업과 테스트가 필요했습니다. 이 단계는 기술적 통합과 성능 튜닝뿐만 아니라, 예상했던 시스템 개선 사항이 Saver의 행동 및 참여에 긍정적인 변화로 이어지는지 평가하는 데도 매우 중요했습니다. 내부 시스템 전반에 걸친 검색의 필수적인 역할과 긴밀한 통합을 고려하여, 저희는 다음과 같은 접근 방식을 선택했습니다. 기존 검색 시스템을 호출하던 핵심 내부 서비스를 수정하여 해당 호출을 Databricks AI Search 엔드포인트로 향하는 요청으로 대체하는 동시에, 기존 시스템으로의 강력하고 유연한 폴백(fallback) 메커니즘을 구축했습니다.
초기 작업의 대부분은 다음 사항을 파악하는 데 집중되었습니다.
첫 달에는 소수의 Saver를 대상으로 테스트를 진행했으나, 기대했던 참여 결과를 얻지 못했습니다. 특히 가장 활발하게 활동하는 Saver들 사이에서 참여도가 감소했으며, 이는 클릭 수, 언락(Saver가 혜택에 관심을 표명할 때) 수 및 활성화 수의 감소로 나타났습니다.
하지만 AI Search 솔루션은 다음과 같은 상당한 이점을 제공했습니다.
시스템의 기본적인 기술 성능에 만족한 저희는, 향상된 유연성이 검색 결과 품질을 반복적으로 개선하고 아쉬웠던 참여 결과를 극복하는 데 필요한 핵심 강점이라고 판단했습니다.
초기 테스트 결과에 비추어 볼 때, 검색 반복 작업을 위해 오직 A/B 테스트에만 의존하 는 것은 분명 비효율적이고 비현실적이었습니다. 임베딩 모델, 텍스트 조합, 하이브리드 검색 설정, ANN(Approximate Nearest Neighbors) 임계값, 리랭킹(reranking) 옵션 등 검색 품질에 영향을 미치는 변수가 너무나 많았기 때문입니다.
이러한 복잡성을 해결하고 진행 속도를 높이기 위해, 저희는 강력한 평가 프레임워크를 구축하기로 결정했습니다. 이 프레임워크는 저희의 구체적인 비즈니스 요구사항에 맞춤화되어야 했으며, 오프라인 성능 메트릭을 통해 실제 사용자 참여를 예측할 수 있어야 했습니다.
저희 프레임워크는 50개 이상의 온라인 및 오프라인 메트릭을 추적하는 합성 평가 환경을 중심으로 설계되었습니다. 오프라인에서는 관련성을 측정하기 위해 MRR(Mean Reciprocal Rank) 및 precision@k와 같은 표준 정보 검색 메트릭을 모니터링했습니다. 결정적으로, 이는 혜택 언락 및 클릭률과 같은 온라인상의 실제 참여 시그널과 결합되었습니다. 핵심적인 결정은 LLM-as-a-judge를 도입한 것이었습니다. 이를 통해 온라인 쿼리-결과 쌍과 오프라인 출력 모두에 데이터를 레이블링하고 품질 점수를 부여할 수 있었습니다. 이러한 접근 방식은 신뢰할 수 있는 메트릭을 기반으로 신속하게 반복 작업을 수행하고, 향후 모델 미세 조정(fine-tuning)에 필요한 레이블링된 데이터를 수집하는 데 매우 중요한 역할을 했습니다.
이 과정에서 저희는 다음을 포함하여 Databricks Data Intelligence Platform의 다양한 기능을 활용했습니다.
이 강력한 프레임워크 덕분에 반복 속도와 신뢰도가 크게 향상되었습니다. 당사는 AI Search 솔루션에서 다음과 같은 주요 변수 변경 사항을 체계적으로 테스트하며 30회 이상의 고유한 반복을 수행했습니다.
이 평가 프레임워크는 개발 프로세스를 완전히 바꾸어 놓았으며, 사용자에게 노출하기 전에 신속하게 데이터 기반 의사 결정을 내리고 잠재적인 개선 사항을 높은 신뢰도로 검증할 수 있게 해 주었습니다.
실망스러운 참여 결과를 보인 초기 광범위한 테스트 이후, 당사는 오프라인 평가에서 유망한 것으로 확인된 특정 모델의 성능을 탐색하는 데 초점을 맞추었습니다. AI 게이트웨이를 통해 안전하게 액세스할 수 있는 프로덕션 테스트용 외부 임베딩 모델 2개를 선택했습니다. 이 모델들을 사용하여 프로덕션 환경에서 단기적인 반복 테스트(며칠간 지속됨)를 수행했습니다.
초기 결과에 만족하여, 당사는 가장 우수한 외부 모델 및 최적화된 구성을 기존 레거시 시스템과 비교하는 더 길고 포괄적인 프로덕션 테스트를 진행했습니다. 이 테스트는 엇갈린 결과를 낳았습니다. 참여 지표의 전반적인 개선을 관찰하고 이전의 부정적인 영향을 성공적으로 제거했지만, 이러한 이점은 대부분 한 자릿수 비율 증가에 그쳐 미미했습니다. 이러한 점진적인 이점은 기존 검색 환경을 완전히 교체하는 것을 정당화할 만큼 매력적이지 않았습니다.
그러나 더 우려스러운 점은 세부 분석을 통해 얻은 인사이트였습니다. 특정 검색 쿼리의 성능은 크게 향상된 반면, 다른 쿼리는 기존 레거시 솔루션에 비해 결과가 더 나빠졌습니다. 이러한 불일치는 심각한 아키텍처적 딜레마를 야기했습니다. 당사는 예측된 성능을 기반으로 쿼리를 라우팅하는 복잡한 트래픽 분할 시스템(두 개의 고유한 검색 환경을 유지해야 하고 규칙 기반 라우팅 관리라는 새롭고 복잡한 레이어가 도입되는 방식)을 구현하거나, 아니면 한계를 받아들여야 하는 매력적이지 않은 선택에 직면했습니다.
이는 중요한 기점이었습니다. 계속 진행할 만큼 충분한 가능성을 보았지만, 자체 개발한 검색 시스템을 완전히 교체하려면 더 큰 개선이 필요했습니다. 이에 따라 미세 조정(fine-tuning)을 시작하게 되었습니다.
이전에 탐색한 외부 임베딩 모델은 기술적 가능성과 약간의 참여도 개선을 보여주었지만, Ibotta의 장기적인 솔루션으로는 받아들일 수 없는 심각한 한계도 안고 있었습니다. 여기에는 다음이 포함됩니다.
앞으로 나아갈 명확한 방향은 Ibotta의 데이터와 Saver의 요구 사항에 특별히 맞춤화된 모델을 미세 조정하는 것이었습니다. 이는 맞춤형 평가 프레임워크 내의 LLM-as-a-judge 프로세스를 통해 실제 사용자로부터 축적한 수백만 건의 레이블이 지정된 검색 상호작용 덕분에 가능했습니다. 이 고품질 프로덕션 데이터는 우리의 소중한 학습 데이터가 되었습니다.
그런 다음 당사는 오프라인 평가 프레임워크를 광범위하게 활용하여 체계적인 미세 조정 프로세스에 착수했습니다.
주요 요소는 다음과 같습니다.
프레임워크 내에서 수많은 반복과 평가를 거친 후, 당사의 최고 성능 미세 조정 모델은 합성 평가에서 가장 우수한 외부 베이스라인을 20% 차이로 앞섰습니다. 이러한 설득력 있는 오프라인 결과는 다음 프로덕션 테스트를 가속화하는 데 필요한 자신감을 심어주었습니다.
기술적 엄격함과 반복적인 프로세스가 결실을 맺었습니다. 당사는 Ibotta의 독특한 제안 카탈로그와 사용자 행동 패턴에 특별히 최적화된 검색 솔루션을 설계하여 기대를 뛰어넘는 결과를 얻었으며, 비즈니스와 함께 발전하는 데 필요한 유연성을 확보했습니다. 이러한 강력한 결과를 바탕으로 프로덕션 검색 시스템의 기반으로서 Databricks AI Search로의 마이그레이션을 가속화했습니다.
자체 미세 조정된 임베딩 모델을 사용한 최종 프로덕션 테스트에서 다음과 같은 개선 사항을 관찰했습니다.
사용자 측면의 이점 외에도 새로운 시스템은 뛰어난 성능을 제공했습니다. AI Search 쿼리 성능과 미세 조정된 모델의 낮은 오버헤드 덕분에 검색 시스템의 지연 시간이 60% 감소했습니다.
이 새로운 기반의 유연성을 활용하여 Query Transformation(모호한 쿼리 강화) 및 Multi-Search(일반 용어 분산)와 같은 강력한 개선 기능도 구축했습니다. 관련성이 높은 핵심 모델, 향상된 시스템 성능, 지능형 쿼리 개선 기능의 결합으로 더 스마트하고 빠르며 궁극적으로 더 가치 있는 검색 환경이 구현되었습니다.
임베딩 모델의 한 가지 과제는 신생 브랜드와 같은 틈새 키워드에 대한 이해가 제한적이라는 점입니다. 이를 해결하기 위해 사전 정의된 규칙에 따라 전송 중인 검색어를 동적으로 강화하는 쿼리 변환 레이어를 구축했습니다.
예를 들어, 사용자가 임베딩 모델이 인식하지 못할 수 있는 신생 요거트 브랜드를 검색하는 경우, AI Search로 보내기 전에 브랜드 이름과 함께 "그릭 요거트"를 추가하도록 쿼리를 변환할 수 있습니다. 이를 통해 하이브리드 검색을 위한 원본 텍스트를 보존하는 동시에 임베딩 모델에 필요한 제품 컨텍스트를 제공할 수 있습니다.
이 기능은 파인튜닝 프로세스와도 긴밀하게 연동됩니다. 성공적인 변환은 학습 데이터를 생성하는 데 사용할 수 있습니다. 예를 들어, 향후 학습 실행에서 원래 브랜드 이름을 쿼리로 포함하고 관련 요거트 제품을 긍정적인 결과(positive results)로 포함하면 모델이 이러한 특정 연관 관계를 학습하는 데 도움이 됩니다.
"아기"와 같이 광범위하고 일반적인 검색의 경우, AI Search는 처음에 제한된 수의 후보만 반환할 수 있으며, 타겟팅 및 예산 관리에 의해 필터링되어 더 줄어들 수도 있습니다. 이 문제를 해결하고 결과의 다양성을 높이기 위해, 단일 검색어를 여러 관련 검색으로 확장하는 멀티 검색 기능을 구축했습니다.
단순히 "아기"만 검색하는 대신, 시스템이 "이유식", "아동복", "아기 약", "기저귀" 등과 같은 검색어에 대해 병렬 검색을 자동으로 실행합니다. AI Search의 낮은 지연 시간(latency) 덕분에 사용자에게 전달되는 전체 응답 시간을 늘리지 않고도 여러 검색을 병렬로 실행할 수 있습니다. 이를 통해 광범위한 카테고리 검색에 대해 훨씬 더 넓고 다양한 관련 결과 세트를 제공합니다.
성공적인 최종 프로덕션 테스트와 사용자 기반을 대상으로 한 Databricks AI Search의 전체 배포를 통해 긍정적인 참여 결과, 향상된 유연성, Query Transformation 및 멀티 검색과 같은 강력한 검색 도구를 제공한 후, 이 프로젝트 여정은 몇 가지 귀중한 교훈을 남겼습니다.
파인튜닝된 임베딩 모델이 현재 모든 D2C(direct-to-consumer) 채널에 적용됨에 따라, 다음 단계로 이 솔루션을 IPN(Ibotta Performance Network)으로 확장하는 방안을 모색할 계획입니다. 이를 통해 퍼블리셔 네트워크 전반의 수백만 명의 쇼퍼들에게 개선된 혜택 발견(offer discovery) 경험을 선사할 수 있을 것입니다. Databricks를 통해 레이블링된 데이터를 계속 수집하고 모델을 고도화해 나가면서, 파트너의 요구사항과 고객의 기대에 부응하여 검색 경험을 발전시킬 수 있는 좋은 입지를 확보했다고 믿습니다.
해커톤 프로젝트에서 프로덕션 시스템에 이르기까지의 이번 여정은 적절한 도구와 지원이 있다 면 핵심 제품 경험을 빠르게 재구상하는 것이 가능하다는 것을 증명했습니다. Databricks는 저희가 신속하게 움직이고, 효과적으로 파인튜닝하며, 궁극적으로 저희 Savers들에게 모든 검색이 더욱 보람찬 경험이 되도록 만드는 데 중추적인 역할을 했습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.