벡터 검색이란 무엇인가요?

벡터 검색은 단순히 키워드를 매칭하는 것을 넘어 의미를 기반으로 결과를 찾는 검색 기술입니다. 기존의 검색 방식이 정확한 단어를 매칭하는 반면, 벡터 검색은 임베딩을 비교합니다. 이러한 수치적 표현은 텍스트, 이미지, 오디오 및 기타 콘텐츠의 의미를 포착합니다.

결과는 공통된 단어가 아니라 임베딩이 쿼리의 임베딩과 얼마나 밀접하게 일치하는지에 따라 순위가 매겨집니다. 이로 인해 벡터 검색은 현대적인 AI 비서, 시맨틱 검색 시스템 및 검색 증강 생성(RAG)의 핵심 검색 레이어가 됩니다.

이 가이드에서는 벡터 검색의 작동 방식, 키워드 및 시맨틱 검색과의 비교, 일반적인 예시와 사용 사례, 그리고 실제 환경에서 이를 평가하는 방법을 다룹니다.

벡터 검색은 어떻게 작동하나요?

벡터 검색은 임베딩 생성, 인덱스 구축, 해당 인덱스에 대한 쿼리 매칭의 세 단계로 작동합니다.

1. 임베딩 생성
   모델이 각 항목을 의미를 포착하는 수치적 표현인 임베딩으로 변환합니다. 문서, 제품 설명, 이미지, 오디오 클립 모두 이 방식으로 표현할 수 있습니다. 의미가 유사한 항목은 유사한 임베딩을 갖는 경향이 있습니다.
2. 인덱스 구축
   이러한 임베딩은 빠른 유사도 검색을 위해 설계된 구조에 저장됩니다. 인덱스를 사용하면 수백만 개의 항목을 효율적으로 검색할 수 있습니다.
3. 쿼리 매칭
   쿼리가 들어오면 동일한 모델을 사용하여 임베딩으로 변환됩니다. 그런 다음 시스템은 쿼리와 가장 가까운 저장된 임베딩을 찾아 관련 결과를 반환합니다.

가장 가까운 일치 항목을 찾는 것을 최근접 이웃 검색이라고 합니다. 가장 간단한 접근 방식인 k-최근접 이웃(k-NN) 검색은 쿼리를 인덱스의 모든 항목과 비교하여 가장 가까운 k개의 일치 항목을 반환합니다. 정확하지만 데이터 세트가 수백만 개로 늘어나면 속도가 너무 느려집니다.

대부분의 프로덕션 시스템은 대신 근사 최근접 이웃(ANN) 검색을 사용합니다. ANN은 모든 항목을 비교하지 않고도 일치할 가능성이 높은 항목을 식별하기 위해 특화된 인덱스를 사용합니다. 약간의 정확도를 희생하는 대신 성능을 극적으로 향상시켜 대규모 환경에서 벡터 검색을 실용적으로 만듭니다.

실제 환경에서의 벡터 검색

간단한 검색 예시를 통해 벡터 검색이 키워드 검색과 어떻게 다른지 알아볼 수 있습니다.

"dog"를 검색하는 경우를 예로 들어 보겠습니다. 키워드 검색은 해당 단어가 정확히 포함된 결과를 반환합니다. 벡터 검색은 "puppy", "canine", "golden retriever"에 대한 결과도 반환할 수 있습니다. 이러한 용어들은 서로 다른 단어를 사용하지만 개념적으로 "dog"와 관련이 있습니다. 검색 엔진이 정확한 단어가 아닌 개념을 찾고 있기 때문입니다.

벡터 검색은 다양한 포맷 간에도 작동합니다. "red sneakers"(빨간 운동화)와 같은 텍스트 쿼리는 이미지에 텍스트가 포함되어 있지 않더라도 설명과 일치하는 제품 이미지를 반환할 수 있습니다. 키워드 검색은 단어 매칭에 의존하기 때문에 이러한 연결을 만들 수 없습니다. 벡터 검색은 포맷에 관계없이 시맨틱 유사성을 기반으로 콘텐츠를 검색합니다.

벡터 검색 vs. 키워드 검색

키워드 검색은 단어를 매칭합니다. 벡터 검색은 의미를 매칭합니다. 두 방식 모두 장점이 있으므로 벡터 검색은 키워드 검색을 대체하기보다는 보완하는 역할을 합니다.

정확히 일치하는 검색은 주문 ID, 제품 코드, 알려진 문서 제목과 같은 정형화된 쿼리에 여전히 가장 적합한 도구입니다.

가장 강력한 검색 시스템은 두 가지 접근 방식을 결합합니다. 아래의 하이브리드 검색 섹션에서 그 방법을 설명합니다.

벡터 검색 vs. 시맨틱 검색

시맨틱 검색과 벡터 검색은 밀접한 관련이 있지만 동일한 것은 아닙니다. 시맨틱 검색은 사용자가 의미와 문맥을 바탕으로 관련 정보를 찾을 수 있도록 돕는 '결과'입니다. 벡터 검색은 이를 달성하기 위해 사용되는 가장 일반적인 '기술' 중 하나입니다.

시맨틱 검색은 특정 기술이 아닌 결과를 설명하는 개념이므로 다양한 방식으로 구현될 수 있습니다. 많은 현대적인 시스템에서 벡터 검색은 시맨틱 검색을 구현하는 핵심 엔진 역할을 합니다.

밀집 벡터 vs. 희소 벡터

밀집 벡터와 희소 벡터는 서로 다른 종류의 검색 문제를 해결하기 위해 설계되었습니다.

밀집 벡터는 전반적인 의미와 문맥을 포착합니다. 시스템이 서로 다른 단어가 사용되더라도 관련 아이디어, 동의어 및 개념을 인식할 수 있도록 도와줍니다. 머신러닝 모델에 의해 생성되며 시맨틱 및 다국어 매칭에 적합합니다.

희소 벡터는 전통적인 키워드 검색과 더 유사하게 작동합니다. 대부분의 값은 0이며, 콘텐츠에 나타나는 용어에 대해서만 0이 아닌 값을 가집니다. BM25와 같은 알고리즘에 의해 생성되며 정확한 용어 매칭에 뛰어납니다. 제품 코드, 고유 명사, 특정 식별자 등을 검색할 때 희소 벡터가 유용하게 사용됩니다.

밀집 벡터와 희소 벡터를 결합하는 것이 하이브리드 검색의 기초입니다. 이러한 결합은 프로덕션 환경에서 가장 신뢰할 수 있는 결과를 제공하는 경우가 많습니다.

하이브리드 검색이란 무엇인가요?

하이브리드 검색은 벡터 기반 결과와 키워드 기반 결과를 하나의 순위로 혼합합니다. 의미 기반 검색과 정확히 일치하는 검색을 하나의 검색 환경에 결합하므로 프로덕션 시스템에서 실용적인 기본값으로 자주 사용됩니다. 벡터 검색은 제품 코드, 이름 또는 식별자가 임베딩 공간에서 항상 가깝게 군집화되지 않기 때문에 이를 놓칠 수 있습니다. 키워드 검색은 다른 단어를 사용하는 관련 결과를 놓칠 수 있습니다. 하이브리드 검색은 각 접근 방식의 장점을 결합하여 이 두 가지 문제를 모두 해결합니다.

대부분의 하이브리드 검색 시스템에는 리랭킹 단계도 포함됩니다. 리랭킹은 결과를 재정렬하여 가장 잘 일치하는 항목을 맨 위에 배치하는 두 번째 단계입니다. 결과적으로 하이브리드 검색은 단일 방법보다 더 신뢰할 수 있는 관련성을 제공하는 경우가 많습니다. Databricks 플랫폼은 빌트인 리랭킹 기능과 함께 시맨틱 및 키워드 검색을 결합한 하이브리드 인덱스를 지원합니다.

벡터 검색의 일반적인 사용 사례

벡터 검색은 정확한 키워드 매칭보다는 관련성 높은 결과를 찾는 데 의존하는 애플리케이션에 강력한 성능을 제공합니다.

검색 증강 생성(RAG)

검색 증강 생성(RAG)은 AI 비서가 모델이 이미 알고 있는 정보에만 전적으로 의존하는 대신 최신의 관련성 높은 정보를 사용하여 질문에 답변할 수 있도록 돕습니다. 답변을 하기 전에 비서는 지식 베이스에서 관련 콘텐츠를 검색합니다. 벡터 검색은 해당 콘텐츠를 찾는 검색 레이어 역할을 합니다.

문서는 더 작은 청크로 분할되므로 시스템은 가장 관련성이 높은 문서뿐만 아니라 가장 관련성이 높은 구절을 검색할 수 있습니다. 이러한 접근 방식 덕분에 RAG는 벡터 검색에서 가장 빠르게 성장하는 애플리케이션 중 하나가 되었습니다. RAG 및 벡터 데이터베이스에 대해 자세히 알아보세요.

시맨틱 문서 및 엔터프라이즈 검색

사람들이 정확한 단어 대신 의미로 검색할 때 내부 지식 베이스, 티켓 시스템, 문서 저장소의 유용성이 더욱 높아집니다. 예를 들어 "parental leave policy"(육아휴직 정책)라는 쿼리는 해당 문서의 제목이 "family benefits guide"(가족 혜택 가이드)이더라도 올바른 HR 문서를 찾아낼 수 있습니다. 벡터 검색을 사용하면 정확한 문구를 입력하지 않고도 기업 지식을 더 쉽게 찾을 수 있습니다.

추천 및 유사도 검색

추천 엔진은 벡터 검색을 사용하여 사용자가 이미 보고 있는 콘텐츠와 개념적으로 유사한 제품, 기사, 동영상 및 기타 콘텐츠를 찾습니다. 이는 "이 상품을 좋아한 고객이 좋아한 다른 상품" 추천과 같이 친숙한 경험을 제공합니다. 시스템은 단순히 현재 항목과 임베딩이 가장 가까운 항목을 찾습니다.

멀티모달 및 다국어 검색

벡터 검색은 다양한 포맷과 언어 간에 매칭할 수 있습니다. "hiking boots for wet terrain"(젖은 지형용 등산화)과 같은 텍스트 쿼리는 이미지에 텍스트가 포함되어 있지 않더라도 관련 제품 이미지를 반환할 수 있습니다. 영어로 된 쿼리로 스페인어로 작성된 관련 문서를 검색할 수도 있습니다. 이로 인해 벡터 검색은 글로벌 기업과 다양한 콘텐츠 유형을 다루는 애플리케이션에 유용합니다.

사기 및 이상 탐지

벡터 검색은 정상적인 항목에서 멀리 떨어진 항목을 찾아내어 비정상적인 패턴을 식별하는 데 도움을 줄 수 있습니다. 사기 탐지에서는 일반적인 활동과 크게 달라 보이는 거래를 검토 대상으로 표시할 수 있습니다. 동일한 접근 방식을 네트워크 트래픽, 제조 시스템 및 기타 운영 데이터의 이상을 탐지하는 데 사용할 수 있습니다.

벡터 검색을 위해 벡터 데이터베이스가 꼭 필요한가요?

항상 그렇지는 않습니다. 적절한 접근 방식은 규모, 성능 요구 사항 및 기존 인프라에 따라 달라집니다. 기업들은 일반적으로 벡터 데이터베이스, 벡터 기능이 있는 검색 엔진 또는 유사도 검색 라이브러리를 사용하여 벡터 검색을 구현합니다. 벡터 데이터베이스에 대해 자세히 알아보세요.

관리형 서비스를 사용하면 설정 시간, 운영 오버헤드 및 지속적인 유지 관리 비용을 줄일 수 있습니다. Databricks 플랫폼은 단일 서비스에서 벡터 검색, 키워드 검색, 메타데이터 필터링 및 리랭킹(reranking)을 결합한 Databricks AI Search를 통해 내장형 벡터 데이터베이스를 제공합니다. 또한 Unity Catalog과 같은 AI 거버넌스 기능과 통합되어 조직이 AI 애플리케이션에 일관된 제어를 적용할 수 있도록 지원합니다.

운영상의 트레이드오프 및 품질 고려 사항

실제 환경에 벡터 검색을 구현하는 것은 첫 단계에 불과합니다. 프로덕션 환경에서 지속적인 신뢰성, 성능 및 정확성을 보장하려면 여러 주요 운영 영역에서 이러한 시스템을 지속적으로 튜닝하고 유지 관리해야 합니다.

비용 및 성능

대규모 벡터 인덱스는 메모리와 컴퓨팅 리소스를 소모하므로 인프라 비용이 증가합니다. 데이터 세트가 커지고 쿼리 볼륨이 늘어남에 따라 이러한 비용도 함께 증가합니다. 더 빠르고 정확한 검색을 위해서는 대개 더 많은 리소스가 필요하므로, 팀은 성능, 품질, 비용의 균형을 맞춰야 합니다.

인덱스 최신 상태 유지

소스 콘텐츠가 변경될 때 벡터 인덱스가 자동으로 업데이트되지는 않습니다. 문서가 추가, 수정 또는 삭제되면 이러한 변경 사항을 반영하기 위해 인덱스를 새로 고쳐야 합니다. 정기적인 업데이트가 없으면 검색 결과가 오래되어 중요한 새로운 정보를 놓칠 수 있습니다.

품질 평가

시스템을 튜닝하기 전에, 이미 좋은 결과를 알고 있는 대표적인 쿼리로 구성된 소규모 테스트 세트를 구축하세요. 품질을 측정한다는 것은 해당 쿼리에 대해 올바른 결과가 상단 근처에 표시되는지 확인하는 것을 의미합니다. 이를 통해 향후 변경 사항을 평가하기 위한 기준선(baseline)이 마련됩니다.

두 가지 요소가 관련성에 큰 영향을 미치는 경우가 많습니다. 메타데이터 필터는 유사도 순위가 실행되기 전에 태그, 날짜 또는 카테고리별로 결과를 좁혀줍니다. 이는 시맨틱 매칭(semantic matching)이 너무 많은 결과를 반환할 때 정밀도(precision)를 향상시킬 수 있습니다.

임베딩 품질은 임베딩을 생성하는 데 사용되는 모델에 따라 달라집니다. 범용 모델은 전문 용어를 잘 포착하지 못할 수 있습니다. 의료, 법률, 금융 서비스 등 업계 특화된 언어를 사용하는 도메인의 경우, 도메인에 맞게 튜닝된 모델을 사용하면 검색(retrieval) 품질을 향상시킬 수 있습니다.

Databricks 플랫폼의 AI Search

Databricks AI Search는 Databricks 플랫폼에 내장된 관리형 벡터 데이터베이스입니다. 단일 서비스에서 시맨틱 검색, 키워드 검색, 메타데이터 필터링 및 리랭킹을 지원합니다. 기존 데이터, 거버넌스 및 생산성 도구와 통합되므로 팀은 별도의 플랫폼을 번거롭게 연결할 필요 없이 검색 시스템을 구축할 수 있습니다.

AI Search는 조직이 이미 Databricks에서 관리하고 있는 데이터에 직접 연결되므로 데이터를 이동하거나 복제할 필요성이 줄어듭니다. 또한 Unity Catalog과 같은 거버넌스 기능과 통합되어 기존 액세스 제어 및 계보(lineage) 정책을 검색 워크로드로 확장할 수 있습니다.

자주 묻는 질문

How is vector search used in RAG applications?

RAG 시스템에서는 사용자의 쿼리가 임베딩으로 변환되어 벡터 인덱스의 문서 청크 라이브러리와 대조됩니다. 가장 유사한 일치 항목이 검색되어 언어 모델에 컨텍스트로 전달됩니다. 그런 다음 모델은 학습 데이터에만 의존하는 대신 조직의 자체 데이터를 기반으로 답변을 생성합니다.

When should you use hybrid search instead of vector search alone?

사용자가 제품 코드, 오류 코드 또는 고유 명사와 같은 특정 식별자를 검색할 때, 시맨틱 검색만으로는 이를 놓칠 수 있습니다. 정확한 용어가 임베딩 공간에서 항상 가깝게 정렬되는 것은 아니기 때문입니다. 하이브리드 검색은 벡터 결과와 키워드 결과를 결합하여 단일 순위에서 시맨틱 범위와 정확한 일치 정밀도를 모두 제공합니다.

What makes vector search results more accurate?

여러 요인이 검색 품질에 영향을 미칩니다. 임베딩 모델의 품질은 의미가 얼마나 잘 포착되는지를 결정합니다. 메타데이터 필터는 유사도 순위가 실행되기 전에 검색 범위를 좁혀줍니다. 인덱스의 최신성은 결과가 오래된 정보가 아닌 현재 콘텐츠를 반영하도록 보장합니다.

What are the main trade-offs of vector search?

벡터 검색은 키워드 검색보다 더 많은 메모리와 컴퓨팅 리소스를 필요로 합니다. 대규모 인덱스는 실제 인프라 비용을 수반합니다. ANN 검색은 설계상 근사치 검색이므로, 전수 검색(exhaustive search)에 비해 약간의 정밀도 손실(trade-off)이 발생합니다. 또한 소스 데이터가 변경됨에 따라 인덱스를 최신 상태로 유지하려면 정기적인 새로 고침이 필요합니다. 하이브리드 검색은 복잡성을 가중시키지만, 단독 접근 방식보다 더 신뢰할 수 있는 결과를 제공하는 경우가 많습니다.

How does Databricks AI Search support vector search?

Databricks AI Search는 Databricks 플랫폼에 내장된 서버리스 관리형 벡터 데이터베이스입니다. 하이브리드 검색, 메타데이터 필터링 및 내장형 리랭킹을 지원합니다. 자동화된 동기화 파이프라인은 Delta 테이블 데이터가 변경될 때 인덱스를 최신 상태로 유지하며, Unity Catalog은 거버넌스 제어를 검색 워크로드로 확장합니다.

거버넌스가 적용된 벡터 검색으로 구축 시작하기

벡터 검색은 AI 시스템이 정확한 키워드가 아닌 의미를 기반으로 관련 정보를 찾을 수 있도록 지원합니다. 이 기능은 RAG 애플리케이션 및 추천 엔진부터 엔터프라이즈 검색에 이르기까지 모든 분야의 기반이 됩니다.

AI 시스템이 검색(retrieval)에 점점 더 의존하게 됨에 따라 하이브리드 검색과 신뢰할 수 있는 검색 인프라의 중요성이 더욱 커지고 있습니다. 자세히 알아보려면 Databricks 플랫폼의 AI Search를 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)