벡터 데이터베이스란 무엇인가요?

벡터 데이터베이스는 고차원 벡터로 데이터를 저장하고 관리하도록 설계된 특수 데이터베이스입니다. 이 용어는 데이터에 포함된 특징이나 속성의 수학적 표현인 벡터에서 유래했습니다. 행과 열로 구성된 구조화된 데이터를 처리하는 데 적합한 기존 데이터베이스와 달리, 벡터 데이터베이스 구조는 유사성에 따라 그룹화된 고정된 수의 차원을 가진 벡터 표현으로 정보를 구성합니다.

벡터 데이터베이스 내의 각 벡터는 특정 수의 차원으로 구성되며, 이는 수십 개에서 수천 개까지 다양할 수 있습니다. 차원 수는 데이터의 복잡성과 세분성에 따라 달라집니다. 이 구조를 통해 벡터 데이터베이스는 복잡하고 다면적인 정보를 효율적으로 처리하고 신속한 유사성 기반 검색 및 분석을 수행할 수 있습니다.

벡터 데이터베이스는 언제 사용해야 하나요?

International Data Corporation(IDC)에 따르면 새로 생성되는 데이터의 90%는 텍스트, 이미지, 비디오와 같은 비정형 데이터입니다. 딥 신경망과 같은 학습 기반 모델은 전자 상거래부터 의료까지 다양한 산업 분야의 애플리케이션을 위해 이 비정형 데이터를 관리하는 데 점점 더 많이 사용되고 있습니다. 이러한 애플리케이션은 비정형 데이터를 임베딩 벡터로 변환하여 작동합니다. 데이터가 “벡터화”되면 검색, 추천, 분석과 같은 작업은 유사성 기반 AI 검색을 통해 구현할 수 있습니다. 벡터 데이터 관리는 벡터 데이터베이스에서 이루어집니다.

벡터 데이터베이스를 언제 사용해야 하는지는 사용 중인 다른 프로세스와 기술에 따라 달라집니다. 이는 많은 AI 시스템을 구동하는 핵심 구성 요소이며, 일부(모든 것은 아님) 대규모 언어 모델(LLM) 애플리케이션은 빠른 유사성 검색 또는 컨텍스트 또는 도메인 지식 제공을 위해 벡터 데이터베이스를 사용합니다. 예를 들어, 이는 검색 증강 생성(RAG)에서 중요한 역할을 합니다. RAG는 벡터 데이터베이스를 사용하여 쿼리와 함께 추가 컨텍스트를 제공함으로써 LLM에 전달되는 프롬프트를 향상시키는 접근 방식입니다.

벡터 데이터베이스는 또한 하이브리드 검색을 가능하게 합니다. 이 접근 방식은 기존 키워드 기반 검색과 의미론적 유사성 검색을 결합하여 키워드가 정확히 일치하지 않더라도 관련 정보를 찾습니다. 벡터 데이터베이스는 의미론적 및 감성 분석을 포함한 여러 자연어 처리(NLP) 작업에 사용되거나 머신러닝(ML) 모델을 훈련하는 데 사용될 수도 있습니다.

벡터란 무엇인가요?

벡터는 여러 차원에 걸쳐 특정 지점의 위치를 나타내는 고차원 숫자 배열입니다. 단어 벡터 공간을 단어가 점으로 표현되는 3차원 구름으로 상상해 보세요. 이 공간에서 의미가 관련된 단어는 서로 가까이 모입니다. 예를 들어, “사과”를 나타내는 점은 “자동차”보다 “배”에 더 가깝게 위치할 것입니다. 이 공간적 배열은 단어 간의 의미론적 관계를 반영하며, 근접성은 의미의 유사성을 나타냅니다.

벡터 임베딩이란 무엇인가요?

벡터는 임베딩 함수를 원시 데이터에 적용하여 표현으로 변환함으로써 생성됩니다. ML 모델이 대표적인 그룹을 가져와 벡터 공간에 임베딩하기 때문에 이러한 표현을 “임베딩”이라고 합니다. 벡터는 숫자의 목록으로 임베딩되어 ML 모델이 데이터로 작업을 더 쉽게 수행할 수 있습니다. 실제로 ML 방법의 성능은 벡터 표현의 품질에 따라 결정적으로 달라집니다. 전체 텍스트 단락이나 숫자 그룹을 벡터로 축소하여 모델이 효율적으로 작업을 수행할 수 있도록 합니다.

주요 용어 및 정의

• 벡터: 객체(단어, 이미지 또는 문서)를 다차원 공간의 한 점으로 나타내는 숫자 시퀀스로, 알고리즘이 객체를 수학적으로 비교하고 유사하거나 다른 정도를 계산할 수 있도록 합니다.
• 임베딩: 이산 객체(단어, 문서 및 이미지)를 연속 벡터 공간으로 매핑하는 학습된 벡터 표현으로, 의미론적으로 유사한 항목이 기하학적으로 서로 가깝게 배치됩니다.
• 코사인 유사도: 두 벡터 간의 각도의 코사인 값을 측정하여 크기에 관계없이 방향의 유사성을 포착합니다. 값은 -1(반대)에서 1(동일한 방향)까지 다양합니다: cos(θ) = (A · B) / (‖A‖× ‖B‖)
• 근사 최근접 이웃(ANN): 쿼리에 가까운 벡터를 찾기 위해 인덱스의 일부만 스캔하는 검색 알고리즘 계열로, 정확도가 약간 떨어지는 대신 대규모 검색 속도를 크게 향상시킵니다.
• 계층적 탐색 가능 소형 세계(HNSW): 여러 계층의 근접 연결을 구축하는 그래프 기반 인덱스로, 쿼리가 거친 이웃에서 세밀한 이웃으로 빠르게 이동할 수 있도록 합니다.
• 역파일 인덱스(IVF): 벡터 공간을 클러스터로 나누고, 쿼리 시점에 가장 가까운 클러스터만 검색하여 인덱스 빌드 시간과 쿼리 속도 간의 실용적인 균형을 제공합니다.
• 지역 민감 해싱(LSH): 유사한 벡터가 동일한 버킷에 들어갈 가능성이 높도록 벡터를 해싱하여 메모리 오버헤드가 적으면서도 빠른 근사 검색을 가능하게 합니다.
• 메타데이터 필터링: 날짜, 카테고리 또는 사용자 ID와 같은 구조화된 속성을 사용하여 벡터 검색 결과를 좁히는 기법으로, 결과가 단순히 의미론적 유사성뿐만 아니라 엄격한 비즈니스 규칙을 충족하도록 합니다.
• 하이브리드 검색: 밀집 벡터 검색(의미론적 의미)과 희소 키워드 검색(BM25/TF-IDF를 통한 정확한 일치 관련성)을 결합한 다음, 두 순위 목록을 병합하여(일반적으로 Reciprocal Rank Fusion(RRF) 사용) 두 접근 방식의 장점을 모두 얻습니다.
• 다중 벡터 검색: 각 레코드를 여러 개의 별도 벡터(예: 제목, 본문 및 이미지 각각에 대한 벡터)로 표현하고 모든 벡터를 검색하여 점수를 집계하여 가장 관련성이 높은 단일 결과를 표시합니다.

벡터 데이터베이스는 어떻게 작동하나요?

벡터 데이터베이스는 고차원 벡터 임베딩을 통해 데이터를 효율적으로 저장, 인덱싱 및 쿼리하도록 설계되었습니다. 사용자가 벡터 데이터베이스에 쿼리 또는 요청을 입력하면 다음과 같은 일련의 프로세스가 시작됩니다.

1. 벡터화: 이 첫 번째 단계는 텍스트, 이미지, 오디오 또는 비디오를 포함할 수 있는 다중 모달 콘텐츠에서 임베딩을 생성하는 것을 포함합니다. 이 프로세스는 데이터의 의미론적 관계를 포착합니다. 예를 들어 텍스트 데이터에서는 이 프로세스를 통해 의미가 유사한 단어(또는 벡터)가 벡터 공간에서 서로 가깝게 배치되도록 합니다.
2. 벡터 인덱싱: 다음 단계는 벡터 데이터베이스를 기존 데이터베이스와 구별합니다. 제품 양자화 또는 HNSW와 같은 ML 알고리즘이 데이터에 적용되어 벡터를 새로운 데이터 구조에 매핑합니다. 이러한 구조는 벡터 간의 최근접 이웃 검색과 같은 더 빠른 유사성 또는 거리 검색을 가능하게 합니다. 이 인덱싱 프로세스는 데이터베이스 성능에 필수적이며, 유사한 벡터를 빠르게 검색할 수 있도록 합니다.
3. 쿼리 실행: 마지막 단계에서는 초기 쿼리 벡터가 데이터베이스의 인덱싱된 벡터와 비교됩니다. 시스템은 가장 강한 관계를 가진 벡터를 검색하여 정확한 키워드 일치보다는 의미론적 유사성을 기반으로 가장 관련성 높은 정보를 효과적으로 찾습니다.

이러한 프로세스를 통해 벡터 데이터베이스는 의미론적 검색 및 유사성 기반 검색을 수행할 수 있어 추천 시스템, 이미지 및 비디오 인식, 텍스트 분석 및 이상 탐지와 같은 애플리케이션에 이상적입니다.

벡터 데이터베이스의 이점

벡터 데이터베이스는 다음과 같은 다양한 이점을 제공합니다.

• 높은 속도와 성능: 벡터 데이터베이스는 벡터 거리 또는 유사성 메트릭을 사용하여 유사한 데이터를 신속하게 찾을 수 있으며, 이는 NLP, 컴퓨터 비전 및 추천 시스템에 필수적인 프로세스입니다. 정확한 일치 또는 사전 정의된 기준에 국한된 기존 데이터베이스와 달리 벡터 데이터베이스는 의미론적 및 맥락적 의미를 포착합니다. 이를 통해 단순한 키워드 일치를 넘어선 더 미묘하고 맥락 인식적인 검색을 수행하여 데이터 검색을 최적화합니다.
• 확장성: 기존 데이터베이스는 빅데이터를 처리할 때 확장성 병목 현상, 지연 시간 문제 또는 동시성 충돌에 직면할 수 있지만, 벡터 데이터베이스는 방대한 양의 데이터를 처리하도록 구축되었습니다. 벡터 데이터베이스는 샤딩, 파티셔닝, 캐싱 및 복제와 같은 기술을 사용하여 워크로드를 분산하고 여러 머신 또는 클러스터에 걸쳐 리소스 활용도를 최적화함으로써 확장성을 향상시킵니다.
• 다용성: 데이터에 이미지, 비디오 또는 기타 멀티모달 데이터가 포함되어 있든 관계없이 벡터 데이터베이스는 다용도로 사용할 수 있도록 구축되었습니다. 의미론적 검색부터 대화형 AI 애플리케이션에 이르기까지 다양한 사용 사례를 처리할 수 있는 능력을 갖춘 벡터 데이터베이스는 다양한 비즈니스 요구 사항을 충족하도록 사용자 정의할 수 있습니다.
• 비용 효율성: 벡터 데이터베이스는 고차원 데이터를 효율적으로 처리하므로 비용이 절감됩니다. ML 모델을 직접 쿼리하는 것은 계산 집약적이고 시간이 많이 소요될 수 있지만, 벡터 데이터베이스는 모델 임베딩을 사용하여 데이터셋을 더 효율적으로 처리합니다.
• ML 통합: 벡터 데이터베이스를 사용하면 ML 모델이 이전 입력을 더 쉽게 기억할 수 있어 ML이 의미론적 검색, 분류 및 추천 엔진을 지원할 수 있습니다. 데이터는 정확한 일치 대신 유사성 지표를 기반으로 식별될 수 있으므로 모델이 데이터의 컨텍스트를 이해할 수 있습니다.

벡터 데이터베이스 사용 사례 5가지

벡터 데이터베이스는 다양한 애플리케이션 및 사용 사례에 대해 여러 산업 분야에서 사용됩니다. 다음은 가장 일반적인 벡터 데이터베이스 예시입니다.

대규모 언어 모델(LLM)

정보 검색과 같은 작업을 위한 LLM의 부상과 전자 상거래 및 추천 플랫폼의 인기가 높아짐에 따라 비정형 데이터에 대한 쿼리 최적화 기능을 제공할 수 있는 벡터 데이터베이스 관리 시스템이 필요합니다.

멀티모달 애플리케이션에서는 데이터가 임베딩되어 벡터 데이터베이스에 저장되어 벡터 표현의 효율적인 검색을 용이하게 합니다. 사용자가 텍스트 쿼리를 제출하면 시스템은 LLM과 벡터 데이터베이스를 모두 사용합니다. LLM은 NLP 기능을 제공하고, 벡터 데이터베이스의 알고리즘은 ANN 검색을 수행합니다. 이 접근 방식은 각 구성 요소를 개별적으로 사용하는 것보다 더 나은 결과를 생성할 수 있습니다.

벡터 데이터베이스는 RAG를 통해 LLM에 점점 더 많이 적용되고 있으며, 이는 컨텍스트를 LLM 출력에 적용하여 설명 가능성을 높입니다. 사용자 프롬프트는 핵심 LLM 문제, 예를 들어 환각 또는 편향을 완화하기 위해 컨텍스트를 포함하여 증강될 수 있습니다.

이미지 인식

벡터 데이터베이스는 ML 모델에서 생성된 이미지의 고차원 임베딩을 저장하여 이미지 인식에서 핵심적인 역할을 할 수 있습니다. 벡터 데이터베이스는 유사성 검색 작업에 최적화되어 있으므로 객체 감지, 얼굴 인식 및 이미지 검색과 같은 애플리케이션에 이상적입니다.

벡터 데이터베이스는 유사성을 통해 컨텍스트의 빠른 검색을 위해 미세 조정됩니다. 전자 상거래 플랫폼은 벡터 데이터베이스를 사용하여 시각적으로 유사한 속성을 가진 제품을 찾을 수 있으며, 소셜 미디어 사이트는 사용자에게 관련 이미지를 추천할 수 있습니다. 한 가지 예는 Pinterest로, 벡터 데이터베이스는 각 이미지를 고차원 벡터로 표현하여 콘텐츠 검색을 지원합니다. 사용자가 해안 석양 이미지에 핀을 꽂으면 시스템은 벡터 데이터베이스를 신속하게 검색하여 다른 해변 풍경이나 석양과 같이 시각적으로 유사한 이미지를 추천할 수 있습니다.

자연어 처리(NLP)

벡터 데이터베이스는 분산된 단어 표현의 효율적인 저장 및 검색을 가능하게 하여 NLP에 혁명을 일으켰습니다. Word2Vec, GloVe 및 BERT와 같은 모델은 방대한 텍스트 데이터셋에서 훈련되어 의미론적 관계를 포착하는 고차원 단어 임베딩을 생성하며, 이는 빠른 액세스를 위해 벡터 데이터베이스에 저장됩니다.

유사성 검색을 빠르게 수행할 수 있으므로 벡터 데이터베이스를 통해 모델은 문맥상 관련 단어나 구문을 찾을 수 있습니다. 이 기능은 의미론적 검색, 질문 답변, 텍스트 분류 및 명명된 개체 추출과 같은 작업에 특히 유용합니다. 또한 벡터 데이터베이스는 문장 수준 임베딩을 저장하여 단어 컨텍스트를 포착하고 더 미묘한 언어 이해를 가능하게 합니다.

추천 시스템 및 개인화

임베딩 모델을 사용하여 벡터 데이터베이스를 훈련하면 개인화된 추천을 생성하는 데 사용할 수 있습니다. 사용자가 시스템과 상호 작용할 때 사용자의 행동과 선호도를 사용하여 사용자의 임베딩을 생성합니다. 예를 들어 사용자가 LLM에 TV 시리즈 추천을 요청하면 벡터 데이터베이스는 사용자의 선호도와 유사한 줄거리 또는 등급을 가진 TV 시리즈를 추천할 수 있습니다. 사용자의 인코딩에 가장 가까운 임베딩을 가진 TV 시리즈가 그에 따라 추천됩니다.

사기 탐지

금융 기관은 벡터 데이터베이스를 사용하여 사기 거래를 탐지합니다. 벡터 데이터베이스를 통해 기업은 실시간으로 거래 벡터를 알려진 사기 패턴과 비교할 수 있습니다. 벡터 데이터베이스의 확장성을 통해 위험을 관리하고 소비자 행동에 대한 새로운 통찰력을 얻을 수 있습니다. 이러한 데이터베이스는 거래 데이터를 벡터로 인코딩하여 활동을 나타내는 패턴을 식별할 수 있습니다. 또한 신용도를 평가하고 소비자 세분화를 촉진하여 의사 결정 프로세스를 개선하기 위해 데이터를 분석합니다.

벡터 데이터베이스의 일반적인 과제

많은 이점과 사용 사례에도 불구하고 벡터 데이터베이스에 대한 완전한 이해에는 과제도 포함되어야 합니다.

새로운 데이터 파이프라인

벡터 데이터베이스는 다양한 소스의 원시, 미처리 데이터를 정리, 처리 및 ML 모델로 임베딩한 후 데이터베이스에 벡터로 저장하는 효율적인 데이터 수집 파이프라인이 필요합니다.

Databricks AI Search는 이 과제에 대한 포괄적인 솔루션을 제공합니다. 벡터 생성, 관리 및 최적화를 자동화하고 원본 데이터와 해당 벡터 인덱스의 실시간 동기화를 처리합니다. 이 소프트웨어는 오류를 관리하고, 처리량을 최적화하며, 수동 개입 없이 자동 배치 크기 조정 및 자동 확장을 수행합니다.

이 접근 방식은 별도의 데이터 수집 파이프라인의 필요성을 줄여 "개발자 부담"을 최소화하고 팀이 복잡한 데이터 준비 프로세스를 구축하고 유지하는 데 시간을 소비하는 대신 비즈니스 가치를 직접 추가하는 더 높은 수준의 작업에 집중할 수 있도록 합니다.

보안 및 거버넌스 강화

벡터 데이터베이스는 필요한 유지 관리 및 관리와 함께 추가 보안, 액세스 제어 및 데이터 거버넌스가 필요합니다. 엔터프라이즈 조직은 사용자가 기밀 데이터에 연결된 GenAI 모델에 액세스할 수 없도록 데이터에 대한 엄격한 보안 및 액세스 제어가 필요합니다.

많은 현재 벡터 데이터베이스에는 강력한 보안 및 액세스 제어가 없거나 조직에서 별도의 보안 정책 세트를 구축하고 유지 관리해야 합니다. Databricks AI Search는 추가 도구 없이 데이터 계보를 자동으로 추적하는 데이터 정책을 정의하는 통합 인터페이스를 제공합니다. 이를 통해 LLM이 액세스 권한이 없는 사용자에게 기밀 데이터를 노출하지 않도록 보장합니다.

높은 수준의 기술 지식

유사성 검색 및 고차원 데이터 처리를 위한 강력한 기능을 제공하므로 벡터 데이터베이스는 AI 및 ML 모델을 다루는 데이터 과학자에게 필수적인 도구입니다. Databricks AI Search는 수동 구성을 제거하는 서버리스 벡터 데이터베이스로, 데이터 과학자가 인프라 관리가 아닌 핵심 작업에 집중할 수 있도록 합니다.

Databricks AI Search의 주요 이점은 레이크하우스 아키텍처와의 원활한 통합, 자동화된 데이터 수집 및 다른 인기 있는 벡터 데이터베이스에 비해 최대 5배 빠른 결과입니다. 또한 Unity Catalog를 통해 기존 데이터 거버넌스 및 보안 도구와 호환되어 데이터 보호 및 규정 준수를 보장합니다.

Databricks AI Search는 데이터 수집 및 쿼리를 위한 자동화된 확장 기능과 파이프라인을 더 많이 제어하려는 사용자를 위한 플러그 앤 플레이 API를 통해 초보자와 고급 사용자 모두에게 유연성을 제공합니다. 사용 편의성과 강력한 성능의 조합은 모든 수준의 전문 지식을 갖춘 데이터 과학자를 위한 벡터 데이터베이스 구축을 단순화합니다.

벡터 데이터베이스 대 그래프 데이터베이스

벡터 데이터베이스는 다차원 벡터 공간의 점으로 데이터를 구성합니다. 각 점은 데이터 조각을 나타내며, 위치는 다른 데이터 조각과의 상대적인 특성을 반영합니다. 이 벡터 데이터베이스 구조는 LLM에서 벡터 임베딩이 생성되고 데이터를 쉽게 검색하고 검색할 수 있으므로 많은 GenAI 애플리케이션에 적합합니다.

대조적으로, 그래프 데이터베이스는 그래프 구조로 데이터를 저장하여 데이터를 구성합니다. 엔터티는 그래프의 노드로 표현되고, 이러한 데이터 포인트 간의 연결은 엣지로 표현됩니다. 그래프 구조를 통해 저장소의 데이터 항목은 노드와 엣지의 컬렉션이 될 수 있으며, 엣지는 노드 간의 관계를 나타냅니다. 그래프 데이터베이스의 상호 연결된 구조는 데이터 자체만큼 데이터 포인트 간의 연결이 중요한 시나리오에 적합합니다.

비교: 벡터 데이터베이스 대 벡터 인덱스 대 기존 RDBMS 대 그래프 DB

이 표를 사용하여 각 데이터베이스 유형이 데이터를 저장하는 방식, 쿼리를 처리하는 방식 및 다양한 워크로드에 적합한 방식을 빠르게 비교해 보세요.

벡터 인덱스와 벡터 데이터베이스의 차이점은 무엇인가요?

벡터 인덱스와 벡터 데이터베이스는 고차원 데이터를 처리하는 데 있어 서로 다르지만 상호 보완적인 역할을 수행합니다.

벡터 인덱스: 벡터 인덱스는 벡터 임베딩 간의 빠른 유사성 검색을 용이하게 하도록 설계된 특수 데이터 구조입니다. 벡터를 효율적으로 검색할 수 있는 방식으로 구성하여 검색 속도를 크게 향상시킵니다. 벡터 인덱스의 예로는 Facebook AI Similarity Search(FAISS), HNSW 및 LSH가 있습니다. 이러한 인덱스는 독립적인 알고리즘 프로세스로 사용되거나 더 큰 시스템에 통합되어 검색 작업을 최적화할 수 있습니다.
벡터 데이터베이스: 벡터 데이터베이스는 벡터 인덱싱을 통합할 뿐만 아니라 데이터 저장, 생성, 읽기, 업데이트 및 삭제(CRUD) 작업, 메타데이터 필터링 및 수평적 확장과 같은 추가 기능을 제공하는 포괄적인 데이터 관리 솔루션입니다. 벡터 임베딩을 효율적으로 관리하고 쿼리하도록 설계되었으며 복잡한 작업과 데이터 무결성 및 보안을 보장합니다.

벡터 데이터베이스 선택 방법

올바른 벡터 데이터베이스를 선택하는 것은 특정 워크로드 요구 사항, 데이터 증가 예상 규모, 기존 기술 스택과의 호환성에 따라 달라집니다. 소규모 프로토타입에 완벽한 솔루션은 엔터프라이즈 규모 트래픽에서는 어려움을 겪을 수 있으며, 기능이 풍부한 플랫폼은 더 간단한 사용 사례에는 너무 복잡할 수 있습니다. 이러한 기준을 염두에 두고 요구 사항에 맞게 확장되고 기존 시스템과 잘 작동하는 벡터 데이터베이스를 선택하세요.

• 성능 및 지연 시간: 사용 사례에 허용되는 검색 정확도(재현율) 및 쿼리 응답 시간 수준을 이해합니다.
• 임베딩 차원 지원: 768, 1536 또는 그 이상의 특정 AI 모델의 출력 크기를 데이터베이스가 처리할 수 있는지 확인합니다.
• 지원되는 인덱스 유형: HNSW, IVF 또는 LSH와 같은 데이터에 적합한 인덱싱 알고리즘을 제공하는지 확인합니다. 이러한 알고리즘은 속도와 정확도 간의 절충에 직접적인 영향을 미치기 때문입니다.
• 하이브리드 검색: 단일 쿼리에서 기존 키워드 검색(BM25)과 의미론적 벡터 검색을 결합하는 기능을 찾습니다.
• 정확 + ANN 폴백: 필요한 정밀도에 따라 근사값과 정확한 최근접 이웃 검색 간에 전환할 수 있는지 확인합니다.
• 메타데이터 필터링: 벡터 유사성과 함께 날짜 또는 카테고리와 같은 구조화된 필드로 결과를 좁힐 수 있는지 확인합니다.
• CRUD 및 ACID 지원: 데이터가 자주 변경되는 경우 특히 중요한 전체 데이터 작업 및 트랜잭션 보장을 지원하는지 평가합니다.
• RBAC/ABAC 및 멀티테넌시: 역할 또는 속성 기반 액세스 제어를 제공하고 다른 팀 또는 고객의 데이터를 적절하게 격리할 수 있는지 확인합니다.
• 관찰 가능성 및 평가: 내장된 모니터링, 로깅 및 검색 품질을 시간에 따라 측정하는 도구를 찾아 성능 문제를 조기에 감지하고 수정할 수 있도록 합니다.
• 하드웨어 가속: GPU 가속 인덱싱 및 검색을 지원하는지, 현재 인프라가 이를 활용할 수 있는지 고려합니다.

일반적인 함정과 모범 사례

• 임베딩 드리프트 → 소스 데이터 또는 기본 모델이 발전함에 따라 벡터가 최신 상태를 유지하고 검색하려는 내용을 정확하게 반영하도록 정기적인 재임베딩 일정을 수립합니다.
• 버전이 없는 임베딩 → 어떤 모델 버전이 어떤 벡터를 생성했는지 추적하여 결과를 안정적으로 재현하고, 성능을 시간에 따라 비교하고, 문제가 발생하면 롤백할 수 있도록 합니다.
• 오래된 인덱스 → 데이터 변경 빈도에 따라 재빌드 및 업데이트 빈도를 설정하여 명확한 인덱스 새로 고침 정책을 미리 정의합니다.
• RAG를 위한 부적절한 청킹 → 256-1024 토큰 범위의 청크 크기와 10-20%의 오버랩을 테스트하고 각 설정에서 검색 품질을 평가합니다.
• 거의 중복된 콘텐츠 오염 → 인덱싱 전에 중복 제거를 실행하여 중복되거나 거의 동일한 콘텐츠를 제거합니다.
• 평가 지표 없음 → Recall@k, nDCG 및 MRR을 사용하여 정기적으로 벤치마킹합니다. 대부분의 프로덕션 워크로드에서 Recall@10을 0.85 이상으로 목표로 하여 검색 품질이 저하될 때 명확한 신호를 얻을 수 있도록 합니다.
• 임베딩에서의 PII 노출 → 민감한 개인 데이터가 임베딩 단계에 도달하기 전에 마스킹하거나 제외하고, 누가 무엇을 쿼리할 수 있는지 제한하기 위해 벡터 스토어에 대한 세분화된 액세스 제어를 시행합니다.

Q&A

벡터 데이터베이스 대 벡터 인덱스 - 차이점은 무엇인가요?

이 두 용어는 종종 혼용되지만 시스템의 다른 계층을 나타냅니다.

범위: 벡터 인덱스는 최근접 이웃 검색 속도를 높이는 데 최적화된 단일 데이터 구조(예: HNSW 또는 IVF)입니다. 반대로 벡터 데이터베이스는 이러한 인덱스 중 하나 이상을 중심으로 구축된 전체 시스템이며 저장 및 쿼리 기능을 포함합니다.
CRUD 지원: 벡터 인덱스는 업데이트 및 삭제에 대한 지원이 제한적이거나 비효율적인 경우가 많습니다. 벡터 데이터베이스는 인덱스 계층 위에 강력한 생성, 읽기, 업데이트 및 삭제 작업을 제공합니다.
확장: 독립형 인덱스는 메모리에 상주하며 분산 또는 복제를 관리하지 않습니다. 그러나 벡터 데이터베이스는 인프라 전반에 걸쳐 수평적 확장, 샤딩 및 지속성을 처리합니다.
독립형 대 통합: 벡터 인덱스는 애플리케이션 코드(예: FAISS)에 직접 포함될 수 있습니다. 벡터 데이터베이스는 API, 액세스 제어 및 관리 도구가 내장된 서비스입니다.

RAG에 벡터 데이터베이스가 필요한가요?

벡터 데이터베이스는 프로덕션 RAG 파이프라인에 일반적인 선택이지만 항상 필요한 것은 아닙니다. 올바른 답변은 규모와 복잡성에 따라 달라집니다.

대규모 프로덕션 RAG의 경우, 영구 저장소, 메타데이터 필터링, 액세스 제어 및 시간이 지남에 따라 데이터 세트를 업데이트하는 기능이 필요한 경우 벡터 데이터베이스가 유용해집니다.
멀티테넌트 또는 규제가 적용되는 환경은 거의 항상 벡터 데이터베이스를 필요로 합니다. 독립형 인덱스가 제공하지 않는 테넌트 격리, 감사 로깅 및 세분화된 액세스 제어가 필요하기 때문입니다.
데이터 세트가 정적이고 작은 경우 벡터 데이터베이스의 오버헤드가 이점보다 클 수 있습니다. 시작 시 로드되는 경량 인덱스가 검색을 동일하게 잘 처리할 수 있습니다.
프로토타이핑의 경우 FAISS와 같은 인메모리 인덱스 또는 간단한 파일 기반 저장소가 전체 벡터 데이터베이스보다 설정하기 훨씬 쉬우며 종종 충분합니다.

하이브리드(BM25 + 벡터) 검색은 어떻게 작동하나요?

하이브리드 검색은 두 가지 근본적으로 다른 검색 신호, 즉 키워드 일치와 의미론적 유사성을 단일 쿼리 결과로 결합합니다.

• BM25은 정확한 일치 및 키워드 기반 일치를 처리합니다. 용어 빈도와 관련성을 기반으로 문서를 채점하므로 제품 이름, 코드 또는 고유 명사와 같은 정확한 쿼리에 안정적입니다.
• 벡터 검색은 의미론적 일치를 처리합니다. 쿼리가 문서와 정확한 단어를 공유하지 않더라도 의미와 컨텍스트를 기반으로 결과를 검색합니다.
• 점수 융합은 두 신호를 단일 순위 목록으로 병합합니다. Reciprocal Rank Fusion(RRF)은 점수 정규화 없이 각 방법의 순위를 결합하는 일반적인 접근 방식입니다.
• 하이브리드 검색은 정확도와 재현율을 모두 향상시킵니다. 사용자가 정확한 기술 쿼리와 더 넓은 개념적 검색을 혼합하는 엔터프라이즈 또는 도메인별 애플리케이션에 특히 유용합니다.

벡터 데이터베이스가 필요하지 않은 경우는 언제인가요?

벡터 데이터베이스는 실제 운영 오버헤드를 추가하며, 복잡성이 정당화되지 않는 여러 시나리오가 있습니다.

• 메모리에 맞는 소규모 데이터 세트는 일반적으로 FAISS 또는 Annoy와 같은 경량 인메모리 인덱스로 더 잘 처리됩니다. 이는 별도의 서비스를 배포하지 않고 애플리케이션에 직접 로드할 수 있습니다.
• 정확한 키워드 검색으로 충분한 사용 사례 — 제목 또는 ID별 내부 문서 조회와 같은 — 는 의미론적 검색의 이점을 얻지 못하므로 기존 검색 인덱스 또는 데이터베이스가 더 간단하고 안정적인 선택입니다.
• 이미 PostgreSQL을 실행 중인 경우, pgvector 확장은 기존 데이터베이스에 벡터 유사성 검색을 직접 추가하여 별도의 벡터 저장소가 필요 없으며 인프라 복잡성을 줄입니다.
• 트래픽이 적거나 단일 사용자 애플리케이션은 전용 벡터 데이터베이스를 정당화하는 확장, 복제 또는 다중 테넌시 기능이 거의 필요하지 않으므로 운영 비용이 이점을 초과합니다.
• 데이터 세트가 정적이거나 변경 빈도가 낮은 경우, 완전히 관리되는 벡터 데이터베이스를 유지 관리하는 것보다 주기적으로 인덱스를 다시 빌드하거나 다시 로드하는 것이 더 간단할 수 있습니다.

벡터 데이터베이스의 미래 동향

최근 LLM 및 전반적인 GenAI 애플리케이션의 부상은 벡터 데이터베이스 채택 증가에 기여했습니다. AI 애플리케이션이 계속 성숙함에 따라 신제품 개발과 사용자 요구의 변화가 벡터 데이터베이스의 미래 동향 방향을 결정할 것입니다. 그러나 이 기술에 대한 몇 가지 일반적인 예상 방향이 있습니다.

ML 모델과의 통합 증가: 벡터 데이터베이스와 ML 모델 간의 관계는 증가하는 연구 주제입니다. 이러한 노력은 벡터의 크기와 차원을 줄여 대규모 데이터 세트의 저장 요구 사항을 최소화하고 계산 효율성을 높이는 것을 목표로 합니다.
RAG 사용자 정의: RAG는 챗봇 및 일반 질문-답변 애플리케이션을 포함한 GenAI 사용 사례에서 LLM에 제공되는 컨텍스트를 개선하는 데 사용되는 접근 방식입니다. 벡터 데이터베이스는 쿼리와 함께 추가 컨텍스트를 추가하여 LLM에 전달되는 프롬프트를 향상시키는 데 사용됩니다.
다중 벡터 검색: 얼굴 인식과 같은 애플리케이션에 중요한 다중 벡터 검색 기능에 대한 추가 연구가 예상됩니다. 현재 기법은 종종 개별 점수를 결합하는 데 의존하지만, 이 접근 방식은 필요한 거리 계산 수를 증가시키기 때문에 계산 비용이 많이 들 수 있습니다.
하이브리드 검색: 검색 시스템의 발전으로 기존 키워드 기반 방법과 최신 벡터 검색 기술을 결합한 하이브리드 접근 방식의 채택이 증가하고 있습니다.

Databricks로 벡터 데이터베이스를 만드는 방법

Databricks AI Search는 Data Intelligence Platform을 위한 Databricks의 통합 벡터 데이터베이스 솔루션입니다. 이 완전히 통합된 시스템은 별도의 데이터 수집 파이프라인이 필요 없으며 보안 제어 및 데이터 거버넌스 메커니즘을 적용하여 모든 데이터 자산에 걸쳐 일관된 보호를 보장합니다.

Databricks AI Search는 고성능의 즉시 사용 가능한 환경을 제공하여 LLM이 최소한의 지연 시간으로 관련 결과를 빠르게 검색할 수 있도록 합니다. 사용자는 자동 확장 및 최적화를 통해 수동으로 데이터베이스를 조정할 필요가 없습니다. 이 통합은 벡터 임베딩을 저장, 관리 및 쿼리하는 프로세스를 간소화하여 조직이 데이터 보안 및 거버넌스 표준을 유지하면서 추천 시스템 및 의미론적 검색과 같은 AI 애플리케이션을 더 쉽게 구현할 수 있도록 합니다.

벡터 데이터베이스 및 벡터 검색에 대한 자세한 정보는 어디에서 찾을 수 있나요?

벡터 데이터베이스 및 벡터 검색에 대한 자세한 정보를 찾을 수 있는 리소스는 다음과 같습니다.

블로그

• Databricks AI Search의 하이브리드 검색 일반 공급
• Databricks AI Search 공개 미리 보기
• Databricks를 사용하여 고품질 RAG 애플리케이션 구축
• 실시간 구조화된 데이터를 사용하여 RAG 애플리케이션 응답 품질 개선
• 새로운 파운데이션 모델 기능으로 GenAI 앱 더 빠르게 구축
• RAG 애플리케이션의 LLM 자동 평가 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 구축 (검색 증강 생성(RAG)을 사용하여 자체 데이터로 정확도 향상)

전자책

• 생성형 AI 빅북
• 자체 데이터로 LLM 학습하기
• MLOps 빅북

데모

• 검색 증강 생성(RAG), llama2-70B(MosaicML Inferences) 및 AI Search를 사용하여 LLM 챗봇 배포

Databricks에 문의하여 데모를 예약하고 LLM 및 벡터 데이터베이스에 대해 상담하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)