벡터 데이터베이스란 무엇인가요?

벡터 데이터베이스란 무엇인가요?

벡터 데이터베이스는 데이터를 고차원 벡터로 저장하고 관리하도록 설계된 특화된 데이터베이스입니다. 이 용어는 데이터에 포함된 특징이나 속성을 수학적으로 표현한 '벡터'에서 유래했습니다. 행과 열로 구성된 정형 데이터를 처리하는 데 적합한 기존 데이터베이스와 달리, 벡터 데이터베이스 구조는 정보를 유사도에 따라 그룹화된 고정된 차원 수의 벡터 표현으로 정렬합니다.

벡터 데이터베이스 내의 각 벡터는 수십 개에서 수천 개에 이르는 특정 수의 차원으로 구성됩니다. 차원의 수는 데이터의 복잡성과 세분성에 따라 달라집니다. 이러한 구조 덕분에 벡터 데이터베이스는 복잡하고 다면적인 정보를 효율적으로 처리하고, 신속한 유사도 기반 검색 및 분석을 수행할 수 있습니다.

벡터 데이터베이스는 언제 사용하나요?

International Data Corporation(IDC)에 따르면, 2025년까지 전 세계에서 생성되는 신규 데이터의 80%는 텍스트, 이미지, 동영상과 같은 비정형 데이터가 될 것입니다. 전자상거래부터 헬스케어에 이르기까지 다양한 산업 분야의 애플리케이션에서 이러한 비정형 데이터를 관리하기 위해 심층 신경망과 같은 학습 기반 모델이 점점 더 많이 사용되고 있습니다. 이러한 애플리케이션은 비정형 데이터를 임베딩 벡터로 변환하여 작동합니다. 데이터가 "벡터화"되면 유사도 기반 AI 검색을 통해 검색, 추천 제공, 분석 등의 작업을 구현할 수 있습니다. 이러한 벡터 데이터의 관리가 바로 벡터 데이터베이스에서 이루어집니다.

벡터 데이터베이스를 언제 사용해야 하는지는 사용 중인 다른 프로세스 및 기술에 따라 달라집니다. 벡터 데이터베이스는 많은 AI 시스템을 구동하는 핵심 구성 요소이며, 일부(전부는 아님) 대형 언어 모델(LLM) 애플리케이션은 빠른 유사도 검색을 수행하거나 컨텍스트 또는 도메인 지식을 제공하기 위해 벡터 데이터베이스를 사용합니다. 예를 들어, 벡터 데이터베이스는 쿼리와 함께 추가적인 컨텍스트를 더해 LLM에 전달되는 프롬프트를 개선하는 접근 방식인 검색 증강 생성(RAG)에서 중요한 역할을 합니다.

또한 벡터 데이터베이스는 하이브리드 검색을 가능하게 합니다. 이 접근 방식은 기존의 키워드 기반 검색과 의미론적 유사도 검색을 결합하여 키워드가 정확히 일치하지 않는 경우에도 관련 정보를 찾아냅니다. 벡터 데이터베이스는 의미 및 감성 분석을 포함한 다양한 자연어 처리(NLP) 작업이나 머신러닝(ML) 모델 학습에도 사용할 수 있습니다.

벡터란 무엇인가요?

벡터는 여러 차원에 걸쳐 특정 지점의 위치를 표현하는 고차원 수치 배열입니다. 단어 벡터 공간을 단어가 점으로 표현되는 3차원 구름으로 상상해 보세요. 이 공간에서는 관련 의미를 가진 단어들이 함께 군집을 이룹니다. 예를 들어, "사과"를 나타내는 점은 "자동차"보다는 "배"에 더 가깝게 위치하게 됩니다. 이러한 공간적 배치는 단어 간의 의미론적 관계를 반영하며, 거리가 가까울수록 의미가 유사함을 나타냅니다.

벡터 임베딩이란 무엇인가요?

벡터는 원시 데이터에 임베딩 함수를 적용하여 이를 표현으로 변환함으로써 생성됩니다. ML 모델이 대표적인 그룹을 가져와 벡터 공간에 임베드(embed)하기 때문에 이러한 표현을 "임베딩"이라고 부릅니다. 벡터는 숫자 목록으로 임베드되므로 ML 모델이 데이터로 연산을 더 쉽게 수행할 수 있습니다. 실제로 ML 기법의 성능은 벡터 표현의 품질에 결정적으로 좌우됩니다. 텍스트 한 단락 전체나 숫자 그룹을 하나의 벡터로 축소할 수 있어 모델이 효율적으로 연산을 수행할 수 있습니다.

벡터 데이터베이스는 어떻게 작동하나요?

벡터 데이터베이스는 고차원 벡터 임베딩을 통해 데이터를 효율적으로 저장, 인덱싱 및 쿼리하도록 설계되었습니다. 사용자가 벡터 데이터베이스에 쿼리나 요청을 입력하면 다음과 같은 일련의 프로세스가 시작됩니다.

1. 벡터화(Vectorization): 첫 번째 단계는 텍스트, 이미지, 오디오 또는 동영상을 포함할 수 있는 멀티모달 콘텐츠에서 임베딩을 생성하는 작업입니다. 이 프로세스는 데이터의 의미론적 관계를 포착합니다. 예를 들어, 텍스트 데이터에서 이 프로세스는 유사한 의미(또는 벡터)를 가진 단어들이 벡터 공간에서 서로 가깝게 배치되도록 합니다.
2. 벡터 인덱싱(Vector indexing): 다음 단계는 벡터 데이터베이스를 기존 데이터베이스와 차별화하는 단계입니다. 곱 양자화(product quantization) 또는 Hierarchical Navigable Small World(HNSW)와 같은 ML 알고리즘을 데이터에 적용하여 벡터를 새로운 데이터 구조에 매핑합니다. 이러한 구조를 통해 벡터 간의 최근접 이웃 검색과 같은 더 빠른 유사도 또는 거리 검색이 가능해집니다. 이 인덱싱 프로세스는 유사한 벡터를 빠르게 검색할 수 있게 해주므로 데이터베이스 성능에 필수적입니다.
3. 쿼리 실행(Query execution): 마지막 단계에서는 초기 쿼리 벡터를 데이터베이스의 인덱싱된 벡터와 비교합니다. 시스템은 가장 연관성이 높은 벡터를 검색하여, 정확한 키워드 일치가 아닌 의미론적 유사성을 기반으로 가장 관련성 높은 정보를 효과적으로 찾아냅니다.

이러한 프로세스를 통해 벡터 데이터베이스는 의미론적 검색 및 유사도 기반 검색을 수행할 수 있으므로 추천 시스템, 이미지 및 동영상 인식, 텍스트 분석, 이상 탐지와 같은 애플리케이션에 이상적입니다.

벡터 데이터베이스의 장점

벡터 데이터베이스는 다음과 같은 다양한 장점을 제공합니다.

• 빠른 속도 및 성능: 벡터 데이터베이스는 NLP, 컴퓨터 비전 및 추천 시스템에 필수적인 프로세스인 벡터 거리 또는 유사도 메트릭을 사용하여 유사한 데이터를 신속하게 찾아낼 수 있습니다. 정확한 일치나 사전 정의된 기준에 국한되는 기존 데이터베이스와 달리, 벡터 데이터베이스는 의미론적 및 문맥적 의미를 포착합니다. 이를 통해 단순한 키워드 매칭을 넘어 더 미묘하고 컨텍스트를 인식하는 검색을 수행할 수 있어 데이터 검색을 최적화합니다.
• 확장성: 기존 데이터베이스는 빅데이터를 처리할 때 확장성 병목 현상, 지연 시간 문제 또는 동시성 충돌 등의 어려움을 겪을 수 있는 반면, 벡터 데이터베이스는 방대한 양의 데이터를 처리하도록 구축되었습니다. 벡터 데이터베이스는 샤딩, 파티셔닝, 캐싱, 복제와 같은 기술을 사용하여 워크로드를 분산하고 여러 머신 또는 클러스터에서 리소스 활용을 최적화함으로써 확장성을 향상합니다.
• 다재다능함: 데이터에 이미지, 동영상 또는 기타 멀티모달 데이터가 포함되어 있는지 여부와 관계없이 벡터 데이터베이스는 다재다능하게 작동하도록 구축되었습니다. 의미론적 검색부터 대화형 AI 애플리케이션에 이르기까지 다양한 사용 사례를 처리할 수 있는 능력을 갖춘 벡터 데이터베이스는 다양한 비즈니스 요구사항을 충족하도록 맞춤 설정할 수 있습니다.
• 비용 효율성: 벡터 데이터베이스는 고차원 데이터를 효율적으로 처리하므로 비용을 절감할 수 있습니다. 계산 집약적이고 시간이 많이 소요될 수 있는 ML 모델에 직접 쿼리하는 것과 달리, 벡터 데이터베이스는 모델 임베딩을 사용하여 데이터 세트를 더 효율적으로 처리합니다.
• ML과의 통합: 벡터 데이터베이스는 ML 모델이 이전 입력을 더 쉽게 기억할 수 있도록 하여 ML이 의미론적 검색, 분류 및 추천 엔진을 구동할 수 있도록 지원합니다. 정확한 일치 대신 유사도 메트릭을 기반으로 데이터를 식별할 수 있으므로 모델이 데이터의 컨텍스트를 이해할 수 있습니다.

벡터 데이터베이스의 5가지 사용 사례

벡터 데이터베이스는 다양한 애플리케이션과 사용 사례를 위해 여러 산업 분야에서 사용되고 있습니다. 가장 일반적인 벡터 데이터베이스 예시는 다음과 같습니다.

대형 언어 모델(LLM)

정보 검색과 같은 작업을 위한 LLM의 부상과 더불어 전자상거래 및 추천 플랫폼의 인기가 높아짐에 따라, 비정형 데이터에 대한 쿼리 최적화 기능을 제공할 수 있는 벡터 데이터베이스 관리 시스템이 필요해졌습니다.

멀티모달 애플리케이션에서 데이터는 벡터 데이터베이스에 임베드되어 저장되므로 벡터 표현을 효율적으로 검색할 수 있습니다. 사용자가 텍스트 쿼리를 제출하면 시스템은 LLM과 벡터 데이터베이스를 모두 사용합니다. LLM은 NLP 기능을 제공하고, 벡터 데이터베이스의 알고리즘은 근사 최근접 이웃 검색을 수행합니다. 이 접근 방식은 두 구성 요소 중 하나만 단독으로 사용하는 것에 비해 더 나은 결과를 얻을 수 있습니다.

벡터 데이터베이스는 RAG를 통해 LLM에 점점 더 많이 적용되고 있으며, 이를 통해 LLM 출력에 컨텍스트를 적용하여 설명 가능성을 높일 수 있습니다. 컨텍스트를 포함하여 사용자 프롬프트를 증강함으로써 환각(hallucination)이나 편향과 같은 핵심 LLM 문제를 완화할 수 있습니다.

이미지 인식

벡터 데이터베이스는 ML 모델이 생성한 이미지의 고차원 임베딩을 저장함으로써 이미지 인식에서 핵심적인 역할을 할 수 있습니다. 벡터 데이터베이스는 유사도 검색 작업에 최적화되어 있으므로 객체 탐지, 얼굴 인식, 이미지 검색과 같은 애플리케이션에 이상적입니다.

벡터 데이터베이스는 유사도를 통해 컨텍스트를 빠르게 검색할 수 있도록 미세 조정(fine-tuning)되어 있습니다. 이커머스 플랫폼은 벡터 데이터베이스를 사용하여 시각적 속성이 유사한 상품을 찾을 수 있으며, 소셜 미디어 사이트는 사용자에게 관련 이미지를 추천할 수 있습니다. 대표적인 예로 Pinterest가 있으며, 이곳에서는 각 이미지를 고차원 벡터로 표현하여 벡터 데이터베이스로 콘텐츠 검색을 지원합니다. 사용자가 해안가 일몰 이미지를 핀(pin)하면, 시스템은 벡터 데이터베이스를 신속하게 검색하여 다른 해변 풍경이나 일몰과 같이 시각적으로 유사한 이미지를 추천할 수 있습니다.

자연어 처리(NLP)

벡터 데이터베이스는 분산된 단어 표현의 효율적인 저장 및 검색을 가능하게 함으로써 NLP에 혁신을 가져왔습니다. Word2Vec, GloVe, BERT와 같은 모델은 대규모 텍스트 데이터 세트에서 학습되어 의미론적 관계를 포착하는 고차원 단어 임베딩을 생성하며, 이는 빠른 액세스를 위해 벡터 데이터베이스에 저장됩니다.

벡터 데이터베이스는 빠른 유사도 검색을 지원하므로 모델이 문맥상 관련이 있는 단어나 구문을 찾을 수 있도록 합니다. 이 기능은 의미론적 검색, 질의응답(question answering), 텍스트 분류, 개체명 인식(named entity extraction)과 같은 작업에 특히 유용합니다. 또한 벡터 데이터베이스는 문장 수준의 임베딩을 저장할 수 있어 단어의 문맥을 파악하고 더 미묘한 언어 이해를 가능하게 합니다.

추천 시스템 및 개인화

임베딩 모델을 사용하여 벡터 데이터베이스를 학습시키고 나면, 이를 활용해 개인화된 추천을 생성할 수 있습니다. 사용자가 시스템과 상호작용할 때 사용자의 행동과 선호도를 바탕으로 사용자의 임베딩이 생성됩니다. 예를 들어, 사용자가 LLM에 TV 시리즈 추천을 요청하면 벡터 데이터베이스는 사용자의 선호도와 유사한 줄거리나 평점을 가진 TV 시리즈를 제안할 수 있습니다. 사용자의 인코딩과 가장 가까운 임베딩을 가진 TV 시리즈가 추천됩니다.

사기 탐지

금융 기관은 벡터 데이터베이스를 사용하여 사기 거래를 탐지합니다. 벡터 데이터베이스를 통해 기업은 거래 벡터를 알려진 사기 패턴과 실시간으로 비교할 수 있습니다. 또한 벡터 데이터베이스의 확장성 덕분에 위험을 관리하고 소비자 행동에 대한 새로운 인사이트를 얻을 수 있습니다. 이러한 데이터베이스는 거래 데이터를 벡터로 인코딩하여 특정 활동을 나타내는 패턴을 식별할 수 있습니다. 나아가 데이터를 분석하여 신용도 평가와 소비자 세분화를 용이하게 함으로써 의사 결정 프로세스를 개선합니다.

벡터 데이터베이스의 일반적인 과제

많은 장점과 사용 사례에도 불구하고, 벡터 데이터베이스를 완전히 이해하려면 그 한계와 과제도 함께 살펴보아야 합니다.

새로운 데이터 파이프라인

벡터 데이터베이스에는 다양한 소스의 가공되지 않은 원시 데이터를 정제, 처리하고 ML 모델로 임베딩한 후 데이터베이스에 벡터로 저장할 수 있는 효율적인 데이터 수집(data ingestion) 파이프라인이 필요합니다.

Databricks AI Search는 포괄적인 솔루션을 제공하여 이 문제를 해결합니다. 벡터 생성, 관리 및 최적화를 자동화하고, 소스 데이터와 해당 벡터 인덱스의 실시간 동기화를 처리합니다. 이 소프트웨어는 수동 개입 없이도 장애를 관리하고, 처리량을 최적화하며, 자동 배치 크기 조정 및 오토스케일링을 수행합니다.

이러한 접근 방식은 별도의 데이터 수집 파이프라인의 필요성을 줄여 '개발자의 번거로운 반복 작업(developer toil)'을 최소화하고, 팀이 복잡한 데이터 준비 프로세스를 구축하고 유지 관리하는 데 시간을 쓰는 대신 비즈니스 가치를 직접적으로 더하는 더 높은 수준의 작업에 집중할 수 있도록 합니다.

강화된 보안 및 거버넌스

벡터 데이터베이스는 필요한 유지 관리 및 관리와 더불어 추가적인 보안, 액세스 제어 및 데이터 거버넌스를 요구합니다. 엔터프라이즈 기업은 사용자가 기밀 데이터와 연결된 GenAI 모델에 액세스할 수 없도록 데이터에 대한 엄격한 보안 및 액세스 제어를 필요로 합니다.

현재 많은 벡터 데이터베이스는 강력한 보안 및 액세스 제어 기능이 없거나, 조직에서 별도의 보안 정책을 구축하고 유지 관리해야 합니다. Databricks AI Search는 추가 도구 없이도 데이터 계보(data lineage)를 자동으로 추적하는 데이터 정책을 정의할 수 있는 통합 인터페이스를 제공합니다. 이를 통해 LLM이 액세스 권한이 없는 사용자에게 기밀 데이터를 노출하지 않도록 보장합니다.

높은 수준의 기술적 지식 요구

유사도 검색 및 고차원 데이터 처리를 위한 강력한 기능을 제공하는 벡터 데이터베이스는 AI 및 ML 모델을 다루는 데이터 사이언티스트에게 필수적인 도구입니다. Databricks AI Search는 수동 구성이 필요 없는 서버리스 벡터 데이터베이스로 돋보이며, 데이터 사이언티스트가 인프라 관리 대신 핵심 업무에 집중할 수 있도록 지원합니다.

Databricks AI Search의 주요 장점으로는 레이크하우스 아키텍처와의 원활한 통합, 자동화된 데이터 수집, 다른 대중적인 벡터 데이터베이스 대비 최대 5배 빠른 결과 도출 등이 있습니다. 또한 Unity Catalog를 통해 기존 데이터 거버넌스 및 보안 도구와 호환되므로 데이터 보호 및 규정 준수를 보장합니다.

Databricks AI Search는 초보자와 고급 사용자 모두에게 유연성을 제공하며, 데이터 수집 및 쿼리를 위한 자동 스케일링뿐만 아니라 파이프라인을 더 세밀하게 제어하려는 사용자를 위한 플러그 앤 플레이스(plug-and-replace) API를 지원합니다. 이러한 사용 편의성과 강력한 성능의 결합은 모든 숙련도의 데이터 사이언티스트가 벡터 데이터베이스를 쉽게 구축할 수 있도록 돕습니다.

벡터 데이터베이스 vs. 그래프 데이터베이스

벡터 데이터베이스는 데이터를 다차원 벡터 공간의 점으로 구성합니다. 각 점은 하나의 데이터를 나타내며, 그 위치는 다른 데이터와의 상대적인 특성을 반영합니다. 이러한 벡터 데이터베이스 구조는 LLM에 의해 벡터 임베딩이 생성되고 데이터를 쉽게 검색 및 회수할 수 있기 때문에 많은 GenAI 애플리케이션에 매우 적합합니다.

반면, 그래프 데이터베이스는 데이터를 그래프 구조로 저장하여 구성합니다. 엔티티는 그래프의 노드(node)로 표현되고, 이러한 데이터 포인트 간의 연결은 에지(edge)로 표현됩니다. 그래프 구조를 통해 저장소의 데이터 항목은 노드와 에지의 집합이 되며, 에지는 노드 간의 관계를 나타냅니다. 그래프 데이터베이스의 상호 연결된 구조는 데이터 포인트 간의 연결이 데이터 자체만큼 중요한 시나리오에 매우 적합합니다.

벡터 인덱스와 벡터 데이터베이스의 차이점은 무엇인가요?

벡터 인덱스와 벡터 데이터베이스는 고차원 데이터를 처리할 때 서로 다르지만 상호 보완적인 역할을 수행합니다.

• 벡터 인덱스: 벡터 인덱스는 벡터 임베딩 간의 빠른 유사도 검색을 용이하게 하도록 설계된 특화된 데이터 구조입니다. 효율적인 검색이 가능한 방식으로 벡터를 구성하여 검색 속도를 크게 향상시킵니다. 벡터 인덱스의 예로는 Facebook AI Similarity Search(FAISS), HNSW, LSH(locality-sensitive hashing) 등이 있습니다. 이러한 인덱스는 독립적인 알고리즘 프로세스로 사용되거나 검색 작업을 최적화하기 위해 더 큰 시스템에 통합될 수 있습니다.
• 벡터 데이터베이스: 반면, 벡터 데이터베이스는 벡터 인덱싱을 포함할 뿐만 아니라 데이터 저장, CRUD(생성, 읽기, 업데이트, 삭제) 작업, 메타데이터 필터링, 수평적 확장과 같은 추가 기능을 제공하는 종합적인 데이터 관리 솔루션입니다. 이는 벡터 임베딩을 효율적으로 관리하고 쿼리하도록 설계되어 복잡한 작업을 지원하고 데이터 무결성과 보안을 보장합니다.

벡터 데이터베이스의 향후 트렌드

최근 LLM 및 전반적인 GenAI 애플리케이션의 부상은 벡터 데이터베이스의 도입 증가로 이어졌습니다. AI 애플리케이션이 계속 성숙해짐에 따라 새로운 제품의 개발과 사용자의 요구 변화가 벡터 데이터베이스의 향후 트렌드 방향을 결정할 것입니다. 하지만 이 기술에 대해 일반적으로 예상되는 몇 가지 방향이 있습니다.

• ML 모델과의 통합 증가: 벡터 데이터베이스와 ML 모델 간의 관계에 대한 연구가 활발히 진행되고 있습니다. 이러한 연구는 벡터의 크기와 차원을 줄여 대규모 데이터 세트의 저장 공간 요구 사항을 최소화하고 연산 효율성을 높이는 것을 목표로 합니다.
• RAG 맞춤화: RAG는 챗봇 및 일반 질의응답 애플리케이션을 포함한 GenAI 사용 사례에서 LLM에 제공되는 컨텍스트를 개선하는 데 사용되는 접근 방식입니다. 벡터 데이터베이스는 쿼리와 함께 추가적인 컨텍스트를 더해 LLM에 전달되는 프롬프트를 보강하는 데 사용됩니다.
• 다중 벡터 검색(Multi-vector search): 얼굴 인식과 같은 애플리케이션에 중요한 다중 벡터 검색 기능을 개선하기 위한 추가 연구가 기대됩니다. 현재 기술은 개별 점수를 결합하는 방식에 의존하는 경우가 많지만, 이 방식은 필요한 거리 계산 횟수를 늘려 연산 비용이 많이 들 수 있습니다.
• 하이브리드 검색: 검색 시스템의 발전으로 기존의 키워드 기반 방식과 현대적인 벡터 검색 기술을 결합한 하이브리드 접근 방식의 도입이 늘어나고 있습니다.

Databricks로 벡터 데이터베이스를 만드는 방법

Databricks AI Search는 Data Intelligence Platform을 위한 Databricks의 통합 벡터 데이터베이스 솔루션입니다. 이 완전 통합형 시스템은 별도의 데이터 수집 파이프라인이 필요 없으며, 보안 제어 및 데이터 거버넌스 메커니즘을 적용하여 모든 데이터 자산에 대해 일관된 보호를 보장합니다.

Databricks AI Search는 고성능의 즉시 사용 가능한(out-of-the-box) 경험을 제공하여 LLM이 최소한의 대기 시간으로 관련 결과를 빠르게 검색할 수 있도록 합니다. 사용자는 자동 확장 및 최적화의 이점을 누릴 수 있어 데이터베이스를 수동으로 튜닝할 필요가 없습니다. 이러한 통합은 벡터 임베딩의 저장, 관리 및 쿼리 프로세스를 간소화하여 조직이 데이터 보안 및 거버넌스 표준을 유지하면서 추천 시스템 및 시맨틱 검색과 같은 AI 애플리케이션을 더 쉽게 구현할 수 있도록 지원합니다.

벡터 데이터베이스와 벡터 검색에 대한 자세한 정보는 어디서 찾을 수 있나요?

벡터 데이터베이스 및 벡터 검색에 대한 자세한 정보를 찾을 수 있는 다양한 리소스는 다음과 같습니다.

블로그

• Databricks AI Search의 하이브리드 검색
• Databricks AI Search 퍼블릭 프리뷰
• Databricks로 고품질 RAG 애플리케이션 구축하기
• 실시간 정형 데이터를 활용한 RAG 애플리케이션 응답 품질 향상
• 새로운 파운데이션 모델 기능으로 GenAI 앱을 더 빠르게 구축하기
• RAG 애플리케이션의 LLM 평가를 위한 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 구축하기 (자체 데이터를 활용한 검색 증강 생성(RAG)으로 더 높은 정확도 달성)

eBook

• GenAI 빅북
• RAG 핵심 가이드
• MLOps 빅북

데모

• 검색 증강 생성(RAG), llama2-70B(MosaicML Inferences) 및 AI Search를 사용하여 LLM 챗봇 배포하기

데모 일정을 예약하고 LLM 및 벡터 데이터베이스에 대해 상담하려면 Databricks에 문의하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)