벡터 검색을 위한 스토리지 최적화 엔드포인트 발표

대부분의 기업들은 대량의 비구조화된 데이터(문서, 이미지, 오디오, 비디오)를 보유하고 있지만, 그 중 일부만이 실질적인 통찰력으로 변환됩니다. 검색 강화 생성(RAG), 엔티티 해결, 추천 엔진, 의도 인식 검색과 같은 AI 기반 앱이 이를 변화시킬 수 있지만, 곧바로 어려운 용량 한계, 비용 증가, 느린 인덱싱과 같은 장애물에 부딪힙니다.

오늘, 우리는 페타바이트 규모의 데이터를 위해 특별히 제작된 새로운 벡터 검색 엔진인 Mosaic AI Vector Search 에 대한 스토리지 최적화 엔드포인트의 Public Preview를 발표합니다. 저장소와 컴퓨트의 분리 를 통해 Databricks Data Intelligence Platform 내의 Spark의 대규모 규모와 병렬성을 활용함으로써, 다음을 제공합니다:

• 수십억 벡터 용량
• 최대 7배 낮은 비용
• 인덱싱 속도 20배 향상
• SQL 스타일 필터링

가장 좋은 점은, 이것이 이미 팀이 사용하고 있는 동일한 API에 대한 진정한 대체품이며, 이제 RAG, 의미 검색, 실제 생산에서의 엔티티 해결을 위해 초강력화되었다는 것입니다. 또한, 기업 팀을 더욱 지원하기 위해, 개발을 간소화하고 비용 가시성을 향상시키는 새로운 기능들을 도입하고 있습니다.

저장소 최적화 벡터 검색의 새로운 기능

저장소 최적화 엔드포인트는 기업 팀들이 가장 필요로 하는 것에 대한 직접적인 반응으로 개발되었습니다: 전체 비구조화된 데이터 레이크를 인덱싱하고 검색하는 능력, 비용 증가 없이 확장 가능한 인프라, 더 빠른 개발 주기.

수십억 벡터 규모, 비용 7배 절감

규모는 더 이상 제한사항이 아닙니다. 우리의 표준 제공 서비스가 수백만 개의 벡터를 지원했다면, 저장소 최적화는 합리적인 비용으로 수십억 개의 벡터를 처리할 수 있도록 설계되었습니다. 이를 통해 조직은 데이터를 샘플링하거나 필터링하지 않고 전체 데이터 레이크 작업을 실행할 수 있습니다. 대규모 작업을 실행하는 고객들은 인프라 비용이 최대 7배 절감되어, 대규모 비구조화된 데이터셋에서 GenAI를 생산적으로 실행하는 것이 마침내 가능해졌습니다.

비교를 위해, 스토리지 최적화 가격은 45M 벡터에 대해 약 $900/월, 1.3B 벡터에 대해 약 $7K/월이 될 것입니다. 후자는 우리의 표준 제공에 비해 약 $47K/월의 상당한 절약을 나타냅니다.

최대 20배 빠른 인덱싱

이전에는 불가능했던 빠른 반복 주기를 해제하세요. 우리의 재구조화는 가장 요청이 많은 개선 사항 중 하나인 훨씬 더 빠른 인덱싱을 가능하게 합니다. 이제 8시간 이내에 10억 벡터 인덱스를 구축할 수 있으며, 1억 벡터 이하의 더 작은 인덱스는 몇 분 안에 구축됩니다. 

“스토리지 최적화와 함께 인덱싱 속도 향상은 우리에게 매우 큰 도움이 됩니다. 이전에 약 7시간이 걸렸던 작업이 이제는 단 한 시간만에 완료되어, 7-8배의 향상을 보였습니다." 

— Ritabrata Moitra, 상급 리드 ML 엔지니어, CommercelIQ

SQL과 유사한 필터링

익숙하지 않은 문법을 배우지 않고도 쉽게 레코드를 필터링할 수 있습니다. 성능과 규모를 넘어, 우리는 사용성에도 집중했습니다. 메타데이터 필터링은 이제 직관적인 SQL 스타일 문법을 사용하여 수행되므로, 이미 익숙한 기준을 사용하여 검색 결과를 좁히는 것이 간단해졌습니다.

같은 API, 새로운 백엔드

저장소 최적화 엔드포인트로 이동하는 것은 쉽습니다 - 새 엔드포인트를 생성할 때 선택하고, 테이블에 새 인덱스를 생성하면 됩니다. 유사성 검색 API는 동일하게 유지되므로, 주요 코드 변경이 필요하지 않습니다. 

“저장소 최적화 벡터 검색을 기본적으로 표준 제공 서비스의 대체품으로 보고 있습니다. 이것은 지연이나 품질을 저하시키지 않고, 수백 명의 내부 투자자가 매일 수천만 개의 문서를 쿼리하는 데 필요한 규모를 제공합니다.

— Alexandre Poulain, 디렉터, 데이터 과학 & AI 팀, PSP Investments

이 기능은 Mosaic AI 플랫폼의 일부이므로, Unity Catalog에 의해 지원되는 완전한 관리가 함께 제공됩니다. 즉, 적절한 접근 제어, 감사 추적, 그리고 모든 Vector Search 자산에 대한 유래 추적이 가능하며, 이는 기업 데이터 및 보안 정책을 첫날부터 준수하게 합니다.

작업 흐름을 간소화하는 향상된 기능들

기업 팀을 더욱 지원하기 위해, 벡터 검색 작업을 대규모로 실험하고, 배포하고, 관리하는 것을 더욱 쉽게 만드는 새로운 기능을 도입하고 있습니다.

팀은 이제 Vector Search 인덱스를 지식 기반으로 사용하는 채팅 에이전트를 두 번의 클릭으로 테스트하고 배포할 수 있습니다 - 이 과정은 이전에는 상당한 사용자 정의 코드를 필요로 했습니다. Agent Playground에서의 직접 통합이 이제 Public Preview에 있음으로써, Vector Search 인덱스를 도구로 선택하고, RAG 에이전트를 테스트하고, 코드 한 줄 작성 없이 에이전트를 내보내고, 배포하고, 평가할 수 있습니다. 이는 프로토타입에서 생산으로의 경로를 크게 단축시킵니다.

엔드포인트의 예산 정책 태깅 으로 개선된 비용 가시성을 통해 플랫폼 소유자와 FinOps 팀은 여러 팀과 사용 사례에 걸친 지출을 쉽게 추적하고 이해하며, 예산을 할당하고 사용량이 증가함에 따라 비용을 관리할 수 있습니다. 인덱스와 컴퓨팅 리소스에 대한 태깅 지원이 곧 추가될 예정입니다.

이것은 단지 시작일 뿐입니다

스토리지 최적화 엔드포인트의 출시는 주요한 이정표이지만, 우리는 이미 미래의 향상을 위해 작업 중입니다:

• Zero까지 스케일링: 사용하지 않을 때 컴퓨팅 자원을 자동으로 축소하여 비용을 더욱 줄입니다
• 높은 QPS 지원: 수천 개의 쿼리를 초당 처리할 수 있는 인프라를 제공하여 실시간 애플리케이션에 대한 요구를 충족시킵니다.
• 시맨틱 검색을 넘어서: 키워드만을 이용한 작업을 위한 효율적인 비시맨틱 검색 기능.

우리의 목표는 간단합니다: 이미 의존하고 있는 Databricks Data Intelligence Platform과 완벽하게 통합된 최고의 벡터 검색 기술을 구축하는 것입니다.

오늘부터 구축 시작하세요

스토리지 최적화 엔드포인트는 대규모 비구조화 데이터를 다루는 방식을 변화시킵니다. 대량의 용량, 더 나은 경제성, 더 빠른 인덱싱, 그리고 익숙한 필터링을 통해, 당신은 더 강력한 AI 애플리케이션을 자신 있게 구축할 수 있습니다.

시작할 준비가 되셨나요?

• Mosaic AI Vector Search를 무료로 시도해 보세요: 즉시 액세스와 무료 서버리스 크레딧을 제공하는 익스프레스 설정.
• 어떻게 하는지 확인하려면 우리의 문서 를 확인해보세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)