주요 컨텐츠로 이동
로그인
      • 탐색
        • 경영진
          • 스타트업
            • 레이크하우스 아키텍처
              • Mosaic Research
              • 고객
                • 추천 사례
                • 파트너
                  • 클라우드 제공업체
                    AWS 기반 Databricks, Azure 및 GCP
                    • 컨설팅 및 SI(System Integrator)
                      Databricks를 빌드, 배포, 마이그레이션하는 전문가
                      • 기술 파트너
                        기존 도구를 레이크하우스에 연결
                        • C&SI 파트너 프로그램
                          레이크하우스를 구축, 배포 또는 마이그레이션
                          • 데이터 파트너
                            데이터 소비자의 에코시스템에 액세스
                            • 파트너 솔루션
                              맞춤형 산업 및 마이그레이션 솔루션 찾기
                              • Databricks 기반 구축
                                비즈니스 구축, 마케팅 및 성장
                              • Databricks 플랫폼
                                • 플랫폼 개요
                                  데이터, 분석 및 AI를 위한 통합 플랫폼
                                  • 데이터
                                    데이터 신뢰성, 보안 및 성능
                                    • 공유
                                      모든 데이터에 대해 개방적이고 안전하며 복사본이 없는 공유
                                      • 데이터 웨어하우징
                                        배치 및 스트리밍 데이터에 대한 ETL 및 오케스트레이션
                                        • 거버넌스
                                          모든 데이터, 분석 및 AI 자산에 대한 통합 거버넌스
                                          • 데이터 엔지니어링
                                            배치 및 스트리밍 데이터에 대한 ETL 및 오케스트레이션
                                            • 인공지능
                                              ML 및 GenAI 애플리케이션 구축 및 배포
                                              • 데이터 사이언스
                                                대규모 협업형 데이터 사이언스
                                                • 비즈니스 인텔리전스
                                                  실제 데이터를 위한 지능형 분석
                                                  • 애플리케이션 개발
                                                    안전한 데이터 및 AI 앱을 빠르게 구축
                                                    • 데이터베이스
                                                      데이터 앱과 AI 에이전트를 위한 Postgres
                                                    • 통합 및 데이터
                                                      • 마켓플레이스
                                                        데이터, 분석 및 AI를 위한 오픈 마켓플레이스
                                                        • IDE 통합
                                                          원하는 IDE에서 레이크하우스를 기반으로 구축
                                                          • Partner Connect
                                                            Databricks 에코시스템 살펴보기 및 통합
                                                          • 가격
                                                            • Databricks 가격
                                                              제품 가격, DBU 등 살펴보기
                                                              • 비용 계산기
                                                                모든 클라우드의 compute 비용 추정
                                                              • 오픈 소스
                                                                • 오픈 소스 기술
                                                                  플랫폼 이면의 혁신에 대해 자세히 알아보기
                                                                • 산업용 Databricks
                                                                  • 커뮤니케이션
                                                                    • 미디어 및 엔터테인먼트
                                                                      • 금융 서비스
                                                                        • 공공 부문
                                                                          • 의료 및 생명 공학
                                                                            • 리테일
                                                                              • 제조
                                                                                • 모든 산업 보기
                                                                                • 산업 간 솔루션
                                                                                  • 마케팅
                                                                                    • 사이버 보안
                                                                                    • 마이그레이션 및 배포
                                                                                      • 데이터 마이그레이션
                                                                                        • 프로페셔널 서비스
                                                                                        • 솔루션즈 액셀러레이터
                                                                                          • 액셀러레이터 둘러보기
                                                                                            중요한 목표를 더 빠르게 달성하기
                                                                                          • 교육 및 인증
                                                                                            • 교육 개요
                                                                                              필요에 맞는 커리큘럼 탐색
                                                                                              • Databricks Academy
                                                                                                Databricks 학습 플랫폼에 로그인하기
                                                                                                • 인증
                                                                                                  인지도와 차별점 확보
                                                                                                  • 무료 버전
                                                                                                    전문가를 위한 데이터와 AI 도구들을 무료로 학습하세요
                                                                                                    • University Alliance
                                                                                                      Databricks를 가르치고 싶으신가요? 방법 보기.
                                                                                                    • 이벤트
                                                                                                      • Data + AI Summit
                                                                                                        • Data + AI 월드 투어
                                                                                                          • Data Intelligence Days
                                                                                                            • 이벤트 일정
                                                                                                            • 블로그 및 팟캐스트
                                                                                                              • 데이터브릭스 블로그
                                                                                                                뉴스, 제품 발표 등 살펴보기
                                                                                                                • Databricks Mosaic AI 리서치 블로그
                                                                                                                  최신 Gen AI 연구 알아보기
                                                                                                                  • Data Brew Podcast
                                                                                                                    데이터 관련 상담
                                                                                                                    • Data+AI 팟캐스트 챔피언
                                                                                                                      혁신을 주도하는 데이터 리더의 인사이트
                                                                                                                    • 지원 받기
                                                                                                                      • 고객 지원
                                                                                                                        • 관련 문서
                                                                                                                          • 커뮤니티
                                                                                                                          • 심층 탐구
                                                                                                                            • 리소스 센터
                                                                                                                              • 데모 센터
                                                                                                                                • 아키텍처 센터
                                                                                                                                • 회사
                                                                                                                                  • 개요
                                                                                                                                    • Databricks 팀
                                                                                                                                      • Databricks 벤처
                                                                                                                                        • 문의처
                                                                                                                                        • 채용
                                                                                                                                          • Databricks에서 작업하기
                                                                                                                                            • 채용 공고
                                                                                                                                            • 언론
                                                                                                                                              • 보도 자료
                                                                                                                                                • 수상 실적
                                                                                                                                                • 보안 및 신뢰
                                                                                                                                                  • 보안 및 신뢰
                                                                                                                                              • 시작할 준비가 되셨나요?
                                                                                                                                              • 데모 받기
                                                                                                                                              • 로그인
                                                                                                                                              • Databricks 이용해 보기
                                                                                                                                              1. 블로그
                                                                                                                                              2. /
                                                                                                                                                제품
                                                                                                                                              3. /
                                                                                                                                                기사

                                                                                                                                              벡터 검색을 위한 스토리지 최적화 엔드포인트 발표

                                                                                                                                              수십억 벡터 규모, 비용 7배 절감

                                                                                                                                              Announcing Storage-Optimized Mosaic AI Vector Search

                                                                                                                                              Published: June 6, 2025

                                                                                                                                              제품1분 이내 소요

                                                                                                                                              작성자: Adam Gurary, 디마 코틀리아로프

                                                                                                                                              이 포스트 공유하기

                                                                                                                                              우리와 함께하세요

                                                                                                                                              Summary

                                                                                                                                              • 스토리지 최적화 Vector Search 소개: 수십억 벡터 규모, 최대 7배 저렴한 비용, 20배 빠른 인덱싱, 익숙한 SQL과 같은 필터링.
                                                                                                                                              • AI를 위한 비구조화 데이터에서 더 많은 가치를 창출하세요: 문서, 이미지 등에 대한 고성능 RAG, 엔티티 해결, 시맨틱 검색 시스템 구축.
                                                                                                                                              • 기업용으로 준비되고 쉽게 채택할 수 있습니다: Unity Catalog 관리에 의해 지원되며, AI Playground와 같은 도구와 통합되어 빠른 RAG 프로토타이핑과 비용 관리를 위한 예산 정책을 제공합니다.

                                                                                                                                              대부분의 기업들은 대량의 비구조화된 데이터(문서, 이미지, 오디오, 비디오)를 보유하고 있지만, 그 중 일부만이 실질적인 통찰력으로 변환됩니다. 검색 강화 생성(RAG), 엔티티 해결, 추천 엔진, 의도 인식 검색과 같은 AI 기반 앱이 이를 변화시킬 수 있지만, 곧바로 어려운 용량 한계, 비용 증가, 느린 인덱싱과 같은 장애물에 부딪힙니다.

                                                                                                                                              오늘, 우리는 페타바이트 규모의 데이터를 위해 특별히 제작된 새로운 벡터 검색 엔진인 Mosaic AI Vector Search 에 대한 스토리지 최적화 엔드포인트의 Public Preview를 발표합니다. 저장소와 컴퓨트의 분리 를 통해 Databricks Data Intelligence Platform 내의 Spark의 대규모 규모와 병렬성을 활용함으로써, 다음을 제공합니다:

                                                                                                                                              • 수십억 벡터 용량
                                                                                                                                              • 최대 7배 낮은 비용
                                                                                                                                              • 인덱싱 속도 20배 향상
                                                                                                                                              • SQL 스타일 필터링

                                                                                                                                              가장 좋은 점은, 이것이 이미 팀이 사용하고 있는 동일한 API에 대한 진정한 대체품이며, 이제 RAG, 의미 검색, 실제 생산에서의 엔티티 해결을 위해 초강력화되었다는 것입니다. 또한, 기업 팀을 더욱 지원하기 위해, 개발을 간소화하고 비용 가시성을 향상시키는 새로운 기능들을 도입하고 있습니다.

                                                                                                                                              저장소 최적화 벡터 검색의 새로운 기능

                                                                                                                                              저장소 최적화 엔드포인트는 기업 팀들이 가장 필요로 하는 것에 대한 직접적인 반응으로 개발되었습니다: 전체 비구조화된 데이터 레이크를 인덱싱하고 검색하는 능력, 비용 증가 없이 확장 가능한 인프라, 더 빠른 개발 주기.

                                                                                                                                              수십억 벡터 규모, 비용 7배 절감

                                                                                                                                              규모는 더 이상 제한사항이 아닙니다. 우리의 표준 제공 서비스가 수백만 개의 벡터를 지원했다면, 저장소 최적화는 합리적인 비용으로 수십억 개의 벡터를 처리할 수 있도록 설계되었습니다. 이를 통해 조직은 데이터를 샘플링하거나 필터링하지 않고 전체 데이터 레이크 작업을 실행할 수 있습니다. 대규모 작업을 실행하는 고객들은 인프라 비용이 최대 7배 절감되어, 대규모 비구조화된 데이터셋에서 GenAI를 생산적으로 실행하는 것이 마침내 가능해졌습니다.

                                                                                                                                              비교를 위해, 스토리지 최적화 가격은 45M 벡터에 대해 약 $900/월, 1.3B 벡터에 대해 약 $7K/월이 될 것입니다. 후자는 우리의 표준 제공에 비해 약 $47K/월의 상당한 절약을 나타냅니다.

                                                                                                                                              최대 20배 빠른 인덱싱

                                                                                                                                              이전에는 불가능했던 빠른 반복 주기를 해제하세요. 우리의 재구조화는 가장 요청이 많은 개선 사항 중 하나인 훨씬 더 빠른 인덱싱을 가능하게 합니다. 이제 8시간 이내에 10억 벡터 인덱스를 구축할 수 있으며, 1억 벡터 이하의 더 작은 인덱스는 몇 분 안에 구축됩니다. 

                                                                                                                                              “스토리지 최적화와 함께 인덱싱 속도 향상은 우리에게 매우 큰 도움이 됩니다. 이전에 약 7시간이 걸렸던 작업이 이제는 단 한 시간만에 완료되어, 7-8배의 향상을 보였습니다."  — Ritabrata Moitra, 상급 리드 ML 엔지니어, CommercelIQ

                                                                                                                                              SQL과 유사한 필터링

                                                                                                                                              익숙하지 않은 문법을 배우지 않고도 쉽게 레코드를 필터링할 수 있습니다. 성능과 규모를 넘어, 우리는 사용성에도 집중했습니다. 메타데이터 필터링은 이제 직관적인 SQL 스타일 문법을 사용하여 수행되므로, 이미 익숙한 기준을 사용하여 검색 결과를 좁히는 것이 간단해졌습니다.

                                                                                                                                              같은 API, 새로운 백엔드

                                                                                                                                              저장소 최적화 엔드포인트로 이동하는 것은 쉽습니다 - 새 엔드포인트를 생성할 때 선택하고, 테이블에 새 인덱스를 생성하면 됩니다. 유사성 검색 API는 동일하게 유지되므로, 주요 코드 변경이 필요하지 않습니다. 

                                                                                                                                              “저장소 최적화 벡터 검색을 기본적으로 표준 제공 서비스의 대체품으로 보고 있습니다. 이것은 지연이나 품질을 저하시키지 않고, 수백 명의 내부 투자자가 매일 수천만 개의 문서를 쿼리하는 데 필요한 규모를 제공합니다. — Alexandre Poulain, 디렉터, 데이터 과학 & AI 팀, PSP Investments

                                                                                                                                              이 기능은 Mosaic AI 플랫폼의 일부이므로, Unity Catalog에 의해 지원되는 완전한 관리가 함께 제공됩니다. 즉, 적절한 접근 제어, 감사 추적, 그리고 모든 Vector Search 자산에 대한 유래 추적이 가능하며, 이는 기업 데이터 및 보안 정책을 첫날부터 준수하게 합니다.

                                                                                                                                              작업 흐름을 간소화하는 향상된 기능들

                                                                                                                                              기업 팀을 더욱 지원하기 위해, 벡터 검색 작업을 대규모로 실험하고, 배포하고, 관리하는 것을 더욱 쉽게 만드는 새로운 기능을 도입하고 있습니다.

                                                                                                                                              팀은 이제 Vector Search 인덱스를 지식 기반으로 사용하는 채팅 에이전트를 두 번의 클릭으로 테스트하고 배포할 수 있습니다 - 이 과정은 이전에는 상당한 사용자 정의 코드를 필요로 했습니다. Agent Playground에서의 직접 통합이 이제 Public Preview에 있음으로써, Vector Search 인덱스를 도구로 선택하고, RAG 에이전트를 테스트하고, 코드 한 줄 작성 없이 에이전트를 내보내고, 배포하고, 평가할 수 있습니다. 이는 프로토타입에서 생산으로의 경로를 크게 단축시킵니다.

                                                                                                                                              엔드포인트의 예산 정책 태깅 으로 개선된 비용 가시성을 통해 플랫폼 소유자와 FinOps 팀은 여러 팀과 사용 사례에 걸친 지출을 쉽게 추적하고 이해하며, 예산을 할당하고 사용량이 증가함에 따라 비용을 관리할 수 있습니다. 인덱스와 컴퓨팅 리소스에 대한 태깅 지원이 곧 추가될 예정입니다.

                                                                                                                                              이것은 단지 시작일 뿐입니다

                                                                                                                                              스토리지 최적화 엔드포인트의 출시는 주요한 이정표이지만, 우리는 이미 미래의 향상을 위해 작업 중입니다:

                                                                                                                                              • Zero까지 스케일링: 사용하지 않을 때 컴퓨팅 자원을 자동으로 축소하여 비용을 더욱 줄입니다
                                                                                                                                              • 높은 QPS 지원: 수천 개의 쿼리를 초당 처리할 수 있는 인프라를 제공하여 실시간 애플리케이션에 대한 요구를 충족시킵니다.
                                                                                                                                              • 시맨틱 검색을 넘어서: 키워드만을 이용한 작업을 위한 효율적인 비시맨틱 검색 기능.

                                                                                                                                              우리의 목표는 간단합니다: 이미 의존하고 있는 Databricks Data Intelligence Platform과 완벽하게 통합된 최고의 벡터 검색 기술을 구축하는 것입니다.

                                                                                                                                              오늘부터 구축 시작하세요

                                                                                                                                              스토리지 최적화 엔드포인트는 대규모 비구조화 데이터를 다루는 방식을 변화시킵니다. 대량의 용량, 더 나은 경제성, 더 빠른 인덱싱, 그리고 익숙한 필터링을 통해, 당신은 더 강력한 AI 애플리케이션을 자신 있게 구축할 수 있습니다.

                                                                                                                                              시작할 준비가 되셨나요?

                                                                                                                                              • Mosaic AI Vector Search를 무료로 시도해 보세요: 즉시 액세스와 무료 서버리스 크레딧을 제공하는 익스프레스 설정.
                                                                                                                                              • 어떻게 하는지 확인하려면 우리의 문서 를 확인해보세요!

                                                                                                                                               

                                                                                                                                              (이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

                                                                                                                                              우리와 함께하세요

                                                                                                                                              관련 포스트

                                                                                                                                              이 포스트 공유하기

                                                                                                                                              게시물을 놓치지 마세요

                                                                                                                                              관심 있는 카테고리를 구독하고 최신 게시물을 받은편지함으로 받아보세요

                                                                                                                                              Sign up

                                                                                                                                              다음은 무엇인가요?

                                                                                                                                              ETL and BI Migration Strategies

                                                                                                                                              솔루션

                                                                                                                                              January 27, 2025/1분 이내 소요

                                                                                                                                              Databricks로의 마이그레이션 탐색: 아키텍처와 전략적 접근법

                                                                                                                                              DeepSeek R1 on Databricks

                                                                                                                                              공지사항

                                                                                                                                              January 31, 2025/1분 이내 소요

                                                                                                                                              DeepSeek R1 on Databricks

                                                                                                                                              databricks logo
                                                                                                                                              Databricks를 사용하는 이유
                                                                                                                                              Databricks를 선택해야 하는 이유
                                                                                                                                              • 경영진
                                                                                                                                              • 스타트업
                                                                                                                                              • 레이크하우스 아키텍처
                                                                                                                                              • Mosaic Research
                                                                                                                                              고객
                                                                                                                                              • 추천
                                                                                                                                              파트너
                                                                                                                                              • 클라우드 제공업체
                                                                                                                                              • 기술 파트너
                                                                                                                                              • 데이터 파트너
                                                                                                                                              • Databricks 기반 구축
                                                                                                                                              • 컨설팅 및 SI(System Integrator)
                                                                                                                                              • C&SI 파트너 프로그램
                                                                                                                                              • 파트너 솔루션
                                                                                                                                              Databricks를 선택해야 하는 이유
                                                                                                                                              • 경영진
                                                                                                                                              • 스타트업
                                                                                                                                              • 레이크하우스 아키텍처
                                                                                                                                              • Mosaic Research
                                                                                                                                              고객
                                                                                                                                              • 추천
                                                                                                                                              파트너
                                                                                                                                              • 클라우드 제공업체
                                                                                                                                              • 기술 파트너
                                                                                                                                              • 데이터 파트너
                                                                                                                                              • Databricks 기반 구축
                                                                                                                                              • 컨설팅 및 SI(System Integrator)
                                                                                                                                              • C&SI 파트너 프로그램
                                                                                                                                              • 파트너 솔루션
                                                                                                                                              제품
                                                                                                                                              레이크하우스 플랫폼
                                                                                                                                              • 플랫폼 개요
                                                                                                                                              • 공유
                                                                                                                                              • 데이터 거버넌스
                                                                                                                                              • 인공지능
                                                                                                                                              • DBRX
                                                                                                                                              • 데이터베이스
                                                                                                                                              • 데이터
                                                                                                                                              • 데이터 웨어하우징
                                                                                                                                              • 데이터 엔지니어링
                                                                                                                                              • 데이터 사이언스
                                                                                                                                              • 애플리케이션 개발
                                                                                                                                              가격
                                                                                                                                              • 가격 개요
                                                                                                                                              • 가격 계산기
                                                                                                                                              오픈 소스
                                                                                                                                              통합 및 데이터
                                                                                                                                              • 마켓플레이스
                                                                                                                                              • IDE 통합
                                                                                                                                              • Partner Connect
                                                                                                                                              레이크하우스 플랫폼
                                                                                                                                              • 플랫폼 개요
                                                                                                                                              • 공유
                                                                                                                                              • 데이터 거버넌스
                                                                                                                                              • 인공지능
                                                                                                                                              • DBRX
                                                                                                                                              • 데이터베이스
                                                                                                                                              • 데이터
                                                                                                                                              • 데이터 웨어하우징
                                                                                                                                              • 데이터 엔지니어링
                                                                                                                                              • 데이터 사이언스
                                                                                                                                              • 애플리케이션 개발
                                                                                                                                              가격
                                                                                                                                              • 가격 개요
                                                                                                                                              • 가격 계산기
                                                                                                                                              통합 및 데이터
                                                                                                                                              • 마켓플레이스
                                                                                                                                              • IDE 통합
                                                                                                                                              • Partner Connect
                                                                                                                                              솔루션
                                                                                                                                              산업용
                                                                                                                                              • 커뮤니케이션
                                                                                                                                              • 금융 서비스
                                                                                                                                              • 의료 서비스 및 생명 공학
                                                                                                                                              • 제조
                                                                                                                                              • 미디어 및 엔터테인먼트
                                                                                                                                              • 공공 부문
                                                                                                                                              • 리테일
                                                                                                                                              • 모두 보기
                                                                                                                                              산업 간 솔루션
                                                                                                                                              • 마케팅
                                                                                                                                              • 사이버 보안
                                                                                                                                              데이터 마이그레이션
                                                                                                                                              프로페셔널 서비스
                                                                                                                                              솔루션즈 액셀러레이터
                                                                                                                                              산업용
                                                                                                                                              • 커뮤니케이션
                                                                                                                                              • 금융 서비스
                                                                                                                                              • 의료 서비스 및 생명 공학
                                                                                                                                              • 제조
                                                                                                                                              • 미디어 및 엔터테인먼트
                                                                                                                                              • 공공 부문
                                                                                                                                              • 리테일
                                                                                                                                              • 모두 보기
                                                                                                                                              산업 간 솔루션
                                                                                                                                              • 마케팅
                                                                                                                                              • 사이버 보안
                                                                                                                                              리소스
                                                                                                                                              관련 문서
                                                                                                                                              고객 지원
                                                                                                                                              커뮤니티
                                                                                                                                              교육 및 인증
                                                                                                                                              • 교육
                                                                                                                                              • 인증
                                                                                                                                              • 무료 버전
                                                                                                                                              • University Alliance
                                                                                                                                              • Databricks Academy 로그인
                                                                                                                                              이벤트
                                                                                                                                              • Data + AI Summit
                                                                                                                                              • Data + AI 월드 투어
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • 전체 일정
                                                                                                                                              블로그 및 팟캐스트
                                                                                                                                              • 데이터브릭스 블로그
                                                                                                                                              • Databricks Mosaic AI 리서치 블로그
                                                                                                                                              • Data Brew Podcast
                                                                                                                                              • Data+AI 팟캐스트 챔피언
                                                                                                                                              교육 및 인증
                                                                                                                                              • 교육
                                                                                                                                              • 인증
                                                                                                                                              • 무료 버전
                                                                                                                                              • University Alliance
                                                                                                                                              • Databricks Academy 로그인
                                                                                                                                              이벤트
                                                                                                                                              • Data + AI Summit
                                                                                                                                              • Data + AI 월드 투어
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • 전체 일정
                                                                                                                                              블로그 및 팟캐스트
                                                                                                                                              • 데이터브릭스 블로그
                                                                                                                                              • Databricks Mosaic AI 리서치 블로그
                                                                                                                                              • Data Brew Podcast
                                                                                                                                              • Data+AI 팟캐스트 챔피언
                                                                                                                                              소개
                                                                                                                                              회사
                                                                                                                                              • 개요
                                                                                                                                              • 리더십 소개
                                                                                                                                              • Databricks 벤처
                                                                                                                                              • 문의처
                                                                                                                                              채용
                                                                                                                                              • Databricks에서 작업하기
                                                                                                                                              • 채용 공고
                                                                                                                                              언론
                                                                                                                                              • 보도 자료
                                                                                                                                              • 수상 실적
                                                                                                                                              보안 및 신뢰
                                                                                                                                              회사
                                                                                                                                              • 개요
                                                                                                                                              • 리더십 소개
                                                                                                                                              • Databricks 벤처
                                                                                                                                              • 문의처
                                                                                                                                              채용
                                                                                                                                              • Databricks에서 작업하기
                                                                                                                                              • 채용 공고
                                                                                                                                              언론
                                                                                                                                              • 보도 자료
                                                                                                                                              • 수상 실적
                                                                                                                                              databricks logo

                                                                                                                                              Databricks Inc.
                                                                                                                                              160 Spear Street, 15th Floor
                                                                                                                                              San Francisco, CA 94105
                                                                                                                                              1-866-330-0121

                                                                                                                                              Databricks
                                                                                                                                              채용 확인하기

                                                                                                                                              © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                              • 개인 정보 보호 고지
                                                                                                                                              • |이용약관
                                                                                                                                              • |현대 노예제도 성명
                                                                                                                                              • |귀하의 캘리포니아 프라이버시 권리
                                                                                                                                              • |귀하의 개인 정보 선택