실시간 정형 데이터로 RAG 애플리케이션 응답 품질 개선하기

검색 증강 생성(RAG) 은 Gen AI 애플리케이션에서 관련 데이터를 컨텍스트로 제공하는 효율적인 메커니즘입니다. 대부분의 RAG 애플리케이션은 일반적으로 벡터 인덱스를 사용하여 문서, 위키, 지원 티켓과 같은 비정형 데이터에서 관련 컨텍스트를 검색합니다. 어제 저희는 바로 이러한 작업을 지원하는 Databricks 벡터 검색 퍼블릭 프리뷰를 발표했습니다. 하지만 이러한 텍스트 기반 컨텍스트를 관련성 있고 개인화된 정형 데이터로 보강하면 Gen AI 응답 품질을 향상시킬 수 있습니다. 고객이 "최근 주문은 어디에 있나요?"라고 문의하는 리테일 웹사이트의 Gen AI 도구를 상상해 보세요. 이 AI는 쿼리가 특정 구매에 관한 것임을 이해한 다음, LLM을 사용하여 응답을 생성하기 전에 개별 품목에 대한 최신 배송 정보를 수집해야 합니다. 이러한 확장 가능한 애플리케이션을 개발하려면 정형 데이터와 비정형 데이터를 모두 처리하는 기술을 Gen AI 기능과 통합하는 상당한 작업이 필요합니다.

Databricks Data Intelligence Platform에서 정형 데이터를 제공하기 위한 저지연 실시간 서비스인 Databricks Feature & Function Serving의 공개 미리보기를 발표하게 되어 기쁩니다. Unity Catalog의 모든 Python 함수를 제공하여 사전 계산된 ML 특성에 즉시 액세스하고 실시간 데이터 변환을 수행할 수 있습니다. 검색된 데이터는 실시간 규칙 엔진, 고전적 ML 및 Gen AI 애플리케이션에서 사용될 수 있습니다.

구조화된 데이터에 Feature and Function Serving(AWS)(Azure)을 사용하고, 비정형 데이터에 Databricks Vector Search(AWS)(Azure)를 함께 사용하면 Gen AI 애플리케이션의 프로덕션화가 크게 단순화됩니다. 사용자는 Databricks에서 직접 이러한 애플리케이션을 구축하고 배포할 수 있으며, 기존 데이터 파이프라인, 거버넌스 및 기타 엔터프라이즈 기능을 활용할 수 있습니다. 다양한 산업 분야의 Databricks 고객들은 오픈 소스 프레임워크와 함께 이러한 기술을 사용하여 아래 표에 설명된 것과 같이 강력한 Gen AI 애플리케이션을 구축하고 있습니다.

RAG 애플리케이션에 정형 데이터 서빙

구조화된 데이터가 Gen AI 애플리케이션의 품질 향상에 어떻게 도움이 되는지 보여주기 위해 다음과 같은 여행 계획 챗봇 예시를 사용합니다. 이 예시는 사용자 선호도(예: "오션 뷰" 또는 "가족 친화적")를 호텔에 대해 수집된 비정형 정보와 결합하여 일치하는 호텔을 검색하는 방법을 보여줍니다. 일반적으로 호텔 가격은 수요와 계절성에 따라 동적으로 변동됩니다. Gen AI 애플리케이션에 내장된 가격 계산기는 추천이 사용자 예산 범위 내에 있도록 보장합니다. 봇을 구동하는 Gen AI 애플리케이션은 Databricks Vector Search 및 Databricks Feature and Function Serving을 구성 요소로 사용하여 LangChain의 에이전트 API를 통해 필요한 개인화된 사용자 선호도, 예산 및 호텔 정보를 제공합니다.

*사용자 선호도와 예산을 고려하는 여행 계획 봇

위에 설명된 이 RAG 체인 애플리케이션의 전체 노트북 을 확인할 수 있습니다. 이 애플리케이션은 노트북 내에서 로컬로 실행하거나 챗봇 사용자 인터페이스로 액세스할 수 있는 endpoint로 배포할 수 있습니다.

데이터 및 함수에 실시간 엔드포인트로 액세스

Unity Catalog의 기능 엔지니어링 을 사용하면 기본 키가 있는 모든 테이블을 사용하여 학습 및 서빙용 특성을 제공할 수 있습니다. Databricks Model Serving은 온디맨드로 특성을 계산하기 위한 Python 함수 사용을 지원합니다. Databricks Model Serving에 내부적으로 사용되는 동일한 기술로 구축된 기능 및 함수 엔드포인트를 사용하여 사전 계산된 모든 기능에 액세스하거나 온디맨드로 계산할 수 있습니다. 간단한 구문을 사용하여, 방향성 비순환 그래프를 인코딩하여 REST 엔드포인트로 특성을 계산하고 제공하는 특성 사양 함수 를 Unity Catalog에 정의할 수 있습니다.

이 피처 사양 함수는 REST endpoint로 실시간 서빙될 수 있습니다. 피처, 함수, 사용자 지정 학습 모델, 파운데이션 모델을 포함한 모든 엔드포인트는 왼쪽 탐색 탭의 '서빙'에서 액세스할 수 있습니다. 이 API를 사용하여 엔드포인트를 프로비저닝하세요

엔드포인트는 아래와 같이 UI 워크플로를 사용하여 생성할 수도 있습니다.

이제 엔드포인트를 쿼리하여 실시간으로 기능에 액세스할 수 있습니다.

실시간 AI 애플리케이션에 정형 데이터를 제공하려면 사전 계산된 데이터를 운영 데이터베이스에 배포해야 합니다. 사용자는 이미 외부 온라인 스토어를 사전 계산된 피처의 소스로 사용할 수 있습니다. 예를 들어 DynamoDB 및 Cosmos DB 는 Databricks Model Serving에서 피처를 제공하는 데 일반적으로 사용됩니다. Databricks 온라인 테이블 (AWS)(Azure)은 짧은 지연 시간의 데이터 조회를 위해 최적화된 데이터 형식으로 사전 계산된 피처의 동기화를 간소화하는 새로운 기능을 추가합니다. 기본 키가 있는 모든 테이블을 온라인 테이블로 동기화할 수 있으며, 시스템이 자동 파이프라인을 설정하여 데이터 최신 상태를 보장합니다.

Databricks Online Tables를 사용하면 기본 키가 있는 모든 Unity Catalog 테이블을 사용하여 Gen AI 애플리케이션에서 기능을 제공할 수 있습니다.

다음 단계

위에 설명된 이 노트북 예제 를 사용하여 RAG 애플리케이션을 사용자 지정하세요.

온디맨드로 제공되는 Databricks 생성형 AI 웨비나 에 등록하세요.

피처 및 함수 서빙(AWS)(Azure)은 퍼블릭 프리뷰로 제공됩니다. API 문서 및 추가 예시를 참조하세요.

Databricks 온라인 테이블(AWS)(Azure)은 Gated Public Preview로 제공됩니다. 이 양식 을 사용하여 활성화를 신청하세요.

이번 주 초에 발표된 (고품질 RAG 애플리케이션 제작) 관련 요약 공지 사항 을 읽어보세요.

생성형 AI 엔지니어 학습 경로: 생성형 AI에 대한 자율 학습, 온디맨드 및 강사 주도 과정을 수강하세요.

생성형 AI 사용 사례를 해결하고 싶으신가요? Databricks & AWS 생성형 AI 해커톤에 참여하세요! 여기에서 등록하세요.

Databricks와 공유하고 싶은 사용 사례가 있으신가요? [email protected] 으로 문의하세요.