Knowledge Assistant로 RAG 챗봇 구축하기

데이터 사이언스 및 머신러닝을 위한 대표적인 플랫폼으로 Databricks 데이터 인텔리전스 플랫폼을 꼽을 수 있으며, 이 데모는 그 위에서 RAG 챗봇을 구축하는 과정을 보여줍니다. 이 데모에서는 Databricks("Agent Bricks"라고도 함)에서 비정형 데이터를 위한 "Knowledge Assistant" 기능을 사용하는 방법을 알아봅니다.

• 데이터 인제스트: 문서는 Unity Catalog(UC) 파일 또는 벡터 인덱스에서 시작하여 파이프라인을 통해 인제스트됩니다. 데모에서는 PDF 문서가 포함된 볼륨을 사용합니다.
• 에이전트 생성 및 구성: 에이전트를 생성하고 설명을 제공하며, 직원 추천 및 신규 출시와 같은 다양한 소스에 연결합니다. 에이전트의 목표는 정보를 조회하고 소스 링크와 함께 답변을 제공하는 것입니다.
• 테스트 및 평가: 쿼리로 에이전트를 테스트하고 제안, 소스 링크 및 추론을 검토하세요.
• 품질 개선: 세 가지 방법을 사용하여 에이전트의 성능을 개선합니다.
  1. 일반 지침: 관련 문서가 없는 경우 일반 지식을 사용하도록 지시하는 등 자연어 피드백을 사용하여 에이전트의 행동을 유도하세요.
  2. 라벨이 지정된 데이터 피드백: 에이전트의 지식 기반을 강화하기 위해 특정 정보를 직접 추가하세요.
  3. 특정 정보가 포함된 가이드라인: 질문을 제공하고, 새로운 정보(예: 출시 예정 릴리스)가 포함된 가이드라인을 포함하며, 에이전트의 로직(예: 재고 확인 후 새 릴리스 추천)을 지정하세요.

Q : Knowledge Assistant는 어떤 데이터를 다루나요? 

비정형 데이터를 위해 설계되었으며, Unity Catalog 파일과 벡터 검색 인덱스 같은 여러 소스를 지원합니다. 데모에서는 PDF 문서가 포함된 볼륨을 사용해 파이프라인으로 인제스트하는 과정을 보여줍니다."