Mosaic AI Agent Framework로 고성능 RAG 앱 구현

LLM들은 내부 지식 기반부터 외부 고객 대상 문서나 지원에 이르기까지, 우리가 정보와 상호작용하는 방식을 혁신하고 있습니다.

Databricks의 검색 증강 생성(RAG) 및 서버리스 기능을 사용하여 실시간 Q&A 챗봇을 생성하고 배포하는 방법을 배우세요. DBRX Instruct Foundation Model을 활용하여 스마트한 응답을 제공합니다.

RAG는 LLM 프롬프트를 귀하의 도메인에 특정한 추가적인 컨텍스트로 풍부하게 만들어 모델이 더 나은 답변을 제공할 수 있도록 하는 강력한 기법입니다.

이 기법은 공개 모델을 사용하여 자체 LLM을 배포하고 미세 조정할 필요 없이 훌륭한 결과를 제공합니다.

다음을 배울 수 있습니다:

• 내부 지식 베이스를 구축하고 챗봇을 특화시키기 위해 문서를 정제하고 준비하세요.
• Databricks Vector Search와 우리의 Foundation Model 엔드포인트를 활용하여 문서 임베딩을 생성하고 저장하세요.
• Databricks Vector Search를 사용하여 우리의 지식 데이터베이스에서 유사한 문서를 검색하세요.
• RAG를 사용하여 실시간 모델을 배포하고 프롬프트에 증강된 내용을 제공합니다.
• Databricks Foundation Model 엔드포인트를 통해 DBRX 지시 모델을 활용하세요. (완전 관리형)
• 답변을 검토하고 데이터셋을 평가하기 위해 Mosaic AI Agent 평가 애플리케이션을 배포합니다.
• Lakehouse 애플리케이션을 사용하여 챗봇 프론트엔드를 배포하세요.

 

데모를 실행하려면 무료 데이터브릭스 워크스페이스를 받은 후, 파이썬(Python) 노트북에서 다음 두 명령어를 실행하세요: