Agentic Systems: Databricks AI로 RAG 앱 배포 및 평가

Databricks에서는 파운데이션 LLMs, Retrieval Augmented Generation(RAG), Vector Search, PDF 추출, Mosaic AI Agent Evaluation을 활용해 강력한 AI 에이전트를 만들 수 있습니다. RAG를 사용하면 도메인별 지식을 프롬프트에 보강해, 모델을 따로 미세 조정하지 않고도 더 똑똑하고 정확한 답변을 제공할 수 있습니다.

이 데모에서 배울 내용:

• 도구를 만들고 Unity Catalog 함수로 저장

• LangChain으로 첫 에이전트를 만들고 배포

• 에이전트를 평가하고, 새 버전이 내 데이터셋에서 더 잘 작동하는지 확인하는 평가 루프 만들기

• 문서를 준비하고 Vector Search로 지식 베이스 구축

• RAG로 실시간 Q&A 챗봇 배포

• Mosaic AI Agent Evaluation과 MLflow 3.0으로 성능 평가

• Databricks에 내장된 ai_parse_document 함수로 스캔하고 정보 추출

• 실시간 에이전트를 모니터링하고 운영 환경에서의 동작을 확인

• Lakehouse Application으로 챗봇 프런트엔드 배포

데모를 실행하려면 무료 Databricks 작업 공간 을 만든 뒤 Python 노트북에서 아래 두 줄을 실행하세요: