Agent Bricks와 Databricks Apps를 사용하여 비즈니스 사용자에게 고품질 엔터프라이즈 AI 에이전트를 제공하세요

AI 에이전트 프로토타이핑은 쉽습니다. 비즈니스 사용자가 신뢰하고 보안 팀에서 차단하지 않는 에이전트를 출시하는 것이 대부분의 엔터프라이즈 프로젝트가 느려지는 지점입니다.

이 블로그에서는 Databricks Platform을 사용하여 프로덕션 환경으로 빠르고 안전하게 전환하는 방법을 안내합니다:

1. 내장된 평가 및 지속적인 개선 기능을 갖춘 프로덕션 등급의 도메인별 에이전트 구축
2. 내장된 SSO 및 거버넌스 데이터 액세스 기능을 갖춘 Databricks Apps를 사용하여 사용자 정의 가능한 채팅 UI 배포
3. AI 및 데이터 인사이트 소비를 위한 간소화되고 직관적인 경험을 통해 비즈니스 사용자에게 에이전트 배포

전체적으로 하나의 공유 예제를 사용합니다. 바로 Redwood Commerce라는 예시 회사에서 내부 PDF를 기반으로 회사 정책 질문에 답변하고 원본 문서에 대한 출처를 제공하는 Agent Bricks Knowledge Assistant입니다.

에이전트 프로덕션화가 여전히 어려운 이유

엔터프라이즈 AI 에이전트를 개발하는 팀은 종종 익숙한 문제에 직면합니다:

• 평가가 어렵습니다: 많은 엔터프라이즈 AI 작업은 사람과 자동화된 LLM 심사관 모두에게 평가하기 어렵습니다. 학술적 벤치마크는 실제 사용 사례에 적용되지 않습니다. 미묘한 평가를 구축하려면 종종 비용이 많이 드는 수동 레이블링이 필요합니다. 결과적으로 유망한 프로젝트는 끝없는 튜닝 주기에 갇히고, 이해 관계자는 불분명한 진행 상황으로 인해 신뢰를 잃습니다.
• 너무 많은 설정: 에이전트는 여러 구성 요소로 이루어진 복잡한 AI 시스템이며, 각 구성 요소에는 자체 설정이 있습니다. 프롬프트 튜닝부터 인덱스 청킹 전략, 모델 선택 및 미세 조정 매개변수에 이르기까지 각 조정은 시스템 전체에 알려지지 않은 영향을 미칩니다. 빠른 반복 개선이 되어야 할 것이 비용이 많이 들고 지루한 수동 시행착오가 되어 프로덕션 출시 시간을 늦춥니다.
• 비용 및 품질: 팀이 위의 문제를 해결하고 고품질 에이전트를 구축한 후에도 에이전트가 프로덕션으로 확장하기에는 너무 비싸다는 사실에 놀라는 경우가 많습니다. 팀은 긴 비용 최적화 프로세스에 갇히거나 비용과 품질 간의 절충을 강요받습니다.

게다가 비즈니스 사용자를 위한 직관적인 UI와 거버넌스 모델을 고려한 안전한 액세스가 여전히 필요합니다.

목표는 이러한 마찰을 줄여 몇 달이 아닌 며칠 또는 몇 시간 만에 개념 증명에서 비즈니스 준비 상태로 전환할 수 있도록 하는 것입니다.

빠르고 안전한 경로: Agent Bricks, Databricks Apps 및 Databricks One

AI 에이전트를 프로덕션 환경으로 배포하기 위해 Databricks는 세 가지 원활하게 통합된 구성 요소를 제공합니다:

• Agent Bricks는 엔터프라이즈 데이터에서 프로덕션 등급 AI 에이전트를 구축, 평가 및 최적화하는 과정을 간소화합니다. 작업을 정의하고 데이터를 연결하기만 하면 Agent Bricks가 내장된 평가 및 통합 Unity Catalog 거버넌스를 포함한 무거운 작업을 처리합니다.
• Databricks Apps를 사용하면 Databricks 내에서 이러한 에이전트와 사용자 정의 가능한 채팅 인터페이스를 안전하게 배포할 수 있습니다. 클라우드 인프라를 관리할 필요 없이 서버리스 컴퓨팅, 내장된 SSO 및 세분화된 권한을 얻을 수 있습니다.
• Databricks One은 비즈니스 사용자를 위한 간소화되고 큐레이션된 "프런트 도어"를 제공합니다. 내부 위키 페이지를 검색하거나 대시보드 북마크를 유지하는 대신, 앱, 대시보드 및 기타 데이터 및 AI 자산과 상호 작용할 수 있는 직관적인 허브를 얻게 됩니다.

이 세 가지 구성 요소가 실제로 어떻게 함께 작동하는지 살펴보겠습니다.

예시: 회사 정책 도우미 구축

가상의 엔터프라이즈인 Redwood Commerce는 회사 정책 문서(여행, 경비, 병가, IT 보안)를 승인된 PDF로 저장하고 있습니다.

직원들은 반복적으로 다음과 같은 질문을 합니다. “호텔 드라이클리닝 비용을 청구할 수 있나요?”

비즈니스 사용자는 다음과 같은 간단한 채팅 경험을 원합니다:

1. 승인된 회사 정책 문서를 기반으로 답변
2. 신뢰 및 검증을 위한 출처 제공
3. 권한 및 거버넌스 존중
4. 전체 조직의 직원에게 광범위하지만 안전하게 공유 가능

1단계: Agent Bricks에서 지식 도우미 만들기

Agent Bricks는 Knowledge Assistant를 포함한 여러 사용 사례를 지원하며, 이는 문서를 고품질 챗봇으로 변환하여 질문에 답변하고 출처를 인용합니다.

정책 문서 연결

Knowledge Assistant는 다음을 사용할 수 있습니다:

• Unity Catalog 볼륨의 파일(txt, pdf, md, ppt/pptx, doc/docx).
• 임베딩 모델로 databricks-gte-large-en을 사용하는 기존 벡터 검색 인덱스.

Redwood Commerce의 경우 가장 간단한 경로를 사용합니다. Unity Catalog 볼륨에 회사 정책 PDF를 저장합니다.

에이전트 구축

Databricks 작업 공간 UI에서:

1. 에이전트 탐색
2. Knowledge Assistant 아래에서 빌드 선택
3. 이름 지정(예: Redwood Policy Assistant) 및 설명 추가
4. 지식 소스로 Unity Catalog 파일 위치 선택
5. 에이전트 생성

Knowledge Assistant는 다운스트림 애플리케이션에서 사용할 수 있는 에이전트 엔드포인트를 생성합니다.

2단계: 품질을 신속하게 검증하고 SME와 함께 개선

일반적인 실패 모드는 제대로 들리지만 신뢰할 수 없는 에이전트를 출시하는 것입니다. Agent Bricks Knowledge Assistant는 출처가 포함된 고품질 응답을 반환하도록 명시적으로 설계되었으며, 이는 이해 관계자의 신뢰에 중요합니다.

Knowledge Assistant UI 또는 AI Playground에서 직접 에이전트를 테스트하고 실제 질문을 할 수 있습니다:

• “호텔 드라이클리닝 비용을 청구할 수 있나요?”
• “병가는 어떻게 보고하나요?”
• “여행 경비 상환 절차는 무엇인가요?”

에이전트의 답변은 관련 정책 섹션에 대한 출처가 포함된 문서에 기반합니다.

Agent Bricks는 레이블이 지정된 질문과 지침을 제공하여 주제 전문가(SME)의 자연어 피드백을 기반으로 에이전트 동작을 개선하는 것을 지원합니다.

지침은 명확한 기대치를 설정하여 에이전트의 응답을 개선하는 데 사용됩니다. 이러한 지침은 에이전트가 명확하게 소통하고, 브랜드에 맞게 유지하며, 다양한 시나리오를 올바르게 처리하도록 합니다. 이러한 동일한 지침은 각 응답에 대한 품질 점수를 생성하는 평가 기준 역할도 합니다.

Knowledge Assistant 에이전트의 예제 탭 아래에 질문을 추가합니다. SME가 레이블이 지정된 질문과 지침을 제공하도록 하려면 세 점짜리 케밥 메뉴를 사용하여 Knowledge Assistant를 공유하고 권한을 선택합니다.

3단계: Databricks Apps로 채팅 UI 배포

에이전트 품질에 만족하면 에이전트 엔드포인트를 직원들이 실제로 사용할 수 있는 Redwood Commerce를 위한 목적 기반 채팅 환경으로 전환합니다.

Databricks Apps를 사용하면 완전히 사용자 정의된 앱을 배포하거나 사전 구축된 채팅 템플릿으로 시작하여 브랜딩에 맞게 사용자 정의할 수 있습니다.

Databricks 작업 공간 UI에서:

1. 컴퓨팅으로 이동하여 앱 탭 선택
2. 앱 만들기 선택
3. 에이전트 탭을 선택하고 채팅 UI 템플릿 선택
4. Knowledge Assistant 엔드포인트로 지정
5. 앱 배포

앱을 배포한 후 제공된 앱 URL을 통해 앱 템플릿에서 바로 지식 도우미 챗봇을 사용할 수 있습니다.

더욱 브랜드화된 경험을 제공하려면 템플릿을 로컬 컴퓨터로 복제하여 사용자 지정할 수 있습니다. 몇 가지 간단한 조정을 통해 Redwood Commerce를 위한 맞춤형 채팅 UI를 만들 수 있습니다.

Databricks Apps에는 보안 및 거버넌스가 내장되어 있어 사용자 지정 인증 또는 권한 부여 코드를 개발하고 유지 관리할 필요가 없습니다.

앱은 SSO를 사용하여 로그인한 인증된 사용자만 액세스할 수 있습니다. 익명 또는 공개 액세스는 허용되지 않습니다. 사용자 권한 부여 덕분에 앱은 앱 사용자의 ID로 작동하여 세분화된 권한을 적용할 수 있습니다.

4단계: Databricks One을 통해 비즈니스 사용자를 위한 게시

앱 URL을 사람들에게 보내는 것만으로도 앱을 배포할 수 있습니다. 하지만 비즈니스 사용자가 더 많은 데이터 및 AI 애셋을 사용할 수 있게 됨에 따라 팀은 직원이 올바른 도구를 안정적으로 찾을 수 있는 단일의 큐레이션된 장소가 필요합니다.

Databricks One은 이러한 관문 역할을 하도록 설계되었습니다. 비즈니스 사용자가 Databricks에서 Databricks Apps를 포함한 공유 데이터 및 AI 애셋에 액세스할 수 있는 간소화된 UI입니다.

Databricks One을 활성화하고 올바른 작업 영역 권한을 구성한 후에는 ID 공급자에서 동기화된 직원 그룹과 Databricks 앱을 공유할 수 있습니다.

이제 직원이 Databricks One을 열고 정책 도우미를 클릭한 다음 다음과 같이 질문합니다.

“늦은 체크아웃 수수료를 경비 처리할 수 있나요?”

인용이 포함된 답변을 받고 거버넌스가 처음부터 끝까지 일관되게 유지됩니다.

비즈니스 사용자에게 에이전트 배포 시작하기

Agent Bricks Knowledge Assistant는 엔터프라이즈 문서에서 도메인별 에이전트로 빠르고 자동화된 경로를 제공하며, 내장된 평가 및 최적화를 통해 품질을 측정 가능하게 유지하고 시간이 지남에 따라 개선합니다.

Databricks Apps 및 Databricks One을 사용하면 해당 에이전트를 비즈니스 친화적인 채팅 환경으로 패키징하고, 보안 및 Unity Catalog 거버넌스가 처음부터 끝까지 적용되는 큐레이션된 진입점을 통해 배포할 수 있습니다.

더 자세히 알아보려면 다음으로 시작하세요.

• Agent Bricks 설명서 및 데모: 지식 도우미 및 감독 에이전트
• Databricks Apps 데모, 시작 가이드 및 설명서
• Databricks One 설명서 및 소비자 액세스 권한

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)