단 하나의 프롬프트로 효과적인 Genie Agent 설계하기

일반적인 에이전트에게 매출에 대해 물어보면, 재무 부서에서 실제로 관리하는 테이블이 아니라 가장 먼저 발견한 매출 테이블을 가져올 가능성이 큽니다. 처음에는 프롬프트를 수정해야겠다고 생각할 수 있습니다. 하지만 진짜 문제는 프롬프트 자체에 있는 것이 아니라, 에이전트가 요청을 해석하는 데 필요한 비즈니스 컨텍스트를 놓치고 있다는 점입니다.

Databricks Genie Agent는 정형 데이터뿐만 아니라 문서와 파일까지 추론하여 작업을 자동화할 수 있는 도메인 맞춤형 에이전트를 구성할 수 있도록 지원함으로써 이러한 컨텍스트 문제를 해결합니다.  예를 들어, 영업 기회 데이터 에이전트는 거버넌스가 적용된 CRM 테이블에서 파이프라인 위험을 찾아내고, 물류 관리 에이전트는 공급망 데이터 전반에서 배송을 추적하고 지연을 표시하며, 제품 라인 조회 에이전트는 내부 카탈로그에서 상세한 제품 질문에 답변할 수 있습니다. 이전에는 Genie Agent를 생성하려면 수동 구성이 필요했습니다. 이제는 Genie One 또는 Genie Code를 사용하여 사용자의 대화와 함께 Unity Catalog의 컨텍스트를 활용해 단 하나의 프롬프트만으로도 효과적인 Genie Agent를 빠르게 구축할 수 있습니다.

간단한 프롬프트로 정확한 시작점을 만드는 방법

단 하나의 프롬프트로 시작하여 단 몇 분 만에 첫 번째 에이전트를 생성할 수 있습니다. 대부분의 경우 프롬프트는 에이전트가 달성하고자 하는 결과물을 설명하고 Genie에게 관련 정보 소스를 지정하기만 하면 됩니다.

다음 예시를 살펴보세요. “인시던트 런북과 서비스 상태 데이터를 사용하여 지원 엔지니어가 프로덕션 인시던트를 조사하는 데 도움이 되는 에이전트를 생성해 줘.”

프롬프트는 간단하지만 Genie가 시작하는 데 충분한 정보를 제공합니다. 문제를 식별하고 에이전트가 사용해야 할 소스를 지정해 주기 때문입니다.

물론 에이전트의 품질은 컨텍스트의 품질에 좌우됩니다. Genie Agent는 이미 Unity Catalog에서 거버넌스를 적용한 데이터, 문서, 파일을 기반으로 추론하므로, 진짜 중요한 작업은 신뢰할 수 있는 소스를 선별하는 것입니다. 소스가 준비되면 Genie가 이를 에이전트로 구성해 줍니다. IT 에이전트의 경우 이러한 컨텍스트에는 FAQ, 지원 문서, 인시던트 런북, 시스템 인벤토리, 서비스 데이터 등이 포함될 수 있습니다. 데이터 에이전트의 경우 거버넌스가 적용된 테이블, 메트릭 정의, 대시보드, 데이터 품질 규칙, 내부 문서 등이 포함될 수 있습니다.

컨텍스트는 정형 데이터에만 국한되지 않습니다. Genie Agent는 Unity Catalog 볼륨에 저장된 PDF, Word 문서, 프레젠테이션, 이미지와 같은 비정형 데이터도 추론할 수 있습니다. 누군가 질문을 하면 에이전트는 가장 관련성 높은 파일 콘텐츠를 검색하고, 거버넌스가 적용된 테이블과 함께 이를 추론하여 답변을 생성합니다. 이때 항상 질문한 사람의 권한을 준수합니다. 즉, 인시던트 조사 에이전트는 실제 런북 PDF를 활용할 수 있고, 제품 라인 조회 에이전트는 실제 제품 문서에서 정보를 가져올 수 있습니다.

좁은 범위에서 시작하여 확장하기

Genie Agent는 복잡하고 다단계로 이루어진 워크플로우를 지원할 수 있지만, 가장 좋은 시작점은 대개 반복적인 분석이나 작업이 필요한 구체적이고 명확한 문제입니다. 사용 사례의 범위를 좁게 설정하면 에이전트가 올바른 소스를 기반으로 작동하는지, 예상대로 동작하는지 확인하기가 더 쉬워지며, 범위 지정 및 벤치마킹도 훨씬 더 의미 있어집니다.

앞서 언급한 인시던트 조사 에이전트를 예로 들어 보겠습니다. 에이전트를 배포하기 전에 이미 원인을 알고 있는 몇 가지 과거 인시던트를 대상으로 테스트해 보세요. 에이전트가 올바른 결론에 도달하는지뿐만 아니라, 그 과정에서 올바른 런북과 서비스 상태 데이터를 인용하는지도 확인해야 합니다. 만약 오래된 런북이나 잘못된 서비스에 의존하고 있다면, 이는 프롬프트를 다시 작성해야 하는 것이 아니라 컨텍스트를 보완해야 함을 의미합니다.

Genie Agent에는 이를 위한 자체 벤치마크 기능이 내장되어 있습니다. 예상 답변이 포함된 테스트 질문 세트를 정의하고 이를 실행하여 에이전트의 정확도 점수를 얻을 수 있습니다. 변경 사항이 있을 때마다 이 벤치마크를 다시 실행하면 에이전트가 "더 나아진 것 같다"는 막연한 느낌을 추적 가능한 측정 가능한 수치로 바꿀 수 있습니다. 또한 모니터 탭에는 사용자가 제출한 실제 질문과 피드백이 표시되므로, 기능을 확장할 때 새로운 격차를 벤치마크에 다시 반영할 수 있습니다.

첫 번째 사용 사례가 정상적으로 작동하면 더 많은 지식과 데이터 소스를 추가할 수 있으며, 각 확장은 이미 테스트를 거친 버전을 기반으로 이루어집니다. 영업 기회 데이터 에이전트는 파이프라인 위험을 찾아내는 수준에서 거래 요약 초안을 작성하거나 세그먼트별 수주율에 대한 질문에 답변하는 수준으로 발전할 수 있습니다. 물류 관리 에이전트는 지연을 표시하는 수준에서 우회 경로를 추천하거나 시간 경과에 따른 운송업체 성과를 모니터링하는 수준으로 확장될 수 있습니다. 제품 라인 조회 에이전트는 카탈로그 질문에 답변하는 수준에서 제품을 비교하거나 문서가 누락된 부분을 표시하는 수준으로 발전할 수 있습니다.

좋은 시작점으로는 제품 FAQ의 질문에 답변하기, 흔히 발생하는 프로덕션 인시던트 유형 조사하기, 클라우드 비용 변화 설명하기, 또는 정의된 데이터 파이프라인 세트 모니터링하기 등이 있습니다. 다양한 사용 사례와 부서를 관통하는 공통점은 각 에이전트가 명확하게 정의된 하나의 작업에서 시작한다는 것입니다.

진짜 자산은 컨텍스트입니다

단일 프롬프트로 에이전트를 생성하는 기능이 문서화나 도메인 전문 지식을 대체하는 것은 아닙니다. 단지 팀이 이러한 투자 결과를 사용자가 스스로 활용할 수 있는 서비스로 더 빠르게 전환할 수 있도록 도와줄 뿐입니다. 기반이 튼튼할수록 에이전트의 성능도 향상됩니다. 메트릭 뷰, 도메인, 인증 등 정교하게 구성된 Unity Catalog 시맨틱은 프롬프트가 일관되고 신뢰할 수 있는 답변을 생성하기 위해 실제로 활용하는 핵심 요소입니다.

프롬프트는 프로세스를 시작할 뿐이며, 에이전트의 품질은 여전히 그 이면에 있는 지식과 시스템에 달려 있습니다. 바로 이 부분에서 데이터 및 IT 리더가 차이를 만들어냅니다. 거버넌스가 적용되고 잘 정의된 컨텍스트에 투자하는 것이 에이전트의 품질로 직결됩니다.

첫 번째 Genie Agent 구축하기

효과적인 에이전트는 명확한 비즈니스 요구 사항과 이를 해결하는 데 필요한 신뢰할 수 있는 컨텍스트에서 시작됩니다.

가장 빠르게 확인하는 방법은 하나의 집중적인 사용 사례로 시작하는 것입니다. 예를 들면 다음과 같습니다.

•  "거버넌스가 적용된 CRM 테이블을 사용하여 파이프라인 위험을 찾아내는 영업 기회 데이터 에이전트를 생성해 줘."
• "공급망 데이터를 사용하여 배송을 추적하고 지연을 표시하는 물류 관리 에이전트를 생성해 줘."
• "제품 카탈로그를 사용하여 상세한 제품 질문에 답변하는 제품 라인 조회 에이전트를 생성해 줘."

Genie Agent를 사용하면 단 하나의 프롬프트로 기존 데이터, 문서, 워크플로우를 도메인 맞춤형 에이전트로 전환한 다음, 시간이 지남에 따라 범위를 지정하고 벤치마킹하며 확장할 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)