"무슨 일이 일어났는가?"에서 "앞으로 무슨 일이 일어날 것인가?"로

비즈니스 인텔리전스(BI)는 언제나 질문에 답하는 것이 핵심이었습니다. 대부분의 조직에서 이러한 질문은 '지난 분기에 무슨 일이 있었는가?'와 같은 기술적(descriptive) 질문이거나, '왜 남동부 지역에서 고객 이탈이 급증했는가?'와 같은 진단적(diagnostic) 질문이었습니다. Databricks Genie는 이러한 질문에 대한 접근성을 획기적으로 높여, 비즈니스 사용자가 SQL을 작성하거나 분석가의 답변을 기다릴 필요 없이 자연어로 답변을 얻을 수 있도록 지원합니다.

하지만 가장 중대한 의사결정을 이끄는 질문은 예측적(predictive) 질문입니다. 다음 분기에 어떤 고객이 이탈할 가능성이 높은가? 가격을 조정하면 수요가 어떻게 변할 것인가? 이 대출 신청자가 채무를 불이행할 확률은 얼마나 되는가? 역사적으로 이러한 질문에 답하려면 완전히 다른 도구, 기술, 팀이 필요했습니다. 데이터 사이언티스트가 데이터를 탐색하고, 예측에 적합한지 검증하고, 피처를 엔지니어링하고, 모델을 학습시키고, 상황 변화에 맞춰 모델을 유지 관리해야 했습니다. 그 결과, 비즈니스 사용자가 자신 있게 활동하는 BI 영역과 전문 팀만 접근할 수 있는 예측 분석 영역 사이에 견고한 장벽이 생겼습니다.

이전 블로그 포스트에서 저희는 Prior Labs의 정형 데이터용 파운데이션 모델인 TabPFN이 단 한 번의 순방향 패스(forward pass)로 프로덕션급 예측을 제공함으로써 이러한 예측 워크플로우를 어떻게 크게 단축하는지 보여드렸습니다. 하지만 핵심 병목 현상은 여전히 남아 있었습니다. TabPFN이 예측을 수행하기 전에 누군가는 비즈니스 질문을 정형화된 데이터 세트로 변환해야 했습니다. 모델의 예측은 즉각적일지 몰라도, 데이터를 준비하는 작업은 그렇지 않습니다.

피처 엔지니어로서의 Genie, 범용 모델로서의 TabPFN

여기서 Genie의 역할은 단순히 질문에 답하는 것에서 예측을 가능하게 하는 것으로 전환됩니다. Genie는 이미 조직의 데이터(스키마, 관계, 비즈니스 의미론)를 이해하고 있습니다. 멀티 에이전트 오케스트레이터 내에서 Genie와 TabPFN을 결합하면 폐루프(closed loop)가 생성됩니다. Genie는 자연어 질문을 TabPFN이 필요로 하는 정확한 입력 데이터로 동적으로 변환하고, TabPFN은 단 한 번의 순방향 패스로 해당 데이터를 예측으로 변환합니다. 대화 중에 제기된 모든 예측 질문은 즉각적으로 맞춤형 답변을 받게 됩니다. 답할 수 있는 질문의 범위는 사실상 무한해집니다. 어떤 질문이든 "결과가 포함된 과거 데이터가 주어졌을 때, 새로운 시나리오에 대한 결과를 예측하라"로 구성할 수 있다면 단 몇 초 만에 답할 수 있습니다.

그 결과, Unity Catalog를 통해 완전한 리니지(lineage) 및 액세스 제어가 보장되는 레이크하우스(Lakehouse) 데이터를 기반으로, 비즈니스 사용자가 기술적 분석에 사용하는 것과 동일한 대화형 인터페이스에서 예측 질문을 던질 수 있는 단일화되고 거버넌스가 확보된 환경이 제공됩니다.

이 포스트에서는 이를 가능하게 하는 애플리케이션 아키텍처를 살펴보고, 각 기술 구성 요소를 소개하며 이들이 어떻게 결합되어 대화형 BI 내에서 예측 인텔리전스를 직접 제공하는지 보여드립니다.

동영상 1. Databricks Apps 인터페이스를 통해 Genie 및 TabPFN을 사용하는 멀티 에이전트 감독자(supervisor)와의 상호작용

아키텍처: 멀티 에이전트 감독자(Supervisor)

이 시스템은 Databricks App으로 배포된 멀티 에이전트 오케스트레이터로 구축되었으며, Databricks에서 엔터프라이즈 에이전트를 구축하고 배포하기 위한 플랫폼인 Agent Bricks를 사용하여 주요 구성 요소를 연결합니다. Genie는 거버넌스가 확보된 레이크하우스 데이터에 대한 구조화된 SQL 분석을 수행하는 서브에이전트 역할을 합니다. TabPFN은 외부 MCP 서버로 Unity Catalog에 연결됩니다. 또한 이 시스템은 추가 서브에이전트 및 서빙 엔드포인트를 지원하므로, 필요에 따라 다른 Databricks 애플리케이션이나 추가 MCP 서버를 추가할 수 있습니다.

예측 질문이 접수되면 오케스트레이터는 에이전트 기반 워크플로우(agentic workflow)를 실행합니다. 먼저 사용자의 비즈니스 의도를 해석합니다. 질문에 답하기 위해 예측 분석이 필요한 경우, Genie에 쿼리하여 레이크하우스에서 적절한 레이블 지정 데이터(labeled data)를 추출합니다. 필요한 모든 데이터를 수집한 후 TabPFN을 호출하여 이 데이터를 올바른 형식으로 모델에 전달합니다. 마지막으로 감독자는 예측을 해석하고 사용자에게 실행 가능한 권장 사항을 제공합니다(그림 1).

실제 작동하는 핵심 인사이트

이를 구체적으로 설명하기 위해, 영업 책임자가 "Horton-Cross 딜을 성사시킬 가능성이 가장 높은 프로모션 유형은 무엇인가?"라고 질문하는 상황을 가정해 보겠습니다.

기존 워크플로우에서 이 질문에 답하려면 데이터 사이언티스트가 질문을 이해하고 어떤 테이블과 컬럼이 중요한지 파악해야 합니다. 또한 프로모션 유형과 성공/실패 결과가 포함된 과거 거래에서 적절한 학습 세트를 추출하고, 알고리즘을 선택하고, 하이퍼파라미터를 튜닝하고, 성능을 검증해야 합니다. 그런 다음 Horton-Cross 거래에 특화된 추론 데이터를 준비하고, 모델을 실행하고, 출력을 비즈니스 권장 사항으로 변환해야 합니다. 이러한 각 단계에는 시간, 전문 지식, 반복 작업이 필요합니다. 그리고 다음 질문인 "성공 확률을 극대화하기 위해 후속 조치를 취해야 하는 최적의 날짜는 언제인가?"에 답하려면 처음부터 완전히 다른 모델을 구축해야 합니다.

이제 동일한 멀티 에이전트 감독자 아래에서 Genie와 TabPFN을 사용할 때 어떤 일이 일어나는지 살펴보겠습니다. 감독자는 자연어 질문과 그 시맨틱 의도를 해석한 다음, 해당 의도를 Genie가 데이터 세트를 생성하도록 하는 구체적인 요청으로 변환합니다. Genie는 이 질문에 답하기 위해 성공 또는 실패를 레이블로 사용하여 프로모션 및 계정(accounts)과 결합된 과거 기회 데이터가 필요하다는 것을 인식하고, 이 데이터를 즉시 추출할 수 있는 정밀한 SQL을 생성합니다.

TabPFN은 해당 데이터 세트를 수신하여 단 한 번의 순방향 패스로 예측을 생성합니다. 피처 전처리, 모델 선택, 하이퍼파라미터 튜닝이 전혀 필요하지 않습니다. 마지막으로 감독자는 명확하고 데이터에 기반한 권장 사항을 반환합니다. 질문에서 예측에 이르는 전체 파이프라인이 단 한 번의 대화만으로 자연어로부터 스스로 구성됩니다.

품질 평가 및 한계

이 패턴에는 한계가 있습니다. TabPFN의 성능은 Genie가 생성하는 데이터의 품질에 좌우됩니다. 스키마가 올바른 신호를 포착하지 못하거나, 필요한 조인(join)이 존재하지 않거나, 결과가 데이터에 표현되지 않아 Genie가 특정 질문에 대해 명확한 레이블 컬럼이 있는 의미 있는 데이터 세트를 구성할 수 없다면, TabPFN의 성능이 아무리 뛰어나더라도 예측을 신뢰할 수 없습니다. 효과적인 Genie 공간을 구축하기 위한 모범 사례는 여기에서 확인하실 수 있습니다. 이 외에도 멀티턴 대화 중에 에이전트가 환각 현상(hallucination)을 보이거나 핵심 정보를 누락할 수 있는 광범위한 리스크도 존재합니다.

그렇기 때문에 체계적인 평가가 필수적입니다. 배포 전에 한 번만 검증하면 되는 정적 ML 파이프라인과 달리, 이 시스템은 각 질문에 대해 고유한 ML 문제를 동적으로 구성합니다. 따라서 어떤 범주의 질문이 신뢰할 수 있는 예측을 생성하는지, 그리고 어떤 질문이 Genie가 잘 구성된 학습 세트로 표현할 수 있는 범위를 벗어나는지 등 그 경계가 어디인지 파악할 수 있는 평가 프레임워크가 필요합니다.

솔루션 액셀러레이터는 MLflow의 GenAI 평가 프레임워크를 기반으로 구축된 포괄적인 평가 하네스(evaluation harness)와 함께 제공됩니다. 이는 라이브 에이전트를 대상으로 실행되며 결과를 MLflow 실험 추적(MLflow Experiment Tracking)에 기록하므로, 팀은 단일 인터페이스(single pane of glass)에서 시간 경과에 따른 품질을 평가하고 모니터링할 수 있습니다. 자세한 내용은 여기에서 확인하실 수 있습니다.

동영상 2. Databricks Experiments 인터페이스를 통해 Genie 및 TabPFN을 사용하는 멀티 에이전트 감독자 평가

이러한 평가 루프가 없다면 시스템은 신뢰할 수 있는 예측과 신뢰할 수 없는 예측을 구분할 방법도 없이 확신에 찬 예측을 반환할 수 있습니다. 이러한 엄격한 접근 방식은 모든 수준에서의 커버리지를 보장합니다. 대화 및 행동의 회귀(regression) 현상을 감지하는 동시에 예측 파이프라인의 엔드투엔드 정확성을 검증합니다. 이러한 점검을 통해 팀은 어떤 범주의 질문이 신뢰할 수 있는 예측을 생성하는지, 그리고 시스템의 한계가 어디인지 명확히 이해하고 프로덕션에 이 패턴을 자신 있게 배포할 수 있습니다.

시작하기

Genie, TabPFN, Agent Bricks의 조합은 기술 분석과 예측 분석 간의 관계를 재정의합니다. Genie는 피처 엔지니어링 레이어가 됩니다. TabPFN은 훈련 및 유지 관리 오버헤드를 제거합니다. Agent Bricks는 오케스트레이션 및 거버넌스 백본을 제공하며, MLflow는 응답의 품질을 평가하고 모니터링합니다. 그 결과, 비즈니스 사용자들은 이미 기술 분석에 사용하고 있는 동일한 대화형 인터페이스에서 예측 질문을 던질 수 있게 됩니다.

전체 솔루션 액셀러레이터는 여기에서 확인할 수 있습니다. 이 리포지토리에는 샘플 데이터 생성, Genie Space 구성 및 위에서 설명한 엔드투엔드 평가 도구가 포함되어 있습니다. 이 패턴은 도메인에 구애받지 않습니다. 액셀러레이터는 기업 영업 분석을 시연하지만, 헬스케어 위험 점수 산정, 제조 품질 예측, 금융 사기 탐지, 고객 이탈 분석 등을 포함하여 결과가 포함된 정형 데이터가 존재하는 모든 도메인에 동일한 아키텍처를 적용할 수 있습니다.

지금 시작하여 팀이 이미 나누고 있는 대화에 예측 인텔리전스를 도입해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)