묻고, 만들고, 구성하기: 제5회 Genie 해커톤을 통해 Databricks Genie에 대해 배운 점

Databricks 해커톤 진행 방식

저희가 이러한 해커톤을 진행하는 이유는 간단합니다. 제품을 가장 빠르게 배우는 방법은 직접 무언가를 만들어 보는 것이기 때문입니다. 각 해커톤은 팀들이 제품을 파악하고 로드맵에서 제품이 나아갈 방향을 이해하는 이네이블먼트(enablement) 세션으로 시작됩니다. 그 후 본격적인 개발이 시작됩니다. 팀들은 약 일주일 동안 함께 협력하여 프로젝트를 제출하며, 가장 뛰어난 솔루션을 제시한 팀이 상을 받게 됩니다.

이번이 다섯 번째 해커톤이었으며, 주인공은 바로 Databricks Genie였습니다.

Genie가 해커톤에 완벽한 이유

Databricks Genie 제품을 사용하면 SQL 대신 일상적인 영어로 데이터를 다룰 수 있어 해커톤의 주제로 다루기에 매우 폭넓은 가능성을 제공합니다. Genie는 단일 기능이 아니라 하나의 제품군이며, 크게 세 가지 방식으로 활용됩니다:

• 질문하기. Genie Agent는 거버넌스가 적용된 데이터를 기반으로 하는 채팅 인터페이스입니다.
• 함께 빌드하기. Genie Code는 데이터, 분석 및 ML 워크플로를 지원하는 자율형 AI 파트너입니다.
• 조합하기. Genie Agent는 다른 에이전트와 앱이 자체적으로 호출할 수 있는 도구로 노출될 수 있습니다.

이 세 가지 방식은 각각 조직 내 서로 다른 팀에 유용하며, 이것이 바로 저희가 세 개의 트랙을 운영한 이유입니다. 단순히 답변을 원하는 비즈니스 사용자부터 Genie Agent를 전체 시스템에 연결하려는 엔지니어에 이르기까지, 이 순서대로 살펴보겠습니다. 세 트랙 모두에서 변하지 않는 핵심은 질문이 어떻게 던져지든 Unity Catalog가 누가 무엇을 볼 수 있는지 제어하고, Genie Ontology가 공유된 의미론적 이해를 제공한다는 점입니다.

트랙 1: Genie Agent로 데이터와 대화하기

대상: 거버넌스가 적용된 도메인별 에이전트에게 질문하고자 하는 비즈니스 사용자. Genie Agent는 분석가가 거버넌스가 적용된 데이터의 일부를 기반으로 큐레이팅하는 도메인별 채팅 인터페이스로, 비즈니스 사용자와 공유하여 자연어로 질문할 수 있도록 지원합니다. 큐레이터는 Unity Catalog 테이블을 지정하고, 몇 가지 예시 쿼리를 추가하고, SQL 표현식과 메트릭 뷰로 비즈니스 용어를 정의할 수 있으며, 정확한 답변이 필요한 질문을 위해 신뢰할 수 있는 자산(거버넌스가 적용된 함수)을 고정할 수 있습니다. 이제 비즈니스 사용자는 질문을 입력하기만 하면 결과, 차트, 그리고 그 뒤에 있는 쿼리를 바로 얻을 수 있습니다. 실제 팀들이 Genie Agent를 배포했을 때 어떤 모습이었을까요?

OneTrust는 Genie Agent의 실제 작동 메커니즘 중 하나를 직접 마주했습니다. 단일 에이전트는 최대 30개의 테이블에 집중하도록 설계되어 빠르고 정확한 답변을 유지하지만, OneTrust의 실제 분석가가 관심을 두는 데이터는 190개의 테이블과 300개 이상의 뷰에 걸쳐 있었습니다. 이에 따라 이들은 데이터를 여러 개의 집중된 Genie Agent에 샤딩(sharding)하고, 각 질문을 적절한 에이전트로 라우팅한 다음, 답변을 다시 단일 대화로 결합하는 감독 레이어(supervisory layer)를 구축했습니다. 사용자 입장에서는 변하는 것이 없습니다. 여전히 하나의 에이전트에게만 질문하면 됩니다. 보이지 않는 곳에서는 신뢰성을 유지하는 거버넌스를 포기하지 않으면서도, 이제 일상적인 영어로 진행되는 셀프 서비스가 기업 전체 자산으로 확장되었습니다.

또 다른 팀은 약 16만 건의 대출 기록에 Genie Agent를 연결하고, 결정적으로 팀의 고유한 언어를 학습시켜 "cure"의 의미와 "DNC"가 무엇을 나타내는지 정의함으로써 모델이 일상적인 질문을 올바른 데이터에 매핑할 수 있도록 했습니다. 곧 수심 팀은 일상적인 영어로 질문하여 대부분의 연체 대출이 약 15일 이내에 해결된다는 사실 등을 파악할 수 있었습니다. 가장 멋진 순간은 예상치 못하게 찾아왔습니다. 어휘가 정의되자 에이전트가 팀에서 미처 생각하지 못했던 예리한 질문을 먼저 제안하기 시작한 것입니다. 훌륭한 컨텍스트가 단순한 채팅창을 어떻게 변화시키는지 보여주는 완벽한 사례입니다.

트랙 2: Genie Code로 빌드하기

질문하는 것은 시작에 불과합니다. 다음 질문은 누가, 얼마나 빠르게 빌드할 수 있는가입니다.

대상: 분석가 및 빌더. 데이터를 잘 알고 약간의 SQL을 작성할 수 있지만, 프로젝트에 파이프라인, 함수 또는 정교한 대시보드가 필요한 순간 장벽에 부딪히곤 했던 준전문가(semi-technical)들을 위한 것입니다.

Genie Code는 이 제품군에서 '빌더' 역할을 담당합니다. 원하는 바를 일상적인 언어로 설명하면 별도의 개발 환경을 설정할 필요 없이 Databricks 내부에서 메트릭 뷰, Unity Catalog 함수, 파이프라인, 대시보드를 작성하는 등의 작업을 대신 수행해 줍니다. Unity Catalog와 긴밀하게 통합되어 있어 실제 스키마와 의미론(semantics)을 이해하므로, 임의로 열 이름을 만들어내는 대신 올바른 조인(join)을 선택합니다. 분석가에게 이는 엄청난 레버리지입니다. 이전에는 데이터 엔지니어링 팀에 티켓을 요청하거나 일주일 동안 직접 SQL을 작성해야 했던 작업이 이제 반나절 만에 완료됩니다. 이것이 바로 이 트랙이 보여주고자 한 핵심입니다.

한 팀은 데이터 팀 자체의 시스템에 Genie를 적용했습니다. 이들은 Genie Code를 사용하여 정리해야 할 휴면 보고서를 표시하고, 리니지(lineage)와 SQL 로직을 사용해 조직 전체에 숨겨진 중복 보고서를 클러스터링하며, 데이터가 실제로 AI에 사용될 준비가 되었는지 점수화하는 거버넌스 인텔리전스 플랫폼을 구축했습니다. 이는 보통 한 분기와 로드맵이 필요한 전사적 거버넌스 프로젝트입니다. 하지만 Genie Code를 사용하여 해커톤 기간 동안 완성해 냈습니다.

Procore는 Databricks를 벗어나지 않고 휴가용 임대 플랫폼을 위한 전체 분석 환경을 구축했습니다. Avinash, Abdullah, Amy, Jason은 ai_extract()와 같은 내장 AI 함수를 사용하여 매물을 자동으로 분류하고 점수를 매긴 다음, KPI, 전년 대비 트렌드, 예측 대시보드를 출시했습니다. 또한 포트폴리오 관리자의 "만족도를 높이려면 어떤 편의시설을 추가해야 할까요?"라는 질문에 몇 초 만에 답변하는 Genie Agent도 함께 제공했습니다. 몇 주가 아닌 단 며칠 만에 완성도 높은 다기능 제품을 빌드해 낸 것입니다.

Fanatics Betting and Gaming은 요청 시 관리자에게 ROI가 입증된 순위별 조치 목록을 제공하는 고객 경험 도구를 반나절 만에 엔드투엔드로 구축했습니다. 그런 다음 이들은 저희가 아주 마음에 들었던 작업을 수행했습니다. 바로 Genie를 사용하여 자체 이탈(churn) 모델의 스트레스 테스트를 진행한 것입니다. 그 결과 두 개의 이력 기반 피처가 거의 모든 신호를 전달한다는 점을 발견하고, 더 간단한 접근 방식도 똑같이 효과적이라는 정직한 결론을 내렸습니다. 이들은 심지어 이 워크플로를 재사용 가능한 분석가 스킬로 패키징하기도 했습니다. 빌드 속도가 이처럼 빠르면 자신의 작업에 기꺼이 도전해 볼 수 있으며, 이것이 바로 훌륭한 분석가들이 이 도구를 활용해야 하는 방식입니다.

트랙 3: Genie를 에이전트로 조합하기

데이터와 대화할 수 있고, 데이터로 빌드할 수도 있습니다. 마지막 단계는 저희를 가장 흥분시키는 도약입니다.

대상: 바이브 코더(vibe coder). 모든 것이 하나로 연결되는 가장 심도 있는 단계입니다. 과제는 Databricks Apps에서 Genie를 도구 중 하나로 활용하는 완전한 에이전트를 구축하고, 자신만의 도구를 가져오는 것이었습니다.

이 부분은 Genie의 정의를 바꿉니다. Genie Agent는 최종 목적지일 필요가 없습니다. Genie Conversation API와 Databricks의 내장 관리형 MCP 서버를 통해, Genie Agent는 모든 에이전트가 호출하여 자연어로 데이터 질문을 던지고 근거 있는 답변을 얻을 수 있는 거버넌스가 적용된 도구가 됩니다. 따라서 엔지니어는 Databricks Apps에서 에이전트를 구축하고, 다른 MCP 서버, Model Serving 엔드포인트 및 커스텀 로직 옆에 Genie를 연결하고, MLflow에서 전체 과정을 추적하며, OAuth 및 Unity Catalog로 모든 호출을 제어할 수 있습니다. Genie는 "웨어하우스와의 대화"를 처리합니다. 나머지는 여러분이 조합하면 됩니다.

ShipBob은 모두의 기억에 남는 프로젝트인 '오후 11시 운영 브리핑(11 PM Ops Brief)'을 구축했습니다. 공급망 팀은 대개 이미 진행 중인 장애 상황을 보며 아침에 잠에서 깹니다. ShipBob의 시스템은 이들보다 먼저 야간 브리핑을 작성하며, 감독 에이전트가 여러 전문 에이전트를 조율합니다. Genie는 웨어하우스를 쿼리하는 역할을 담당하고, 다른 에이전트들은 17개의 실시간 공개 피드를 융합하고 반복되는 패턴을 찾아내며 결과를 초안으로 작성하고 팩트 체크합니다. 결과물은 약 19만 2천 달러의 매출 위험과 같은 실제 수치가 포함된 일상적인 영어 브리핑이며, 사람이 승인할 수 있도록 대기 중인 라이트백(write-back) 조치와 MLflow에서 추적되는 모든 단계가 포함됩니다. 30분짜리 스탠드업 미팅이 30초 만에 읽을 수 있는 분량으로 바뀝니다. 이는 솔로 연주자가 아닌 팀 플레이어로서의 Genie를 가장 명확하게 보여주는 사례입니다.

Reach Mobile은 이와 동일한 아이디어를 Databricks 자체에 다시 적용한 DBX Lens를 구축했습니다. 이 솔루션은 임베디드 Genie 에이전트를 자체 MCP 서버와 결합하여, "지난 30일 동안의 SKU별 DBU 표시"와 같은 질문을 던지면 Unity Catalog 시스템 테이블을 기반으로 사용자의 권한 범위 내에서 비용 및 거버넌스에 대한 답변을 쉬운 영어로 제공합니다. 심지어 Model Serving을 사용하여 자연어 거버넌스 규칙을 정제된 SQL로 변환하는 기능도 포함되어 있습니다. 팀이 효율성을 유지하고 모범 사례를 준수할 수 있도록 지원하는 내장형 FinOps 분석가라고 생각하시면 됩니다.

Kin Insurance는 새로운 시장을 조사하고, Genie를 활용하여 분석을 실행하며, 팀이 즉시 실행할 수 있는 권장 사항을 제공하는 성장 및 마케팅용 에이전트를 구축했습니다. 자율적 계획 수립을 Genie 에이전트와 결합함으로써, 여러 단계가 소요되는 지루한 조사 및 보고 작업을 단 한 번의 질문으로 해결합니다. 질문은 줄이고, 실행은 더 많이 할 수 있습니다.

다른 두 가지 구축 사례는 동일한 구성 아이디어를 다른 각도에서 보여줍니다.

Ripple은 규제 대상 금융 분야를 위한 KYC(Know Your Customer) 브리핑 에이전트를 구축했습니다. Genie가 내부 CRM 컨텍스트를 제공하는 동안 에이전트는 외부 제재, 집행 및 부정적 미디어 소스를 스크리닝하여, 회의 전 3~4시간이 걸리던 수동 조사 작업을 단 하나의 프롬프트와 1분 미만의 출처가 명확한 브리핑으로 단축합니다. 인증된 메트릭 뷰를 통해 수치의 정확성을 유지하며, 모든 실행 내역은 투명한 감사 추적을 위해 Unity Catalog에 기록됩니다.

Fanatics Betting and Gaming은 신규 스포츠베팅 고객을 위한 온보딩 가이드인 FirstBet Coach를 구축했습니다. 이는 10여 개의 거버넌스 대상 테이블을 지원하는 Genie와 팀이 직접 구축한 맞춤형 스포츠 데이터 MCP 서버를 결합하고, 영구 메모리 및 내장 감사 추적을 위한 MLflow 트레이싱을 추가한 것입니다. 두 개의 MCP 서버, 하나의 대화, 그리고 사전에 설정된 책임감 있는 도박(responsible-gambling) 가드레일이 함께 작동합니다.

더 큰 그림

이 세 가지 트랙을 차례로 살펴보면 Databricks Genie 제품군이 어떻게 작동하는지 한눈에 파악할 수 있습니다. 수집 담당 리더는 Genie 에이전트를 사용하여 질문을 던집니다. 분석가는 Genie Code를 사용하여 거버넌스 플랫폼을 배포합니다. 엔지니어는 Genie를 여러 도구 중 하나로 자율 에이전트에 전달합니다. 대화하고, 구축하고, 구성해 보세요.

이 세 가지 모두를 실제 사용자에게 안전하게 제공할 수 있는 이유는 누구도 깊이 고민할 필요가 없었던 레이어인 Unity Catalog 덕분입니다. 비즈니스 사용자가 Genie 에이전트에서 볼 수 있는 내용을 결정하는 동일한 거버넌스가 Genie Code가 액세스할 수 있는 범위와 에이전트가 반환할 수 있는 범위도 제한합니다. 데이터를 한 번만 잘 정의하고 거버넌스를 적용해 두면, Genie는 비즈니스 사용자, 빌더, 엔지니어 모두가 각자의 작업 환경에서 필요로 하는 것을 정확히 충족해 줍니다.

실질적인 성과를 만들어낸 10개 팀 모두에게 박수를 보냅니다. Databricks Genie 제품군을 시작하는 데 도움이 되는 몇 가지 추천 리소스를 소개합니다:

• Data + AI Summit의 대화형 및 에이전트 기반 분석 세션을 확인해 보세요.
• Genie 에이전트가 처음이신가요? Genie 온보딩 가이드 및 에이전트 관리를 위한 모범 사례부터 시작해 보세요.
• 직접 구축해 보고 싶으신가요? Genie Code를 알아보고, 에이전트 뒤에 Genie 에이전트를 배치하는 방법을 확인해 보세요.
• 지금 바로 시도해 볼 준비가 되셨나요? 무료 체험판을 시작하고 자체 데이터에 Genie 에이전트를 적용해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)