대화형 분석이 BI 병목 현상을 제거하는 방법

요즘 이사회와 데이터 리더십 회의에서 이런 질문이 돌고 있습니다. "우리는 이미 BI를 가지고 있고, 데이터베이스 솔루션도 가지고 있습니다. 그런데 왜 다른 것이 필요하죠?"

타당한 질문입니다. 그리고 이 질문은 Ari Kaplan이 5개 대륙에서 받아온 질문이기도 합니다. Databricks의 글로벌 에반젤리즘 책임자로서 Ari는 데이터, 기술, 비즈니스 혁신의 교차점에서 경력을 쌓아왔으며, 여기에는 22,000명 이상의 데이터베이스 전문가를 대표하는 조직인 Independent Oracle Users Group의 회장직도 포함됩니다. 그는 무엇이 효과가 있고, 무엇이 오래되었으며, 앞으로 10년이 무엇을 요구할지 직접 목격했습니다.

이 대화에서는 대화형 분석, Genie 및 Lakebase의 아키텍처, AI 기반 인사이트에 대한 경영진의 신뢰를 얻기 위해 실제로 필요한 것, 그리고 행동하지 않는 기업들이 생각보다 뒤처질 수 있는 이유에 대해 이야기합니다.

행동 없는 통찰력은 그저 잡담일 뿐
Catherine Brown: Ari, 경영진은 데이터와 대화하는 아이디어를 좋아하지만, 대화형 분석에서 어디에서 문제가 발생하나요?

Ari Kaplan: 물론이죠! 핵심은 기업들이 자신의 비즈니스 맥락 안에서 관리되는 데이터와 대화하고 싶어한다는 것입니다. 하지만 여기서 문제가 발생합니다. 만약 얻는 것이 사실, 즉 잡담뿐이고 행동으로 이어질 경로가 없다면 무슨 소용이 있겠습니까? 모든 통찰력의 가치는 그것 때문에 일어나는 일만큼만 실질적입니다.

이것이 Databricks가 만들고자 하는 차이점입니다. 단순히 대화가 아니라, 그것이 어딘가로 이어지는 것입니다. 저는 주요 Genie 사용자 중 하나인 Etihad Airlines와 이야기하고 있었습니다. 그들의 재무팀은 "다음 분기에 유가가 상승하면, 어떻게 가격을 조정해야 수익을 내면서도 고객들이 계속 이용하고 싶어할까?"와 같은 질문을 하고 있었습니다. 이러한 분석은 예전에는 몇 달이 걸렸지만, Genie와 예측 분석을 사용하면 실시간으로 시나리오를 실행하고 실제로 거의 즉시 가격 및 노선 변경 결정을 내리고 있습니다. 이것은 단순히 정보에 기반한 것이 아니라 데이터로 운영되는 비즈니스의 좋은 예입니다.

Catherine: 그렇다면 자연어 답변이 워크플로우, 거래 또는 실제 결정과 같은 더 많은 것으로 변해야 할 때는 언제인가요?
Ari: 중요하게 만들고 싶다면 즉시 그렇게 해야 합니다. 아무도 행동하지 않는 보고서는 그저 소음일 뿐입니다. 목표는 취약한 것을 만들지 않고 통찰력에서 행동으로 나아가는 것입니다.

AI 답변을 맹목적으로 받아들이는 시스템을 원하지는 않습니다. 여전히 사람의 개입이 필요합니다. 원하는 것은 민첩성입니다. 계속 새로고침되는 데이터, 최신 상태를 유지하는 인사이트, 그리고 비즈니스가 실제로 어떻게 운영되는지와 계속 연결되도록 감독할 수 있는 조직 내의 사람들입니다. 사람은 여전히 인터페이스입니다. 그것은 사라지지 않습니다.

Genie와 Lakebase가 실제로 해결하는 것

Catherine: 대시보드와 BI 코파일럿이 여전히 어려움을 겪고 있는 것 중에서 Genie는 비즈니스 사용자에게 무엇을 해결해 주나요?
Ari: 네, Genie는 비즈니스 맥락에서 자신의 데이터와 단순히 대화할 수 있도록 하여 기존의 비즈니스 인텔리전스 도구를 뛰어넘습니다. 사용자가 AI 기반 인사이트를 스스로 얻을 수 있도록 합니다.

대시보드가 실제로 무엇인지 생각해 보세요. 그것은 고정된 질문을 새로운 데이터만 바꿔서 반복해서 묻는 것입니다. 기업들은 거의 30년 동안 그렇게 해왔습니다. 효과가 있습니다. 하지만 한계가 있습니다. 그리고 그 한계는 질문이 결코 변하지 않는다는 것입니다.

Genie는 이제 비기술적인 사람, 경영진, 영업 책임자, 재무 관리자가 원하는 것을 평범한 언어로 묻고 답변을 얻을 수 있기 때문에 그 한계를 뛰어넘습니다. BI 팀에 티켓을 보내거나 거의 맞지만 여전히 조정이 필요한 대시보드를 일주일 동안 기다릴 필요가 없습니다. BI 팀이 사라지는 것은 아니라는 점에 주목할 가치가 있습니다. 그들은 일회성 보고 요청을 처리하는 대신 진정으로 복잡한 작업에 집중할 수 있습니다. 결국 모든 사람에게 더 나은 상황입니다.

그리고 “Genie Code”는 기술적인 사용자, 즉 데이터 과학자, 데이터 엔지니어 및 기타 사용자가 자신의 업무와 완료해야 하는 작업을 훨씬 더 효과적이고 효율적으로 수행할 수 있도록 지원합니다.

Catherine: Genie와 Lakebase는 어떻게 함께 작동하나요? 외부에서 보면 상호 작용할 수도 있고 안 할 수도 있는 두 개의 별도 제품처럼 들릴 수 있습니다.

Ari: Genie와 Lakebase는 실제로 같은 아이디어의 두 반쪽입니다. Lakebase는 트랜잭션 데이터가 저장될 수 있는 한 가지 핵심 영역입니다. 수십억 또는 수조 개의 레코드를 처리하기 위해 구축된 최신 데이터베이스입니다. Lakebase는 Genie가 연결하는 많은 소스 중 하나일 뿐입니다. Lakehouse (DBSQL)도 마찬가지이며, Unity Catalog를 통해 통합되는 모든 것(Slack, SAP, Google Drive, SharePoint 등)도 마찬가지입니다.

Genie는 Lakebase부터 Lakehouse의 웨어하우스 데이터 및 그 이상까지 모든 데이터와 대화하는 방법입니다. 따라서 하나는 저장하고(Lakebase), 하나는 표시합니다(Genie). 그리고 전체는 Unity Catalog를 통해 실행되어 거버넌스 제어를 관리하고 유지합니다. 따라서 올바른 사람들이 자신이 봐야 할 것만 보고, 모든 사람이 동일한 정의를 기반으로 작업합니다. 모든 팀과 모든 비즈니스 사용자에게 정의는 동일합니다. 고객은 고객을 의미하고 이익은 이익을 의미합니다. 이 공유 언어는 간단해 보이지만 실제로 전체를 신뢰할 수 있게 만드는 것입니다.

레거시 데이터베이스에서 벗어나는 이유

Catherine: 재미있는 질문입니다. CIO가 이미 데이터베이스가 있다고 말합니다. 그것만으로는 더 이상 충분하지 않은 이유를 설명해 주세요.

Ari: 이 질문을 좋아합니다. 제가 그 반대편에 있었기 때문입니다. 기존 데이터베이스의 기반 아키텍처는 수십 년 동안 실제로 변하지 않았다는 것을 말씀드릴 수 있습니다. 그 기반은 다른 시대를 위해 구축되었습니다.

변한 것은 다음과 같습니다. Lakebase를 사용하면 며칠 또는 몇 주가 아니라 즉시 새 데이터베이스를 프로비저닝할 수 있습니다. 그리고 오늘날 생성되는 대부분의 데이터베이스는 AI에 의해 프로비저닝됩니다.
두 번째는 비용입니다. 전통적으로 프로덕션 환경, 테스트 환경, QA 환경이 필요했다면 데이터의 세 가지 복사본을 만들어야 했습니다. 저장 공간 3배, 비용 3배. Lakebase를 사용하면 기본 데이터를 복사하지 않고도 100개의 환경을 포크할 수 있습니다. 저는 최근 브라질에 있었는데, 기업들이 이전 후 총 소유 비용을 40% 절감했다고 말했습니다. 제가 들은 최고치는 98%입니다. 모든 사람이 거기에 도달하는 것은 아니지만, 제가 가는 곳마다 절감 효과는 실질적입니다.

그리고 확장성입니다. Arctic Wolf는 세계에서 가장 큰 네트워크 운영 센터로, Databricks에서 매일 1조 개 이상의 레코드를 관리합니다. 오래된 가정은 더 이상 유효하지 않습니다.

Catherine: 데이터에 질문하는 것과 데이터로 비즈니스를 운영하는 것의 실제 차이점은 무엇인가요?
Ari: 가장 쉽게 설명하자면, 하나는 무슨 일이 일어났는지 알려주고, 다른 하나는 다음에 무엇을 할지 결정하는 데 도움을 줍니다.

제가 일하는 한 국제 항공사는 80개의 공급업체(케이터링, 보안, 전자제품 등)를 가지고 있었습니다. 그들은 Genie에게 다음과 같이 물었습니다. "우리 공급업체 중 누가 과잉 청구하고 있습니까? 순위를 매겨주세요." 이러한 질문은 분석가 팀에게 몇 달이 걸렸을 것입니다. Genie가 답했습니다. 오렌지 주스 공급업체가 가장 큰 과잉 청구 업체였습니다. 이제 그들은 어디에서 재협상해야 하는지 정확히 알고 있습니다. 이것이 데이터로 비즈니스를 운영하는 것입니다.

월간 수억 명의 플레이어를 보유한 게임을 만드는 Supercell은 실시간 매치메이킹, 독성 제어 및 게임 내 구매 결정을 위해 Lakebase를 사용합니다. 데이터 인프라가 따라갈 수 있기 때문에 이 모든 것이 실시간으로 대규모로 이루어지고 있습니다.

그리고 브라질의 iFood는 이 나라 음식 배달의 90% 이상을 처리하며, 복잡한 도시를 실시간으로 오토바이 운전자를 경로 설정하기 위해 Lakebase를 사용합니다. 이들은 언젠가 데이터를 더 잘 활용하는 것에 대해 생각하는 회사가 아닙니다. 이미 그렇게 하고 있습니다.

거버넌스는 분석을 신뢰할 수 있게 만듭니다

Catherine: 경영진이 대화형 분석을 신뢰하기 위해 의미론과 비즈니스 정의가 왜 중요한가요?

Ari: 솔직히 예상보다 훨씬 더 중요합니다. 간단한 예가 있습니다. 같은 회사에서 세 명의 경영진에게 이익을 정의해 보라고 요청하세요. 세 가지 다른 답변을 얻을 것입니다. 고객 이탈, 고객 만족도도 마찬가지입니다. 분석 시스템이 누구의 정의를 사용해야 하는지 모르면, 합의 대신 논쟁을 유발하는 답변을 얻게 될 것입니다.

Databricks는 소프트웨어 개발 없이도 경영진이 직접 용어를 정의할 수 있도록 합니다. 경영진은 이렇게 말할 수 있습니다. "나에게 판매는 30일 반품 기간이 종료된 후에야 계산된다." 이 정의는 이제 해당 Genie 공간을 사용하는 모든 사람에게 적용됩니다. HR 매뉴얼이나 운영 매뉴얼을 업로드할 수도 있으며, Unity Catalog는 이를 사용하여 회사 언어를 더 잘 이해합니다.

FordDirect는 전 세계 딜러 네트워크에서 이와 유사한 작업을 수행했습니다. 수천 개의 위치에서 매우 비전문적인 사용자, 즉 자동차 판매원들이 Genie를 통해 일일 운영 보고서를 받았습니다. 보고서에는 어떤 고객이 방문하고 있는지, 어떤 차량이 도착하고 있는지, 어떤 차량이 리콜되고 있는지에 대한 정보가 포함되었습니다. 그들은 만족도 조사를 실시했고 95%의 승인을 받았습니다. 그 규모의 비전문가 대상으로는 거의 전례 없는 수치입니다.

Catherine: 대화형 분석이 거버넌스된 운영 시스템에 연결되지 않으면 어떻게 되나요?
Ari: 드리프트가 발생하고 신뢰를 잃게 되며, 신뢰를 잃으면 회복하기가 매우 어렵습니다. 저희는 20,000명 이상의 고객을 대상으로 설문 조사를 실시했는데, AI 및 데이터 채택의 가장 큰 장벽은 신뢰 부족이었습니다. 비용이나 복잡성이 아니라 신뢰였습니다. 그리고 이러한 불신은 거버넌스되지 않은 시스템, 즉 다른 팀들이 사물을 다르게 정의하고 답변이 현실과 달라지기 시작하는 시스템에서 비롯됩니다. 환각은 이것의 극단적인 버전이지만, 더 조용한 버전, 즉 약간 오래된 데이터, 약간 일관되지 않은 정의는 감지하기가 더 어렵기 때문에 실제로 더 위험합니다.

Catherine: 자연어 분석이 너무 위험하다고 말하는 리더들에게는 용어가 항상 바뀌는데, 그들이 앞으로 나아가기 전에 무엇이 사실이어야 할까요?
Ari: 그들이 틀린 것은 아닙니다. 위험은 현실입니다. 안전 장치가 없으면 범용 챗봇은 지난주 데이터인지 5년 전 데이터인지 알 수 없기 때문에 실제로 위험합니다. 그리고 비즈니스 맥락을 이해하지 못합니다. 해결책은 기다리는 것이 아닙니다. 해결책은 배포 방법을 신중하게 결정하는 것입니다.

Fox Sports는 제가 계속 언급하는 예시입니다. 그들의 명성은 전적으로 정확성에 달려 있습니다. 사람들은 때로는 내기나 베팅과 관련된 재정적 결정을 그들의 콘텐츠를 기반으로 내립니다. 그들은 Databricks 기반의 공개 챗봇을 구현했습니다. 하지만 배포에 신중했습니다. 무엇을 묻고 무엇을 물을 수 없는지를 미리 정의했습니다. 답변이 어떻게 구성되는지 인간이 다듬었습니다. 그리고 환각을 방지하기 위한 제어를 구축했습니다. 오늘날 Fox Sports의 모든 질문의 25%가 해당 환경을 통해 처리됩니다. 모두 기초를 먼저 제대로 다졌기 때문입니다.

경쟁 격차는 이미 벌어지고 있습니다

Catherine: Genie가 단지 더 나은 이야기를 가진 text-to-SQL이라고 생각하는 리더에게, 그들이 놓치고 있는 것은 무엇인가요?
Ari: 솔직히 말해서, 많은 것을 놓치고 있습니다. 그들이 놓치고 있는 근본적인 것은 Genie가 그들의 데이터, 그들의 용어, 그리고 그들의 비즈니스 규칙에 의해 거버넌스된다는 것입니다. 일반적인 챗봇은 인터넷 — Taylor Swift 가사, 역사 퀴즈 등 무엇이든 — 으로 훈련되었습니다. Genie는 귀사의 용어 'customer'가 무엇을 의미하는지, 그리고 귀사의 회계 연도를 알고 있습니다. 귀사의 제품 카탈로그를 알고 있습니다. 이러한 세분화된 특수성이 중요합니다. 그리고 Genie는 질문과 답변을 훨씬 뛰어넘습니다. Genie는 개방형 연구를 수행합니다. 예측을 합니다. Salesforce, Workday, SAP, Slack과 같은 인접 시스템에 연결되어 비즈니스 전체에 걸친 질문을 할 수 있습니다. 저는 경영진이 "오늘 무엇에 집중해야 할까요?"와 같은 진정으로 개방적인 질문을 하는 데 사용하는 것을 보았습니다. 그리고 그 경영진들은 전혀 생각하지 못했던 두 가지 아이디어를 얻고 떠납니다. 그것은 text-to-SQL이 아닙니다. 그것은 매우 다른 것입니다.

Catherine: 마지막 질문입니다. 18개월 후, 현대 데이터 스택을 운영하는 회사와 아직 데모를 실행 중인 회사를 구분하는 것은 무엇일까요?

Ari: 저는 사실 영화 “머니볼”의 배경 이야기의 일부였습니다. 이 영화는 한 산업(메이저 리그 야구)이 어떻게 변화해야 했는지에 초점을 맞췄습니다. 적응하지 못한 팀들은 극적으로 그리고 빠르게 뒤처졌습니다. 그 이야기의 문구는 "적응하거나 죽거나"였습니다. 극단적으로 들리지만, 저는 계속 그것을 떠올립니다.

저는 지난 몇 달 동안만 해도 브라질, 호주, 인도, 유럽 전역, 아시아를 방문했습니다. 어디를 가든 회사들은 빠르게 움직이고 있습니다. 지금 이것에 진지한 회사들은 앞서 나가고 있습니다. 그리고 그 격차는 작게 유지되지 않을 것입니다. 복리로 늘어날 것입니다. 가치는 현실입니다. 회사들은 더 나은 통찰력을 얻고 있을 뿐만 아니라, 과거에 팀 전체를 차지했던 작업을 자동화하고, 공급망을 혁신하고, 소프트웨어 개발을 가속화하고 있습니다. 이 모든 것이 지금 당장 가능합니다. 이것을 나중에 평가할 것으로 여기는 경영진은 예상보다 빨리 '나중'이 도착했음을 알게 될 것입니다.

데이터 스택은 변경되었습니다. 질문은 귀하가 변경되었는지 여부입니다.

Ari의 주장에서 중요한 점은 제품에 관한 것이 아닙니다. 그것은 가능성의 변화와 그것이 얼마나 빨리 기본 기대치가 되고 있는지에 관한 것입니다.
Genie와 Lakebase는 같은 플랫폼에 있는 BI 도구와 데이터베이스가 아닙니다. 그것들은 지금 모든 데이터 리더가 묻고 있는 질문에 대한 단일 답변입니다. 어떻게 하면 우리 데이터를 비즈니스를 운영하는 사람들에게 실제로 유용하게 만들 수 있을까요? 하나는 레거시 시스템이 설계되지 않은 규모로 데이터를 저장하고 거버넌스합니다. 다른 하나는 가장 필요한 사람들에게 명확한 언어로 데이터를 제공하며, 신뢰할 수 있도록 맥락과 안전 장치를 제공합니다.

이것을 제대로 하는 조직은 단순히 더 나은 보고서를 실행하는 것이 아닙니다. 그들은 더 빠른 결정을 내리고, 문제를 더 일찍 파악하며, 경쟁자들이 여전히 스프레드시트를 만들어 찾고 있는 기회를 발견하고 있습니다.

귀하의 조직에 Genie와 Lakebase가 무엇을 할 수 있는지 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)