AI 분석이란 무엇일까요? 거버넌스가 적용된 데이터에서만 작동하는 이유

AI 분석은 데이터 분석에 인공지능과 머신러닝을 적용하는 방식으로, 시스템이 수동으로 쿼리를 작성하지 않고도 패턴을 찾아내고 인사이트를 생성하며 자연어로 질문에 답변할 수 있도록 지원합니다. 이를 통해 분석은 과거를 돌아보는 대시보드에서 벗어나, 더 많은 비즈니스 사용자가 직접 조치를 취할 수 있는 자동화되고 대화형이며 예측 가능한 워크플로우로 전환됩니다.

오늘날 모든 BI 벤더는 자연어 쿼리 데모를 선보일 수 있습니다. 질문을 던지면 차트가 나오고, 회의실에 있는 사람들에게 인상적인 모습을 보여줄 수 있죠. 하지만 카테고리를 정의하는 플랫폼과 단순히 보기 좋은 데모를 구분 짓는 더 까다로운 질문은 바로 이 시스템이 실제 기업 환경을 마주했을 때 어떤 일이 벌어지는가 하는 점입니다. 서로 충돌하는 지표 정의, 질문에 답할 수 있을 것 같은 다섯 개의 테이블, 그리고 기술적으로 원본 데이터의 절반은 봐서는 안 되는 사용자 등의 상황 말이죠.

Richard Tomlinson은 Databricks의 비즈니스 인텔리전스 및 분석 제품의 제품 마케팅을 총괄하고 있습니다. 이번 대화에서 우리는 BI가 AI 네이티브로 전환될 때 무엇이 달라지는지, 왜 AI 시대에 거버넌스가 줄어들기는커녕 오히려 더 중요해지는지, 그리고 데이터 리더가 벤더에게 어떤 파운데이션 모델을 사용하는지 묻는 대신 무엇을 질문해야 하는지에 대해 이야기를 나누었습니다.

AI 분석은 기존 BI와 어떻게 다른가요?

BI는 언제나 과거에 무슨 일이 일어났는지 알려줄 수 있었습니다. AI 분석은 실제로 무엇이 다르며, 왜 단순히 챗봇을 덧붙인 BI 그 이상일까요?

Richard Tomlinson: 훌륭한 BI는 언제나 사람들이 단순히 무슨 일이 일어났는지 그 이상을 이해할 수 있도록 도왔습니다. 진짜 한계는 기존 BI의 경우 분석 경로를 탐색하는 데 일반적으로 사람의 개입이 필요하다는 점입니다. 누군가는 어떤 대시보드를 열지, 어떤 필터를 적용할지, 어떤 차원으로 드릴다운할지, 어떤 후속 쿼리를 실행할지, 그리고 대개 언제 분석가를 참여시킬지 결정해야 합니다.

AI 분석은 그 작업을 수행하는 주체를 바꿉니다. 미리 정의된 데이터 뷰를 제시하는 대신, AI 기반 시스템은 비즈니스 질문 뒤에 숨겨진 의도를 이해하고, 어떤 데이터와 비즈니스 컨텍스트가 관련이 있는지 판단하며, 필요한 쿼리를 생성 및 실행하고, 나아가 사용자를 대신해 다단계 조사를 수행할 수 있습니다.

이 마지막 부분에서 에이전트형 분석(agentic analytics)이 중요해집니다. 만약 제가 "지난 분기에 북동부 지역의 마진이 왜 하락했지?"라고 묻는다면, 에이전트형 시스템은 이를 하나의 SQL 쿼리로 변환하여 차트를 반환하는 데 그치지 않습니다. 가설을 세우고 제품 믹스, 할인율, 고객 세그먼트 또는 비용을 조사하며, 각 결과로부터 학습하고 증거를 종합하여 설명으로 만들어낼 수 있습니다.

따라서 발전 단계는 대략 다음과 같습니다.

• 대시보드: 이미 측정하기로 결정한 내용을 보여줌.
• 대화형 분석: 새로운 질문을 던질 수 있게 해줌.
• 에이전트형 분석: 나를 대신해 질문을 조사해줌.

이는 대시보드에 채팅창을 하나 얹는 것보다 훨씬 더 근본적인 변화입니다.

그렇다면 대시보드가 일어난 일을 보여준다면, 그 조사를 통해 무엇이 드러나나요? AI 기반 분석은 대시보드가 결코 알려줄 수 없는 어떤 정보를 의사 결정권자에게 제공할 수 있을까요?

Richard Tomlinson: 가장 큰 변화는 관찰에서 조사로의 이동입니다. 대시보드는 소매업체에 매출총이익률이 3%포인트 하락했다고 알려줄 수 있습니다. 이는 유용하지만, 의사 결정권자는 여전히 '왜?'라는 의문을 갖게 됩니다.

AI 기반 시스템은 하락세가 특정 매장, 제품 또는 고객 세그먼트에 집중되어 있는지 조사하고, 할인율이 변경되었는지 테스트하고, 제품 믹스가 전환되었는지 확인하고, 프로모션 또는 공급업체 변경 시점과 비교하여 이러한 결과를 하나의 설명으로 종합할 수 있습니다. 가치 있는 결과물은 또 다른 차트가 아닙니다. 다음과 같은 설명에 더 가까울 것입니다. "마진 하락의 주된 원인은 판매량과 고객 유치는 안정적으로 유지된 반면, 북동부 지역에서 할인율이 높은 두 개의 제품 카테고리로 판매 비중이 크게 이동했기 때문입니다." 이는 의사 결정에 실제로 필요한 정보에 훨씬 더 가깝습니다.

저는 이 과정을 '무슨 일이 일어났는가', '무엇이 변했는가', '왜 변했는가', '다음으로 무엇을 조사하거나 결정해야 하는가'로 설명하고 싶습니다. 그리고 모든 AI 분석 시스템이 스스로 결정을 내리거나 실행할 수 있다는 뜻은 아닙니다. 단기적으로 의미 있는 발전은 신호(signal)에서 확실한 근거를 갖춘 의사 결정에 이르기까지 필요한 분석 작업을 극적으로 줄여준다는 점입니다.

AI가 데이터를 의미론적으로(semantically) 해석한다는 것은 무엇을 의미하나요?

AI 분석이 데이터를 의미론적으로 해석하는 것에 대해 말씀해 주셨는데, 실제로 이것이 의미하는 바는 무엇인가요?

Richard Tomlinson: AI 분석도 당연히 데이터를 쿼리합니다. 차이점은 쿼리 방법을 결정하기 전에 데이터가 무엇을 의미하는지 이해해야 한다는 점입니다.

데이터베이스는 AI 시스템에 net_rev라는 열과 bookings라는 또 다른 열이 있고 두 테이블 사이에 관계가 존재한다는 것을 알려줄 수 있습니다. 하지만 회사가 말하는 "매출(revenue)"이 무엇을 의미하는지, 경영진이 예약 매출(booked revenue)을 사용하는지 인식 매출(recognized revenue)을 사용하는지, 어떤 회계 연도가 적용되는지, 어떤 고객 계층 구조가 신뢰할 수 있는지, 또는 취소된 주문을 포함해야 하는지 등은 알려주지 못합니다. 이것이 바로 의미론적(semantic) 질문입니다. 사용자의 언어와 물리적 데이터 사이에 존재하는 비즈니스적 의미인 것이죠.

실제로 강력한 AI 분석 시스템에는 지표 및 KPI의 거버넌스가 적용된 정의, 비즈니스 엔티티 간의 차원 및 관계, 비즈니스에서 사용하는 용어 및 동의어, 비즈니스 규칙 및 계산 로직, 신뢰할 수 있는 소스, 권한 및 거버넌스, 그리고 사람들이 과거에 데이터를 어떻게 사용해 왔는지에 대한 암묵적 지식(institutional knowledge) 등이 필요합니다. 이러한 컨텍스트가 있어야 시스템이 쿼리를 구성하기도 전에 "엔터프라이즈 갱신 성과는 어떤가요?"라는 질문을 엔터프라이즈, 갱신, 성과에 대한 올바른 해석으로 변환할 수 있습니다.

AI 시대에 의미론(semantics)이 덜 중요해지는 것이 아니라 오히려 더 중요해지는 이유가 바로 여기에 있습니다.

AI가 생성한 분석을 신뢰할 수 있게 만들려면 어떻게 해야 할까요?

만약 어떤 데이터 리더가 단도직입적으로 "AI가 생성한 분석을 어떻게 신뢰할 수 있게 만드나요?"라고 묻는다면, 솔직한 답변은 무엇인가요?

Richard Tomlinson: 모델부터 시작하지 마세요. 모델이 추론할 수 있도록 허용된 기반(foundation)부터 시작해야 합니다. 신뢰할 수 있는 AI 분석은 결국 네 가지 요소로 귀결된다고 생각합니다.

첫째, 신뢰할 수 있는 데이터입니다. AI는 별도의 AI 환경으로 내보낸 복사본이 아니라, 임원 보고서용으로 신뢰할 수 있는 것과 동일한 엔터프라이즈 데이터에 대해 거버넌스가 적용된 액세스 권한을 가져야 합니다. 둘째, 신뢰할 수 있는 비즈니스 컨텍스트입니다. 비즈니스에 중요한 지표, 엔티티, 용어에 대한 정의를 공유해야 합니다. LLM에 데이터베이스 스키마를 제공하는 것은 비즈니스가 어떻게 운영되는지 가르치는 것과는 다릅니다. 셋째, 신뢰할 수 있는 실행입니다. 거버넌스와 권한은 사용자부터 데이터에 이르기까지 일관되게 적용되어야 합니다. 누군가 자연어로 질문했다고 해서 AI 시스템이 기존의 액세스 제어를 우회해서는 안 됩니다. 넷째, 검증 가능성입니다. 사용자와 데이터 팀은 검토할 수 있는 증거, 즉 소스 데이터, 답변의 근거가 되는 계산이나 쿼리, 적절한 인용구, 그리고 이미 검증된 질문과 비교하여 답변을 체계적으로 평가할 수 있는 방법이 필요합니다.

분석이 에이전트형으로 발전함에 따라 이 마지막 포인트가 더욱 중요해집니다. 단 하나의 잘못된 쿼리는 하나의 오답을 만들어 냅니다. 하지만 에이전트는 조사 과정에서 여러 번의 분석적 결정을 내릴 수 있으므로, 최종 결과물뿐만 아니라 전체 프로세스를 그라운딩(grounding)하고 검증할 수 있는 메커니즘이 필요합니다.

핵심은 신뢰가 모델의 속성이 아니라 시스템의 속성이라는 점입니다. 더 뛰어난 성능의 LLM을 사용한다고 해서 엔터프라이즈 분석을 저절로 신뢰할 수 있게 되는 것은 아닙니다.

거버넌스가 적용된 데이터에 그라운딩되지 않으면 왜 무너지나요? 구체적으로 어떤 문제가 발생하나요?

Richard Tomlinson: 여기서 한 가지 짚고 넘어갈 점이 있습니다. 거버넌스는 필수적이지만 그것만으로는 충분하지 않다는 것입니다. 데이터에 완벽한 거버넌스가 적용되어 있더라도 AI가 그 데이터의 의미를 이해하지 못하면 확신에 찬 오답을 내놓을 수 있습니다.

거버넌스가 적용된 기반이 없으면 여러 가지 문제가 동시에 발생할 수 있습니다. 시스템이 인증된 테이블 대신 오래된 테이블을 선택할 수 있습니다. 두 명의 사용자가 동일한 KPI의 서로 다른 버전을 기준으로 계산된 답변을 받을 수도 있습니다. 민감한 정보가 이를 봐서는 안 되는 사람에게 노출될 수 있습니다. 그리고 답변이 잘못된 것처럼 보일 때, 데이터 팀이 어떤 데이터나 계산을 통해 그 답변이 도출되었는지 추적할 수 있는 신뢰할 수 있는 방법이 없을 수 있습니다.

AI는 데이터를 쿼리할 수 있는 사람과 던질 수 있는 질문의 수를 극적으로 늘리기 때문에 이러한 문제를 증폭시킵니다. 이전에는 모호한 부분이 있으면 분석가가 명확한 설명을 요구했을 것입니다. 하지만 AI 시스템은 그럴듯한 가정을 내리고 확신을 가지고 계속 진행할 수 있습니다.

그렇기 때문에 기반에는 거버넌스뿐만 아니라 의미론(semantics)도 필요합니다. 어떤 데이터를 사용할 수 있고 누가 액세스할 수 있는지에 대한 제어와, 그 데이터가 무엇을 의미하는지에 대한 공유된 이해가 모두 필요합니다. 목표는 단순히 환각(hallucination) 현상을 막는 것만이 아닙니다. AI가 생성한 분석이 조직이 이미 사람이 생성한 분석에 기대하는 것과 동일한 정의, 권한 및 증거 표준에 따라 작동하도록 보장하는 것입니다.

팀마다 동일한 지표를 다르게 정의하면 어떻게 되나요?

많은 조직이 서로 다른 BI 도구에 서로 다른 비즈니스 정의를 가지고 있습니다. AI가 도입되면 어떤 위험이 따르며, 데이터 리더는 이러한 정의를 표준화하는 것에 대해 어떻게 생각해야 할까요?

Richard Tomlinson: AI는 오랫동안 지속되어 온 BI 문제를 훨씬 더 큰 문제로 변화시킵니다. 조직은 매출, 활성 고객, 이탈(churn) 또는 전환(conversion)과 같은 개념의 상충되는 정의로 인해 항상 어려움을 겪어왔습니다. 대시보드를 사용할 때는 이러한 불일치가 최소한 상대적으로 제한적이었습니다. 재무 부서에는 자체 대시보드가 있고 영업 부서에는 또 다른 대시보드가 있어, 사람들은 결국 어떤 대시보드를 사용해야 하는지 알게 되니까요.

AI는 이러한 경계를 허뭅니다. 사용자는 단순히 "지난 분기 매출은 얼마였나요?"라고 질문합니다. 이제 AI는 어떤 정의, 데이터 세트, 계산 방식이 조직이 의도한 의미를 나타내는지 결정해야 합니다. 이러한 정의가 개별 BI 도구, 시맨틱 모델, 대시보드에 분산되어 있다면, AI는 사실상 조직 내부의 의견 불일치를 스스로 해결해야 하는 상황에 처하게 됩니다. 이는 위험한 일입니다. 왜냐하면 AI가 제시한 답변이 겉보기에는 완전히 그럴듯해 보일 수 있기 때문입니다.

해결책이 회사 전체를 설명하려는 하나의 거대한 시맨틱 모델일 필요는 없습니다. 핵심적인 비즈니스 의미를 기본 데이터와 가까운 곳에 위치하며 분석 및 AI 경험 전반에서 재사용할 수 있는, 거버넌스가 적용된 공유 시맨틱 정의로 이동하는 것입니다. 기업이 더 많은 AI 에이전트를 배포함에 따라 이는 더욱 중요해집니다. 모든 대시보드, 코파일럿, 에이전트가 "순매출"의 의미를 제각각 학습하는 것은 바람직하지 않습니다. 이들 모두가 동일한 공유 비즈니스 컨텍스트를 활용하도록 해야 합니다.

이것이 바로 AI가 분석 분야에 가져온 가장 큰 아키텍처 변화 중 하나입니다. 즉, 시맨틱이 더 이상 프레젠테이션 레이어 내에만 독점적으로 존재할 수 없다는 점입니다.

사용자가 AI가 답변에 도달한 과정을 확인해야 하는 이유는 무엇인가요?

정확성을 넘어, 비즈니스 사용자가 단순히 답변뿐만 아니라 AI가 어떻게 그 답변에 도달했는지 과정을 확인하는 것이 왜 중요할까요?

Richard Tomlinson: 분석은 단순히 답변을 얻는 것뿐만 아니라, 그 답변을 바탕으로 의사 결정을 내릴 수 있는 충분한 근거를 확보하는 것이기 때문입니다. AI가 영업 책임자에게 기업 고객 이탈률이 14% 증가했다고 말한다면, 자연스럽게 다음과 같은 질문이 이어질 것입니다. 어느 기간과 비교한 것인지, 어떤 고객이 포함되었는지, 이탈은 어떻게 정의되는지, 그 결론을 뒷받침하는 데이터는 무엇인지, 그리고 세부 정보를 드릴다운하여 확인할 수 있는지 등입니다. 신뢰할 수 있는 시스템이라면 이러한 질문에 답할 수 있어야 합니다.

"AI가 어떻게 그 결론에 도달했는지 보여주는 것"의 의미를 명확히 하고 싶습니다. 이는 모델의 비공개 추론 과정이나 생각의 사슬(chain of thought)을 노출하는 것을 의미하지 않습니다. 사용자에게 필요한 것은 출처와 근거입니다. 즉, 사용된 데이터 소스, 실행된 계산 또는 쿼리, 관련 인용구, 이를 뒷받침하는 테이블과 시각화 자료, 그리고 결과에 실질적인 영향을 미치는 가정들입니다.

이는 에이전트 기반 분석(agentic analytics)에서 훨씬 더 중요합니다. 에이전트가 10단계에 걸친 조사를 수행하는 경우, 사용자는 마지막 단락을 맹목적으로 믿어서는 안 됩니다. 중요한 결론 뒤에 숨겨진 근거를 검사할 수 있어야 합니다. 투명성은 사용자의 행동 방식도 변화시킵니다. AI를 신탁을 내리는 존재에서 분석적 파트너로 전환해 줍니다. 사람들은 답변에 의문을 제기하고, 추가 조사를 진행하며, 그 근거가 행동을 취하기에 충분히 강력한지 스스로 판단할 수 있게 됩니다.

AI 분석 시스템은 어떤 데이터 소스를 신뢰할지 어떻게 결정하나요?

그럴듯한 답변이나 소스가 여러 개 있을 때, AI는 무엇을 신뢰해야 할지 어떻게 알 수 있을까요?

Richard Tomlinson: 거의 모든 벤더가 인상적인 자연어 데모를 보여줄 수 있습니다. 어려운 부분은 실제 기업 환경이 복잡하고 무질서할 때 발생합니다. 재무 부서와 영업 부서가 매출을 다르게 계산한다면 어떻게 될까요? 질문에 답할 수 있는 테이블이 5개나 있다면 어떻게 될까요? 한 소스는 인증되었고 다른 소스는 어제 만들어졌다면 어떻게 될까요? 질문하는 사람에게 기본 데이터의 일부만 볼 수 있는 권한이 있다면 어떻게 될까요?

벤더는 자사 시스템이 비즈니스 정의를 어떻게 이해하고, 소스의 권한을 어떻게 결정하며, 사용자 권한을 어떻게 적용하고, 모호성을 어떻게 처리하며, 결과 답변에 대한 근거를 어떻게 제시하는지 설명할 수 있어야 합니다. 만약 답변이 본질적으로 "LLM이 알아서 해결합니다"라면 매우 조심해야 합니다. 에이전트 기반 시스템의 경우 이는 훨씬 더 큰 문제가 됩니다. 시스템이 단 한 번의 검색 결정을 내리는 것이 아니라, 어떤 데이터를 조사하고 어떤 가설을 추구할지에 대해 수십 가지 결정을 내려야 할 수도 있기 때문입니다.

이 질문은 어떤 파운데이션 모델을 기반으로 실행되는지 묻는 것보다, AI 분석 플랫폼이 실제 기업 환경의 복잡한 요구사항을 성공적으로 충족할 수 있는지 여부와 훨씬 더 밀접한 관련이 있습니다.

더 뛰어난 AI 모델이 도입되면 비즈니스 컨텍스트의 필요성이 사라질까요?

대부분의 데이터 리더들이 현재 AI 분석에 대해 믿고 있는 것 중 잘못되었거나 과장되었다고 생각하시는 부분은 무엇인가요?

Richard Tomlinson: 가장 큰 오해는 더 뛰어난 AI 모델이 도입되면 비즈니스 컨텍스트를 모델링하고 큐레이션할 필요가 없어질 것이라는 생각입니다. 실제로는 정반대의 현상이 일어나고 있습니다. LLM은 언어를 이해하고 정보를 추론하는 데 매우 뛰어나지만, 조직의 고유한 비즈니스 정의를 확실하게 유추할 수는 없습니다. LLM은 본질적으로 5가지 매출 계산 방식 중 CFO가 어떤 것을 신뢰할 수 있다고 판단하는지, 귀사에서 "활성 고객"이 무엇을 의미하는지, 또는 이사회 회의를 위해 어떤 데이터 세트를 신뢰해야 하는지 알지 못합니다. AI의 기능이 더욱 강력해지고 자율성이 높아짐에 따라 이러한 컨텍스트는 더욱 중요해집니다. AI가 사용자를 대신해 더 많은 결정을 내리기 때문입니다.

두 번째 오해는 AI가 대시보드를 구식으로 만든다는 생각입니다. 저는 그렇게 생각하지 않습니다. 대시보드는 매출, 파이프라인, 활용률, 이탈률, 재고, 서비스 수준 등 모니터링하고자 하는 대상이 명확할 때 여전히 매우 효과적입니다. AI는 질문이 대시보드에 미리 정의되어 있지 않을 때, 특히 누군가가 이유를 묻거나, 예상치 못한 변화를 탐색하고자 하거나, 여러 차원에 걸친 조사가 필요할 때 가장 강력한 힘을 발휘합니다.

BI의 미래는 대시보드 대신 채팅을 사용하는 것이 아닙니다. 대시보드는 이미 알고 있는 질문을 처리하고, 대화형 분석은 애드혹(ad hoc) 질문을 처리하며, 에이전트가 점차 복잡한 조사를 처리하는 연속적인 흐름에 가깝습니다. 이것이 단순히 모든 대시보드를 챗봇으로 대체하는 것보다 훨씬 더 설득력 있는 차세대 BI의 정의입니다.

AI 분석은 BI의 까다로운 작업을 없애는 것이 아니라, 그 위치를 옮기는 것입니다

이 모든 내용의 핵심은 AI 분석이 BI의 까다로운 작업을 없애는 것이 아니라, 그 위치를 옮긴다는 점입니다. 자연어 인터페이스를 추가한다고 해서 지표를 정의하고, 액세스를 제어하며, "매출"의 의미를 합의하는 작업이 사라지지는 않습니다. 오히려 이러한 작업은 더욱 중요해집니다. 이제 시스템이 과거에 인간 분석가가 내리던 판단을, 어떤 분석가 팀도 감당할 수 없는 규모로 대신 내리기 때문입니다.

AI 우선 플랫폼을 평가하는 데이터 리더들에게 중요한 질문은 데모가 멋져 보이는지 여부가 아닙니다. 그 아래에 있는 시스템, 거버넌스가 적용된 데이터, 공유 시맨틱, 권한을 인식하는 실행, 검증 가능한 근거가 복잡한 실제 기업 환경을 견뎌낼 수 있도록 구축되었는지 여부입니다. 이것이 바로 AI 분석을 단순한 인상적인 쿼리 엔진에서 의사 결정에 신뢰할 수 있는 도구로 전환해 주는 기반입니다.

AI 기반 대시보드와 대화형 분석이 거버넌스가 적용된 데이터에서 어떻게 직접 작동하는지 확인해 보세요. Databricks AI/BI 알아보기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)