데이터 시각화 모범 사례: 명확하고 정직하며 효과적인 차트를 위한 실용 가이드

Richard Tomlinson은 조직이 자체 데이터를 활용하고 구성원들이 해당 데이터를 신뢰할 수 있도록 돕는 데 커리어의 대부분을 보냈습니다. BI와 제품 역할 모두에서 그는 동일한 실패 패턴이 반복되는 것을 목격했습니다. 바로 좋은 의도로 구축되었지만 사람들이 서서히 사용하지 않게 된 대시보드입니다. 이제 AI가 몇 초 만에 차트를 생성할 수 있게 된 상황에서, 그의 경험에 따르면 "셀프 서비스"는 단순히 빠른 것 이상의 의미를 가져야 합니다.

이번 대화에서 Richard는 대시보드가 훌륭한 디자인을 잃기 훨씬 전에 신뢰를 잃는 이유, AI가 이 문제에서 진정으로 변화시키는 부분, 그리고 AI의 도움만으로는 제공할 수 없는, 사람이 차트에 기여해야 하는 요소가 무엇인지 설명합니다.

왜 사람들은 BI 대시보드 사용을 중단할까요?

실패한 대시보드의 사례를 들려주세요. 디자인이 나쁜 것이 아니라, 사람들이 단순히 열어보지 않게 된 대시보드 말입니다.

Richard Tomlinson: 실패하는 대시보드가 반드시 보기 흉한 것은 아닙니다. 대개 누군가가 믿을 수 없는 숫자를 발견하고 그 숫자가 왜 거기에 있는지 빠르게 이해하지 못할 때 실패합니다.

월요일 아침에 한 임원이 매출 대시보드를 열었는데, 지난 금요일에 재무 부서에서 배포한 보고서와 다른 수치를 보게 되었다고 가정해 보겠습니다. 이들은 대시보드가 다른 매출 정의를 사용하는지, 다른 새로고침 시간을 적용했는지, 다른 필터를 사용했는지, 아니면 단순히 잘못된 데이터를 사용했는지 알지 못합니다. 이를 알아내기 위해 분석가에게 물어봐야 한다면, 그 대시보드는 이미 가장 중요한 역할 중 하나를 수행하지 못한 것입니다.

신뢰는 쌓이는 것보다 훨씬 빠르게 사라지는 경향이 있습니다. 사용자가 BI 플랫폼을 더 이상 신뢰하지 않는다는 티켓을 접수하는 경우는 거의 없습니다. 그저 조용히 대시보드를 열지 않고 스프레드시트, 분석가 또는 수동으로 작성된 보고서로 돌아갈 뿐입니다.

그렇기 때문에 저는 좋은 시각화는 시각화 자체를 시작하기 전부터 준비되어야 한다고 생각합니다. 명확한 차트라 할지라도 불명확한 메트릭, 의심스러운 출처, 일관되지 않은 비즈니스 정의를 보완할 수는 없습니다. AI 기반 분석 환경에서는 사용자가 훨씬 더 많은 분석을 훨씬 더 빠르게 생성할 수 있기 때문에 이 점이 더욱 중요해집니다. 기본 데이터, 시맨틱 및 거버넌스가 일관되지 않다면, AI는 결국 일관성 없는 차트를 더 빠르게 생성하도록 도울 뿐입니다.

최고의 현대적 분석 경험은 시각화를 데이터 및 그 의미와 다시 연결하여, 다섯 가지 버전이 아닌 단 하나의 진실의 버전(one version of the truth)이 모든 영역에 걸쳐 존재하도록 합니다. 예를 들어, Databricks AI/BI 대시보드 데이터 세트는 Unity Catalog 거버넌스를 상속하며, 플랫폼은 데이터 자산 간의 계보(lineage)를 유지합니다. 즉, 숫자를 의심하는 사용자가 시스템 전체를 불신하는 대신 그 숫자의 출처를 추적할 수 있습니다.

AI 대시보드 툴을 도입할 때 리더는 무엇을 우선시해야 할까요?

AI가 우리가 데이터를 사용하고 상호 작용하는 방식을 변화시킴에 따라, 리더가 새로운 AI 대시보드 툴을 도입할 때 무엇을 우선시해야 할까요?

Richard Tomlinson: 저는 '신뢰 부채(trust debt)'라는 개념을 좋아합니다. 조직은 사용자가 동일한 메트릭의 두 가지 버전을 마주하거나, 설명되지 않는 불일치, 오래된 대시보드, 또는 검증할 수 없는 답변을 접할 때마다 이 부채를 쌓아가기 때문입니다.

AI는 분석의 경제성을 변화시키기 때문에 이 부채를 상당히 악화시킬 수 있습니다. 과거에 조직들은 수년에 걸쳐 수백 또는 수천 개의 정제된 대시보드를 구축하곤 했습니다. 생성형 AI를 사용하면 누구나 몇 초 만에 새로운 차트를 만들 수 있으며, 에이전트 기반 저작(agentic authoring)을 통해 이제 AI는 데이터 세트, 시각화, 필터, 레이아웃을 포함한 다중 페이지 대시보드 전체를 빠르게 생성할 수 있습니다.

예를 들어, Databricks의 Genie Code는 자연어 목표를 받아 관련 데이터를 찾고, 데이터 세트를 구축하고, 시각화를 생성하고, 필터를 구성하고, 페이지를 정리하고, 결과를 미세 조정하는 작업을 이전보다 훨씬 빠르게 수행할 수 있습니다. 이는 진정한 생산성 향상이지만, 생성된 모든 AI 차트를 수동으로 검토할 수는 없기 때문에 리더가 거버넌스를 적용해야 하는 대상을 변화시킵니다.

따라서 제 답변은 다음 네 가지 사항을 우선시하겠다는 것입니다.

1. 데이터를 거버넌스하여 AI가 다른 모든 곳에 적용되는 것과 동일한 권한 및 제어를 상속받도록 합니다.
2. 의미를 거버넌스하여 누군가 차트를 생성할 때마다 매번 새로 정의하는 대신, 재사용 가능한 비즈니스 정의에서 중요한 측정값과 차원이 제공되도록 합니다.
3. 출처(provenance)를 보존하여 사용자가 어떤 데이터와 계산을 통해 중요한 결과가 도출되었는지 이해할 수 있도록 합니다.
4. 검증을 고려하여 설계함으로써, 시각화가 설명되지 않은 답변을 사실로 제시하기보다는 후속 질문, 필터링 및 드릴다운을 유도하도록 합니다.

훌륭한 거버넌스는 실제로 더 많은 셀프 서비스를 가능하게 합니다. 강력한 기반이 마련되면 AI는 중앙 BI 팀이 일일이 수작업으로 제작하지 않고도 훨씬 더 많은 분석 경험을 안전하게 생성할 수 있습니다.

AI가 생성한 차트는 어디에서 한계를 드러낼까요?

AI 비서가 차트를 생성할 때, 사람이 내리려는 결정이 아니라 데이터의 형태에 기반하여 결정을 내립니다. 이 방식은 어디에서 한계를 드러낼까요?

Richard Tomlinson: 저는 그 전제를 조금 조정하고 싶습니다. 현대의 AI 비서는 데이터의 형태 그 이상을 사용합니다. 요청과 그 맥락도 해석할 수 있죠. 예를 들어 제가 "지난 12개월 동안 매출이 어떻게 변했는지 보여줘"라고 말하면, 이는 시계열을 의미합니다. "가장 많은 매출을 올린 5개 지역은 어디인가요?"라고 묻는다면, 동일한 데이터가 순위가 매겨진 막대형 차트를 가리킬 수 있습니다. 이상적으로는 작성자가 자연어로 시각화를 설명할 수 있어야 하며, 이것이 바로 Databricks가 이미 Genie Code를 통해 더 큰 대시보드 목표의 일부로 여러 시각화를 계획하고 구축할 수 있도록 지원하는 이유입니다.

AI가 여전히 어려움을 겪는 부분은 바로 '목적'입니다. 데이터 세트는 어떤 값을 사용할 수 있는지 알려줍니다. 프롬프트는 누군가 무엇을 요청했는지 알려줍니다. 하지만 둘 중 어느 것도 시각화를 누가 사용할지, 어떤 결정을 내리려는지, 어떤 비교가 가장 중요한지, 무엇이 먼저 관심을 끌어야 하는지, 어느 정도의 정밀도가 필요한지, 청중이 이미 어떤 맥락을 이해하고 있는지, 또는 무엇이 오해를 불러일으킬 수 있는지 확실하게 알려주지 못합니다.

예를 들어 메트릭이 94%에서 91%로 떨어졌다고 가정해 보겠습니다. AI는 이러한 하락을 올바르게 차트로 나타낼 수 있지만, 이것이 재앙적인 상황인지 아니면 무관한 노이즈인지 여부는 데이터 세트의 그 어디에도 존재하지 않는 비즈니스 맥락에 전적으로 달려 있습니다. 그렇기 때문에 인간의 역할은 차트를 그리는 것에서 의도를 지정하고 판단력을 발휘하는 것으로 이동하고 있습니다. AI는 시각화를 구축하는 기계적인 작업을 수행할 수 있지만, 그것이 무엇을 전달해야 하는지, 그리고 정확한지 여부는 여전히 사람이 결정해야 합니다.

데이터가 정확하더라도 레거시 BI가 잘못된 분석을 생성하는 이유는 무엇인가요?

부정확하거나 누락된 데이터 외에 레거시 시스템에서 발생하는 다른 문제는 무엇인가요?

Richard Tomlinson: 가장 어려운 문제는 행이 누락되어서가 아니라 맥락이 누락되었기 때문에 발생합니다. 레거시 BI 환경은 정확한 데이터를 포함하고 있으면서도 비즈니스 로직이 대시보드, 계산된 필드, 추출, 시맨틱 모델, 스프레드시트 및 조직 내 묵시적 지식(institutional knowledge)에 걸쳐 파편화되어 있기 때문에 잘못된 분석을 생성할 수 있습니다.

결국 동일한 KPI에 대해 다섯 가지의 서로 다른 정의를 갖게 되고, 어느 대시보드가 표준(canonical)인지 아무도 확신하지 못하게 됩니다. 계산 로직은 개별 보고서 내에 존재하고, 사용자는 어떤 툴과 탭에 답이 있는지 알아야 하며, 정의를 변경하려면 그것이 복제된 모든 위치를 찾아내야 합니다.

AI는 이 문제를 매우 빠르게 드러냅니다. AI 비서가 질문을 올바르게 이해하더라도 회사가 신뢰할 수 있는 권위 있는 매출 정의로 간주하는 다섯 가지 정의 중 어느 것인지 결정할 수 있는 확실한 방법이 없을 수 있습니다. 그렇기 때문에 누락된 조각은 단순히 시각화 레이어에 언어 모델을 연결하는 것이 아닙니다. AI 기반 대시보드에는 거버넌스가 적용된 데이터와 재사용 가능한 비즈니스 시맨틱 및 맥락이라는 기반이 필요합니다.

Microsoft조차도 현재 Power BI 가이드라인에서 기본 데이터, 시맨틱 모델 및 사용자가 제대로 준비되지 않은 경우 Copilot의 출력이 품질이 낮거나 오해의 소지가 있을 수 있다고 경고합니다. Databricks는 대시보드, 거버넌스가 적용된 데이터 세트, 비즈니스 시맨틱 및 대화형 분석을 하나의 거버넌스가 적용된 데이터 기반으로 통합하여 동일한 문제에 접근합니다. AI/BI 데이터 세트는 테이블, 뷰 및 Metric Views에서 직접 가져올 수 있을 뿐만 아니라 Unity Catalog 권한을 상속받을 수 있습니다. 이러한 아키텍처는 AI 퍼스트 세상에서 더욱 중요합니다. AI가 차트를 빌드할 때마다 비즈니스 의미를 매번 재구성하는 대신 재사용해야 하기 때문입니다.

차트와 대시보드를 위해 더 나은 AI 프롬프트를 작성하는 방법은 무엇인가요?

세 번의 후속 질문 없이 AI 비서로부터 원하는 것을 일관되게 얻는 사람들의 습관은 무엇인가요?

Richard Tomlinson: 성공적인 사용자는 단순히 차트 지침만 제공하는 것이 아니라 의사 결정 맥락을 제공합니다. 취약한 프롬프트는 "제품별 매출 보여줘"입니다. 훨씬 더 강력한 프롬프트는 "주간 매출 검토를 준비 중입니다. 지난 분기 대비 매출 변화에 가장 크게 기여한 제품 카테고리가 무엇인지 보여주세요. 가장 큰 긍정적 기여 요인과 부정적 기여 요인을 쉽게 식별할 수 있도록 해주세요"입니다. 두 번째 버전은 AI에게 시각화의 대상, 비교 대상, 메트릭 및 목적을 알려줍니다.

이러한 맥락을 제공하면 분석 프롬프트를 극적으로 개선할 수 있습니다. 내가 이해하려는 것은 무엇인가? 단순히 데이터 세트의 이름을 지정하기보다 비즈니스 질문을 명시하세요. 무엇을 비교해야 하는가? 기간, 지역, 세그먼트, 계획 대 실제, 또는 전후 비교 등입니다. 어떤 메트릭 정의가 중요한가? 모호한 부분이 있다면 AI가 임의로 메트릭을 만들어내지 않도록 비즈니스 메트릭을 지정하세요. 누구를 위한 것인가? 임원용 대시보드와 분석가의 탐색은 일반적으로 완전히 다른 수준의 세부 정보가 필요합니다. 그리고 이것이 어떤 의사 결정을 지원해야 하는가? 이는 사람들이 가장 자주 빠뜨리는 부분입니다.

또 다른 변화도 일어나고 있습니다. 더 뛰어난 AI 시스템은 애초에 필요한 프롬프트 엔지니어링의 양을 줄여줄 것입니다. 에이전트 시스템은 모호한 요구사항을 명확히 하고, 사용 가능한 데이터를 검사하며, 분석 계획을 수립하고, 결과를 반복적으로 개선하는 작업을 점점 더 잘 수행할 수 있습니다. 예를 들어, Genie Code는 작성자가 모든 구현 단계를 일일이 설명할 필요 없이 데이터를 검색하고, 데이터 세트와 시각화를 구축하며, 대시보드를 점진적으로 개선할 수 있습니다. 이는 미래에 모든 사람이 세계적인 수준의 프롬프트 엔지니어가 되어야 한다는 의미가 아니라, 인간은 의도를 명확히 표현하는 데 능숙해지고 에이전트는 구현을 더 잘 처리하게 되는 것을 의미합니다.

AI 시대의 데이터 시각화 모범 사례는 무엇인가요?

사람들이 대시보드, 쿼리, 파이프라인에 대해 AI에 직접 질문하기 시작하면서, "좋은" 시각화 디자인의 특징은 어떻게 변할까요?

Richard Tomlinson: 이것이 가장 흥미로운 변화일 것입니다. 과거에는 시각화가 최종 목적지였습니다. 사용자는 분석가가 미리 정의한 차트를 보기 위해 대시보드를 열었습니다. 이를 통해 데이터를 이해할 수는 있었지만, 정보의 전달은 거기서 멈췄습니다.

AI를 사용하면 시각화와의 상호작용이 대화에 더 가까워집니다. 사용자가 질문을 하면 시스템이 답변과 차트를 생성하고, 차트에서 흥미로운 점이 발견되면 사용자가 이에 대해 다시 질문하고, 시스템은 또 다른 분석을 실행하여 새로운 시각화를 만들어냅니다. 이러한 경험은 미리 정의된 것이 아니라 동적으로 이루어집니다.

AI/BI 대시보드는 이미 이러한 점을 고려하고 있습니다. 게시된 대시보드에는 조회자가 정적인 화면에 국한되지 않고 기본 데이터에 대해 자연어로 질문할 수 있도록 지원하는 Genie 에이전트가 동반될 수 있습니다.

즉, 첫 번째 차트가 가능한 모든 질문을 예측할 필요는 없습니다. 핵심 인사이트를 명확하게 전달하고 다음 질문을 쉽고 직관적으로 던질 수 있도록 유도하기만 하면 됩니다.

이 모든 것은 AI 시대의 시각화에서 갖추어야 할 네 가지 특징으로 이어집니다. 시각화는 다음과 같아야 합니다.

1. 자체 설명이 가능해야 합니다. 생성된 차트는 원래 대시보드 외부에서 표시될 수 있으므로 제목, 단위, 기간, 메트릭이 그 자체로 독립적인 의미를 전달할 수 있어야 합니다.
2. 추적 가능해야 합니다. 그래야 사용자가 중요한 숫자가 어디서 나왔는지 이해할 수 있습니다.
3. 대화형(인터랙티브)이어야 합니다. 필터링, 드릴다운, 대화형 후속 질문을 통해 관찰에서 조사로 자연스럽게 넘어갈 수 있어야 합니다.
4. 맥락을 인식해야 합니다. 단순히 반환된 필드를 그대로 그리는 것이 아니라, 사용자의 질문과 비즈니스 용어를 반영하여 시각화해야 합니다.

여기에는 더 깊은 의미가 담겨 있습니다. 대시보드, 쿼리, 파이프라인, 문서는 이제 인간만 소비하는 것이 아닙니다. 분석 결과물은 이제 단순한 프레젠테이션 레이어를 넘어 조직의 기계 판독 가능(machine-readable) 지식의 일부가 될 수 있습니다. 이는 AI 시스템이 조직의 작동 방식을 이해하는 데 사용하는 맥락이 될 수 있습니다. 예를 들어, Genie Code는 작성자가 분석 환경을 구축할 때 테이블, 파이프라인, 노트북, 쿼리, 파일을 맥락으로 참조할 수 있도록 지원하고 있습니다.

사용자들이 셀프 서비스 분석을 더 이상 신뢰하지 않는 이유는 무엇인가요?

누군가 셀프 서비스 분석을 신뢰하지 않고 분석가에게 직접 질문하는 방식으로 돌아가기 직전에 나타나는 패턴은 무엇인가요?

Richard Tomlinson: 보통 문제는 시스템이 아무것도 제공하지 않는다는 점이 아닙니다. 그보다는 그럴듯한 결과를 제공하지만, 사용자가 이미 알고 있는 사실과 일치하지 않는다는 점이 문제입니다. 숫자가 잘못되어 보이거나, 필터를 변경했을 때 예상치 못한 결과가 나오거나, 두 대시보드의 내용이 서로 달라 어떤 정의가 사용되고 있는지 알 수 없는 경우 등이 있습니다. 후속 질문을 던져 또 다른 차트를 얻을 수는 있지만, 불일치하는 원인은 설명되지 않습니다.

이 시점에서 사용자는 두 가지 선택을 할 수 있습니다. 분석 시스템을 직접 계속 디버깅하거나, 담당자에게 메시지를 보내 물어보는 것입니다. 사람에게 물어보는 것이 셀프 서비스 답변을 검증하는 것보다 빨라지는 순간, 셀프 서비스는 이미 실패한 것입니다.

그렇기 때문에 현대 BI의 핵심 지표는 단순히 '답변을 얻는 시간(time to answer)'에만 국한되어서는 안 됩니다. '신뢰를 얻는 시간(time to trust)'도 중요하게 고려해야 합니다. AI는 첫 번째 지표를 극적으로 개선합니다. 쿼리, 시각화, 대시보드 전체를 몇 초 만에 생성할 수 있습니다. 하지만 두 번째 지표가 함께 개선되지 않는다면, 사람들이 신뢰하지 않는 결과물의 생성 속도만 높인 꼴이 됩니다.

이를 올바르게 해결하려면 기존 BI가 종종 별개로 취급해 온 세 가지 요소, 즉 이해하기 쉬운 답변, 답변의 신뢰성을 뒷받침하는 근거, 무언가 잘못되었을 때 조사할 수 있는 경로를 결합해야 합니다. 훌륭한 셀프 서비스 경험이란 어떻게든 분석가를 프로세스에서 완전히 배제하는 것이 아닙니다. 사용자가 눈앞의 시스템을 이해하지 못하거나 신뢰할 수 없어서가 아니라, 질문에 진정으로 인간의 전문 지식이 필요할 때만 분석가를 찾게 만드는 경험입니다.

이것이 바로 에이전트 시대에도 시각화가 여전히 중요한 궁극적인 이유입니다. AI는 엄청난 양의 분석을 생성할 수 있습니다. 좋은 시각화는 이러한 분석을 검토하고, 이의를 제기하며, 가장 중요하게는 행동으로 옮길 수 있도록 돕습니다.

AI 지원 저작 기능과 거버넌스가 적용된 데이터가 어떻게 사람들이 신뢰하는 대시보드를 만드는지 확인해 보세요. AI/BI 대시보드를 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)