데이터 분석의 미래: AI가 분석가의 직무 기술서를 다시 쓰는 이유

데이터 분석가 역할은 셀 수 없이 많이 사라질 것이라고 선언되었습니다. AI는 쿼리를 작성하고, 대시보드를 구축하며, 인사이트를 생성할 것입니다. 그렇다면 굳이 분석가를 고용할 필요가 있을까요?

그 주장은 '업무(task)'와 '직무(job)'를 혼동하고 있기 때문입니다.

실제로 자동화되는 것은 분석가의 시간을 소모했지만 비즈니스 가치를 제공하지 못했던 작업들입니다. 예를 들어, 데이터 정리, 새로운 이해관계자를 위한 대시보드 재구축, 일회성 요청을 위한 임시 SQL 작성 등이 있습니다. 이러한 일만 하는 분석가는 자동화될 것입니다. 비즈니스 문제를 정의하고 의사결정을 주도하는 분석가는 점점 더 가치 있어지고 있습니다.

이것은 예측이 아닙니다. 이미 벌어지고 있는 일입니다. 그리고 이 글에서 우리는 AI가 분석가 역할을 종식시키는 것이 아니라, 본래 있어야 할 모습으로 되돌리고 있는 이유를 설명할 것입니다.

저희는 50명 이상의 분석가를 고용하고, 다학제적 딜리버리 팀을 이끌었으며, 다양한 산업 분야에서 AI 기반 의사결정 프레임워크를 설계했습니다. 최근에 경험을 공유하면서 동일한 패턴이 계속해서 나타났습니다. 성공하는 분석가는 최고의 SQL을 작성하는 사람이 아니라, 최고의 질문을 던지는 사람이라는 것입니다.

Databricks AI/BI와 같은 플랫폼은 자연어 기반 분석으로 수렴하고 있습니다. 평이한 영어로 원하는 것을 설명하면 대시보드, 지표 또는 인사이트를 얻을 수 있습니다. 텍스트-투-SQL 도구는 질문에서 결과물까지 도달하는 데 필요한 시간과 기술적 노하우라는, 업계가 수십 년 동안 씨름해 온 문제를 해결하고 있습니다. 이는 진정한 승리입니다. 그러나 이 간극을 좁히는 것은 항상 더 중요했던 차원, 즉 인사이트 자체의 품질을 더욱 날카롭게 만듭니다. 항상 존재했고 앞으로도 존재할 또 다른 간극은 바로 '애초에 어떤 질문을 해야 하는가'를 아는 것입니다. 훌륭한 데이터 분석가가 되는 가장 중요한 단계는 단순히 질문받은 것에 답하는 것이 아니라, 진정으로 답해야 할 것이 무엇인지 이해하기 위해 질문을 다듬고 구체화하는 것입니다. 특정 데이터 포인트에 대한 데이터를 가져오라는 요청을 받고 나서, 나중에 그것이 사실 비즈니스가 평가하려던 것이 아니었음을 발견한 적이 몇 번이나 있었습니까?

우리가 여기에 오기까지: BI 도구의 함정

이것은 느리고 점진적인 과정이었습니다. 처음에는 분석가들이 데이터 웨어하우스를 소유한 비즈니스 팀과 IT 팀 사이의 연락책 역할을 했으며, 때로는 비즈니스 분석가처럼 행동하기도 했습니다. 그러나 QlikView, Power BI, Tableau와 같은 도구의 등장으로, 비즈니스와 접하는 분석가 팀은 더 이상 대시보드를 만들기 위해 레거시 데이터 웨어하우스에 얽매이지 않게 되었습니다. 이는 빠른 반복을 가능하게 했지만, 다른 문제들을 야기했습니다.

분석가들은 대시보드 구축자와 데이터 해결사가 되었고, 때로는 섀도우 IT처럼 행동했습니다. 갑자기 이 역할은 비즈니스 데이터의 가치를 이해하는 훌륭한 커뮤니케이터일 뿐만 아니라, 그들의 시간은 다음으로 소모되었습니다:

• 수동 데이터 정리 및 파이프라인 문제 해결
• 새로운 이해관계자마다 대시보드 재구축
• 일회성 요청을 위한 임시 SQL 작성
• BI 도구와 업스트림 데이터 간의 간극 연결

조직이 실제로 필요로 했던 기술인 비즈니스 문제 정의는 제대로 개발되지 못했습니다. 분석가들은 바쁘고 업무에 시달렸지만, 종종 자신들의 가치를 보여주는 데 어려움을 겪었습니다. 우리는 데이터 팀에서 사람들이 자신들의 가치를 이해하기 위해 고군분투하면서 수많은 구조조정을 겪는 것을 보아왔습니다.

이 역할의 핵심에는 지속적인 긴장이 존재합니다. 기술 전문가는 비즈니스를 이해하는 데 서툰 경우가 많고, 비즈니스에 능통한 사람은 기술적으로 강하지 않은 경향이 있습니다. 조직들은 이 두 가지를 모두 할 수 있는 사람을 고용하여 해결하려고 했지만, 그런 사람은 드뭅니다. 저희는 이러한 경험을 통해 이를 보아왔습니다. 일반적으로 리더들은 개별적인 기술보다는 팀 전체의 기술 조합에 의존합니다. 즉, 비즈니스 맥락에 약한 매우 기술적인 사람들과 커뮤니케이션에 더 강한 덜 기술적인 사람들을 함께 두는 것입니다. 그러나 소규모 팀에서는 대개 이러한 개인들이 자신의 역할에 불만을 느끼게 되며, 양쪽 유형의 사람들이 두 가지 유형의 작업을 모두 맡아야 합니다. 비즈니스에 더 집중하는 사람들은 기술적 문제에 좌절하고, 기술 직원들은 비즈니스와 소통해야 하는 것에 좌절합니다. 이로 인해 많은 분석 팀이 질문에 답하기보다는 데이터를 표면화하는 데 집중하게 되었습니다. 정보를 의사결정으로 전환하는 분석의 핵심 가치 제안은 데이터를 A에서 B로 가져오는 메커니즘에 의해 희석되었습니다.

그 결과, 무슨 일이 일어났는지는 말할 수 있지만, 왜 중요한지 또는 어떻게 해야 할지는 말할 수 없는 세대의 분석가들이 탄생했습니다.

AI가 다시 일을 단순화합니다

모든 도구의 물결은 분석가들을 전달 메커니즘에서 해방시켜 줄 것을 약속했습니다. 실제로는 그들을 더 깊이 파묻었습니다. AI가 이를 변화시킵니다. 분석가를 대체하는 것이 아니라, 그들을 얽매이게 했던 작업을 자동화함으로써 말입니다.

Genie Code가 포함된 AI/BI Dashboards와 같은 플랫폼을 통해 사용자는 평이한 영어로 원하는 것을 설명하고, 몇 분 안에 작동하며 일관된 스타일의 대시보드를 얻을 수 있습니다. Genie One과 같은 자연어 인터페이스는 이해관계자들이 요청을 제출하거나 대기열에서 기다릴 필요 없이 즉석에서 질문을 할 수 있음을 의미합니다. 지표 정의는 AI가 실제 비즈니스 요구에 맞춰 이를 다듬는 코치 역할을 하면서 자동으로 생성되고 정제될 수 있습니다. 이것은 점진적인 개선이 아닙니다. 이들은 시간이 지남에 따라 분석가 역할을 알아볼 수 없을 정도로 왜곡시켰던 모든 종류의 마찰을 제거합니다. 기술적인 작업들은 상품화되었습니다.

우리는 이것이 실제로 구현되는 것을 보았습니다. 한 공공 부문 조직의 분석가는 고객 세분화 모델을 구축해야 했는데, 이는 이전에는 SQL 개발, 데이터 준비, 엔지니어링과의 반복 주기를 포함하여 두 달이 걸리는 작업이었습니다. Genie Code를 사용하여 그들은 반나절 만에 이를 구축했습니다. AI가 기술적 실행을 처리했고, 분석가는 비즈니스에 실제로 중요한 세그먼트를 정의하는 데 집중했습니다. 이것이 바로 변화입니다. 분석가의 수가 줄어드는 것이 아니라, 분석가들이 실질적인 변화를 가져오는 작업에 시간을 할애하게 되는 것입니다.

그러나 속도만이 가치는 아닙니다. 잘못된 질문에 완벽하게 답하는 AI는 여전히 틀린 것입니다. 이 새로운 도구의 물결이 명확히 보여주는 것은 분석의 병목 현상이 SQL이나 대시보드에 있었던 적이 없다는 것입니다. 그것은 항상 판단력이었습니다. 누군가는 여전히 다음을 해야 합니다:

• 비즈니스가 실제로 무엇을 측정해야 하는지, 그리고 그 이유를 정의합니다.
• 누구도 데이터를 건드리기 전에 올바른 질문을 구성합니다.
• 결과물이 맥락상 타당한지 검증합니다.
• 데이터 포인트를 권장 조치 방안으로 해석합니다.

AI는 이 중 어떤 것도 하지 않습니다. 그것이 분석가의 일입니다. 항상 그랬지만, 우리는 그들에게 그 일을 할 시간을 주지 않았을 뿐입니다.

AI는 실행을 단순화합니다. AI는 의도, 책임 또는 결과에 대한 소유권을 가지지 않습니다. 그 책임은 확고하게 인간에게 남아있습니다.

“AI가 프로세스를 증강하고 일상적인 작업을 자동화하더라도, 인간의 판단, 책임, 의사결정 소유권은 여전히 핵심으로 남습니다.” - Capgemini Research Institute, The multi-year AI advantage: Building the enterprise of tomorrow, p.6

그리고 바로 이 지점에서 분석가의 역할은 사라지는 것이 아니라 다시 부상합니다.

새롭게 태어난 분석가: SQL은 줄이고, '그래서 뭐?'는 늘리고

기술적인 작업이 자동화되면서, 분석가의 가치는 오직 인간만이 할 수 있는 일로 전환됩니다.

문제 구조화

분석가가 할 수 있는 가장 가치 있는 일은 누구도 데이터를 건드리기 전에 이해관계자가 올바른 질문을 명확히 표현하도록 돕는 것입니다. 이는 생각보다 어렵습니다. Capgemini Research Institute는 "리더 중 33%만이 Gen AI 시스템에 자신의 요구사항을 명확히 전달할 수 있다"고 밝혔습니다. 마케팅 캠페인을 측정해야 할 때, 클릭률을 측정하는 것이 좋아 보일 수 있고, AI에게 이를 측정해달라고 요청하여 성공적인 캠페인이라고 믿을 수도 있습니다. 캠페인을 개발했다면 더 이상 의문을 가질 필요가 없을 수도 있습니다. 하지만 올바른 질문을 하지 않았을 수도 있습니다. 만약 이메일이 90% 할인을 제공하는 것이었다면 어떨까요? 그렇다면 총 매출액도 함께 살펴봐야 할 것입니다. 분석가는 문제를 정의하고 반대 의견을 제시하는 데 필요하며, SQL을 알 필요 없이 비즈니스를 이해하고 번역가 역할을 하는 데 집중할 수 있습니다.

맥락과 판단

맥락 없는 숫자는 그저 숫자일 뿐입니다. 비즈니스를 아는 분석가는 유지율 5% 하락이 경고 신호라고 말할 수 있지만, 방금 정의를 변경한 지표의 5% 하락은 무의미합니다. AI는 그러한 맥락적 인식이 없습니다. 훌륭한 분석가는 이를 가지고 있습니다.

이것이 실질적인 도메인 지식의 의미입니다. 단순히 업계에 대한 친숙함을 넘어, 지난 분기 매출 급증이 일회성 프로모션이었다는 것을 아는 것입니다. 또는 주요 계정 마이그레이션이 데이터를 왜곡하고 있다는 것을 아는 것입니다. 또는 업스트림 시스템이 수정되지 않아 특정 필드가 수년간 CRM에서 수동으로 수정되었다는 것을 아는 것입니다. AI는 이 중 어떤 것도 기억하지 못합니다.

AI가 통찰력 생성의 양과 속도를 확장함에 따라 이 격차는 좁혀지지 않고 오히려 넓어집니다. AI가 더 많은 결과물을 생성할수록, 각각의 결과물이 실제 현실과 부합하는지, 그리고 실제로 타당한지 질문할 수 있는 사람이 더 필요합니다. 인간의 해석은 AI의 두 가지 가장 큰 결함을 보완합니다:

• 환각(Hallucinations) - AI가 답변하는 방식에서 과도한 낙관론과 자신감으로 나타나는 경우가 많습니다.
• 확률적 특성 - AI의 신뢰성에 영향을 미칠 수 있습니다.

깊은 도메인 지식을 가진 분석가는 완벽하게 형식화된 대시보드를 보고 이렇게 말합니다: "이 숫자는 틀렸고, 그 이유를 정확히 알고 있습니다." 이러한 능력은 프롬프트로 얻어지는 것이 아닙니다. 수년간의 비즈니스 친숙함을 바탕으로 구축됩니다.

스토리텔링과 영향력

데이터가 의사결정을 이끄는 것이 아니라, 스토리가 이끕니다. 분석가의 역할은 숫자로 된 표를 제시하는 것이 아닙니다. 회의실에 들어가서 "무슨 일이 일어나고 있는지, 그 이유는 무엇이며, 우리가 무엇을 해야 한다고 생각하는지"를 말하는 것입니다. 연구에 따르면 정성적 데이터와 정량적 데이터를 결합하는 것이 숫자만 사용하는 것보다 항상 더 설득력이 있습니다. 사람들은 통계가 아닌 스토리를 기억합니다 (Heath & Heath, Made to Stick). 올바른 비즈니스 의사결정에 도달하려면 강력한 설득력과 청중에 대한 이해가 필요합니다 (HBR: Data Science and the art of persuasion). 어떤 LLM도 회의실에서 이러한 역할을 대체할 수 없습니다.

거버넌스 및 신뢰

AI가 더 많은 통찰력을 생성함에 따라, 누군가는 이러한 통찰력이 근거 있고, 감사 가능하며, 정확한지 확인해야 합니다. Unity Catalog와 같은 훌륭한 카탈로그 도구와 함께, 분석가는 품질 계층이 되어 AI 결과물을 선별하고, 도메인 지식과 비교하여 검증하며, 모델이 환각을 일으키거나 데이터가 잘못되었을 때 플래그를 지정합니다. 후자는 매우 흔한 문제입니다. 많은 데이터가 순수하지 않습니다. 수동 데이터 입력, 새로운 조회 값, 시스템 외부 이벤트. 이 모든 것이 AI가 인식하지 못하는 노이즈를 유발합니다. 유능한 분석가는 이를 알고 그에 따라 데이터를 처리합니다.

오케스트레이션

현대 분석가는 SQL을 직접 작성하지 않습니다. 대신 SQL을 작성하는 AI 에이전트를 지시합니다. 그들은 Genie 공간을 큐레이션하고, 올바른 지표를 정의하며, 지식 기반을 구성하고, 분석 워크플로우를 설계합니다. 이를 선수에서 코치로의 전환이라고 생각하십시오. 이는 그들이 항상 그랬어야 할 역할입니다.

조직에 미치는 영향

그 의미는 실질적이고 즉각적입니다:

• 채용: SQL 숙련도를 기준으로 분석가를 선별하는 것을 중단하십시오. 호기심, 비즈니스 통찰력, 의사소통 능력을 기준으로 선별하기 시작하십시오. 기술적 능력은 더 이상 전부가 아닙니다. 기존 분석가들에게 비판적 사고 능력을 훈련시키는 것을 고려하십시오.
• 가치 실현 시간: AI의 등장으로 조직은 가치 실현 시간(Time to Value)의 개선을 기대할 수 있습니다. 그러나 이는 환각(hallucinations) 또는 맥락 누락으로 인한 오해의 위험을 수반한다는 점을 인지해야 합니다. 조직은 중요한 비즈니스 의사결정을 전적으로 AI에만 의존하지 않도록 해야 합니다. 인간 개입(human-in-the-loop)이 중요합니다.
• 도구: 기술 계층을 자동화하여 분석가가 "그래서 무엇인가"에 집중할 수 있도록 하는 플랫폼에 투자하십시오. 팀이 여전히 대부분의 시간을 데이터 정리 및 대시보드 구축에 소비하고 있다면, 분석가들을 그들이 겪고 있는 기술 부채에서 해방시켜 주십시오.
• 구조: 분석가를 데이터 팀 깊숙이 두지 말고, 의사결정권자에게 더 가깝게 배치하십시오. 가치는 데이터와 비즈니스 간의 접점에 있으며, 파이프라인 내부에 있지 않습니다.
• 측정: 분석가를 제공된 대시보드 수나 작성된 쿼리 수로 측정하는 것을 중단하십시오. 영향을 미친 의사결정, 재구성된 질문, 취해진 조치를 기준으로 측정하십시오.

분석 분야에서 AI의 ROI는 반드시 분석가 수가 줄어드는 것을 의미하지 않습니다. 오히려 올바른 의사결정을 실제로 이끄는 분석가를 의미합니다.

이제 무엇을 해야 할까요?

분석가들이 비즈니스 질문에 답하는 것보다 대시보드를 구축하는 데 더 많은 시간을 소비하고 있다면, 이러한 작업을 자동화할 수 있는 올바른 도구를 제공하고 비즈니스 언어 능력을 향상시키십시오.

미래의 분석가는 SQL을 덜 작성하고 더 나은 질문을 합니다. 그들은 쿼리 편집기에서 보내는 시간을 줄이고 회의실에서 더 많은 시간을 보냅니다. 그들은 데이터를 표면화하는 것을 멈추고 의사결정을 형성하기 시작합니다. 많은 분석가들에게 이것은 그들이 항상 원했던 일입니다. 그리고 기술적인 작업을 선호하는 사람들에게는 성장하는 분석 엔지니어링 분야가 그들이 번성할 수 있는 곳입니다.

분석가들을 대시보드 반복 작업에서 해방시킬 준비가 되셨습니까? 오늘 Databricks AI/BI 및 Genie를 사용해 보십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)