AI 준비 기반 구축이 기술에서 멈추지 않는 이유
작성자: 앨리 맥그루
Kraken은 세계 최대 규모의 유틸리티 회사 중 일부의 기반이 되는 AI 기반 운영 체제로, EDF, E.ON, National Grid, Tokyo Gas를 포함한 고객사를 위해 27개국에서 9천만 개 이상의 고객 계정을 관리합니다. Kraken은 Databricks를 내부 데이터 플랫폼으로 사용하며, Databricks와 협력하여 고객이 안전하고 확장 가능한 데이터 배포를 통해 받는 데이터의 가치를 극대화하도록 지원합니다.
Kristy Mayer-Mejia는 Kraken의 글로벌 데이터 변환 책임자로, 그녀의 팀은 유틸리티 고객이 Kraken이 제공하는 데이터를 이해하고 채택하며 가치를 추출하도록 돕습니다. 그녀의 임무는 두 가지입니다. 고객이 데이터를 사용하는 데 걸리는 시간을 단축하고, 데이터에서 얻는 가치를 증대시키는 것입니다.
저는 Kristy와 함께 데이터가 비즈니스 자산으로서 어떻게 기능하며 성공적인 AI 전략의 기반이 되는지에 대해 이야기했습니다. 저희 대화의 핵심은 데이터 중심이 되는 것이 깨끗하고 통합된 데이터만큼이나 깊은 비즈니스 맥락과 소유권에 관한 것이라는 점입니다. Kraken과 Databricks와 같은 플랫폼은 Kristy가 '기초 통합 문제'라고 부르는 것을 해결하며, 이는 다른 모든 것을 가능하게 하는 전제 조건입니다. 하지만 그 기반이 마련된 후, 대부분의 리더들이 과소평가하는 부분은 통합된 데이터를 사용할 수 있게 만드는 비즈니스 맥락입니다.
Aly McGue: 귀하의 경험상, 데이터 사일로와 파편화된 시스템이 조직이 투자 가치를 추출하는 데 있어 여전히 큰 장애물인 이유는 무엇입니까?
Kristy Mayer-Mejia: 저희 고객들에게서 반복적으로 보는 것은 낮은 품질의 사일로화된 데이터가 다른 어떤 투자에서도 가치를 얻는 데 가장 큰 장애물이라는 것입니다. 데이터가 한 곳에 모이기 전까지는 아무것도 제대로 작동하지 않으며, 이를 해결하는 것이 바로 Kraken 플랫폼이 해결하도록 설계된 문제입니다. 그리고 저는 이전의 모든 역할에서 데이터 리더로서 이 문제를 직접 겪었습니다. 팀은 데이터 정리에 시간의 80%를 소 비하는데, 이는 전혀 가치 있는 작업이 아닙니다. 불필요합니다.
진정한 잠금 해제는 셀프 서비스이지만, 이는 기본 데이터가 깨끗하고 통합되며 접근 가능할 때만 가능합니다. 특히 AI 시대에는 셀프 서비스가 대규모로 가능합니다. 모든 질문에 데이터 팀이 답해야 한다면 비즈니스로서 빠르게 움직이거나 혁신하거나 일상적인 데이터 기반 결정을 내릴 수 없습니다. 하지만 데이터가 문서화되지 않고 조인할 명확한 방법 없이 시스템에 흩어져 있다면 셀프 서비스는 불가능합니다. 통합은 분석, AI, 의사 결정 속도 등 모든 것을 가능하게 하는 기초적인 잠금 해제입니다. 이것이 필수입니다.
Aly: 리더십이 실제로 결정을 내리기보다 '어떤 숫자가 맞는지'를 더 오래 토론하는 회의에 우리 모두 참여해 본 적이 있습니다. 데이터에 대한 신뢰 부족의 숨겨진 비용은 무엇입니까?
Kristy: 저는 이 예를 항상 들고 있으며, 제가 일했던 모든 회사에서 사실이었습니다. 통합된 데이터가 있기 전에 고전적인 질문은 '고객이 몇 명인가?'이며, 아무도 정확히 알지 못합니다. 대략적인 규모는 알 수 있습니다. 하지만 제가 그 예를 들면, 사람들은 항상 웃습니다. 왜냐하면 그것이 사실이라는 것을 알기 때문입니다.
이는 데이터에 대한 신뢰 부족으로 이어집니다. 통합된 데이터가 제공하는 주요 초기 가치 중 하나는 의사 결정 속도이며, 회사 DNA에 데이터 기반 사고를 내재화하는 능력입니다. 숫자를 가져올 때마다 '이것이 맞는지 확신하는가?'라고 생각하고, 다섯 군데 다른 곳을 확인하고, 누군가에게 묻고, 그러면 결과가 다르고, 왜 다른지 추적해야 한다면 빠르게 움직일 수 없습니다. 갑자기 두 주 또는 한 달이 지나고, 무작위 방향을 선택하고 계속 진행하는 것과 마찬가지입니다.
Aly: 우리는 종종 데이터가 AI를 연료로 공급한다고 말하지만, AI가 실제로 더 나은 데이터를 위한 '강제 기능'일 수 있다고 제안하셨습니다. AI에 대한 추진은 조직이 문서화 및 맥락에 접근하는 방식을 어떻게 변화시키고 있습니까?
Kristy: AI는 실제로 강제 기능이었습니다. AI가 필요로 하는 입력은 인간이 필요로 하는 입력과 동일합니다. 명확한 데이터, 문서화, 열의 의미에 대한 맥락, 그리고 어떻게 연결되는지에 대한 정보입니다. 데이터 사용이 어려울 때, 셀프 서비스 분석은 가치를 파악하기 어렵기 때문에 '있으면 좋은 것'처럼 느껴집니다. 개별 결정에 대해 여기서 몇 시간씩 절약되는 것이지만, 개별적으로는 매력적이지 않습니다. 하지만 조직 전체에 축적되면 엄청납니다. 단지 보기 어려울 뿐입니다.
AI는 그 가치를 가시화했으며, 깨끗한 데이터 및 문서화를 필수 사항으로 만들었습니다. 모두가 항상 필요하다고 알고 있던 것을 비협상적인 것으로 만듭니다. 그리고 다른 한편으로는 AI 자체가 분석을 잠금 해제하는 도구를 제공합니다. SQL을 작성하지 않고도 데이터에 쿼리할 수 있는 대화형 인터페이스와 같은 것들입니다. 따라서 통합을 추진하는 강제 기능이자 그 결과로 나오는 보상입니다.
Aly: 데이터를 통합하고 문서화해야 할 필요성에 대해 이야기하셨습니다. 하지만 특히 AI와 관련하여, 지식 기반이나 PDF의 문서화만으로 충 분합니까?
Kristy: 예전에는 그랬습니다. 저희는 대부분의 회사가 하는 방식으로 데이터 문서를 공유했습니다. PDF 또는 데이터 분석가가 맥락이 필요할 때 참조할 수 있는 웹사이트 페이지였습니다. 이는 인간에게는 잘 작동합니다. AI에게는 작동하지 않습니다.
지금 제가 이야기하는 모든 고객은 동일한 질문을 하고 있습니다. 메타데이터를 데이터 자체와 함께 맥락에서 공유하여 모델에 공급하고 모델이 무엇을 다루고 있는지 이해하도록 할 수 있습니까? 참조 아티팩트로서의 문서화에서 실시간 입력으로서의 문서화로의 전환은 AI가 강제하는 가장 과소평가된 변화 중 하나입니다. Unity Catalog 및 Delta Sharing을 사용하면 별도로가 아니라 데이터와 함께 해당 맥락을 공유할 수 있습니다. 저희 고객에게는 이것이 데이터를 추론할 수 있는 AI와 그렇지 못한 AI의 차이점인 경우가 많습니다.
Aly: '데이터 통합'은 실제로 어떻게 보입니까? 거의 실시간 가시성이 일상 운영을 어떻게 변화시킵니까?
Kristy: 저희 고객들의 몇 가지 예가 두드러집니다. 하나는 유틸리티 회사에 있어 엄청난 기능인 콜센터 운영입니다. 저희 고객 중 한 곳은 작성하기가 너무 힘들었던 통화량에 대한 월간 보고에서 몇 시간마다 업데이트되는 대시보드로 전환했으며, 앞으로 예상되는 통화량에 대한 예측 모델을 추가했습니다. 월말에 뒤돌아보는 것이 아니라 거의 실시간으로 운영을 미세 조정할 수 있는 능력은 비즈니스를 운영하는 완전히 다른 방식입니다.
또 다른 영역은 제품 혁신입니다. 유틸리티 분야에서 고객은 고객을 유치하고 유지하기 위해 어떤 제품과 요금제를 제공할지 결정합니다. 이는 데이터로 깊이 최적화될 수 있는 결정입니다. 깨끗하고 명확한 데이터는 고객에게 쉬운 통찰력을 제공하고 제품 제안을 최적화하기 위한 신속한 테스트 및 학습 주기를 제공합니다. 그런 다음 Kraken의 플랫폼을 통해 해당 새로운 요금제를 신속하게 출시할 수 있습니다.
Aly: '분석가 병목 현상'은 리더십에게 고전적인 고충 사항입니다. Databricks Genie와 같은 자연어 인터페이스는 문화를 몇 주 동안 보고서를 기다리는 것에서 몇 분 안에 답변을 얻는 것으로 어떻게 변화시킵니까?
Kristy: 저희 Genie 고객의 대부분은 아직 초기 단계에 있습니다. 하지만 저희가 보고 있는 것은 시작하는 데 걸리는 시간을 몇 주 이상 단축한다는 것입니다. 전통적인 BI 도구에 공급하기 위해 데이터를 깊이 모델링할 필요가 없습니다. 명확한 문서화, 맥락, 데이터를 한 곳에 모아야 하지만, 사용자가 엄격한 인터페이스를 통해 탐색할 수 있을 만큼 정밀하게 구조화할 필요는 없습니다.
하지만 속도 외에도 명확한 문화적 파급 효과가 있습니다. 데이터 가치의 더 큰 장벽 중 하나는 데이터를 DNA의 일부로 만드는 문화적 변화입니다. 그리고 저는 그것의 핵심 중 하나는 그것을 매우 쉽고 직관적으로 만드는 것이라고 굳게 믿습니다. 장벽이 낮고 사람들이 빠르게 접근할 수 있다면 문화와 복합적인 가치가 뒤따릅니다.
Aly: C 레벨 리더들이 IT 부서에 'AI를 위해 데이터를 준비하라'고 지시할 때 가장 큰 오 해는 무엇입니까?
Kristy: 데이터는 비즈니스 자산입니다. 그리고 제가 리더들이 저지르는 가장 큰 실수는 데이터를 IT 플랫폼처럼 취급하는 것입니다. 그들은 비즈니스와 분리하여 '자, IT 팀, 우리 데이터를 준비하세요'라고 말합니다. 하지만 견고한 데이터 기반을 구축하는 열쇠는 깊은 비즈니스 맥락입니다. 데이터는 어떻게 생성됩니까? 어떻게 사용됩니까? 사람들은 그것을 어떻게 해석합니까? 이 필드는 실제로 무엇을 의미합니까? 기술적 기반이 마련되면 가장 어려운 부분은 깊은 비즈니스 맥락이 됩니다. 그리고 그 작업의 대다수는 데이터 팀이 아닌 비즈니스에 속합니다.
따라서 제 조언은 데이터를 비즈니스 내에 포함시키는 것입니다. AI를 위해 데이터를 준비하는 로드맵은 공유된 로드맵입니다. 기술적인 로드맵만큼이나 비즈니스 로드맵입니다.
Aly: Kraken은 유틸리티 산업 데이터의 상당 부분을 차지합니다. 향후 3~5년 동안 AI와 데이터가 고객에게 어떤 영향을 미칠 것으로 예상하십니까?
Kristy: 제가 가장 흥미롭게 생각하는 것은 AI가 견고한 데이터 기반을 갖춘 고객이 할 수 있는 일의 수준을 얼마나 빠르게 높이고 있는지입니다. 오랫동안 질문은 다음과 같았습니다: 데이터를 사용 가능한 상태로 어떻게 만들 수 있을까요? 그 작업은 여전히 현실이며 여전히 시간이 걸립니다. 하지만 질문은 다음과 같이 바뀌고 있습니다: 이제 기반이 마련되었으니 무엇이 가능해질까요? 그리고 그 답은 계속 확장되고 있습니다. AI는 고객이 시작하는 지점과 좋은 것이 무엇인지 바꾸고 있습니다. 2년 전에는 월간 보고서를 성공으 로 여겼던 고객들이 이제는 예측 모델을 위에 계층화한 시간별 대시보드를 실행하고 있으며 에이전트 AI의 광범위한 사용을 빠르게 모색하고 있습니다.
데이터 기능에 조기에 투자한 사람들 – 기술뿐만 아니라 기술과 문화에도 투자한 사람들 – 이 지금 가장 빠르게 움직이고 있으며, 그들과 다른 모든 사람들 사이의 격차는 더욱 벌어질 것입니다.
Kristy의 관점은 데이터 인프라 대화에 종종 누락되는 계층을 추가합니다. 플랫폼과 이를 통해 가능해진 통합은 기본적인 잠금 해제입니다. 하지만 그녀가 대부분의 조직이 멈추는 곳은 그 이후의 작업입니다: 데이터를 사용할 수 있게 만드는 비즈니스 지식, AI를 가능하게 하는 문서화, 셀프 서비스를 현실로 만드는 문화적 변화입니다.
조직 전체 및 제품에 AI를 통합하기 위한 로드맵을 개발하면서 Databricks State of AI Agents를 다운로드하여 투자 벤치마킹에 도움을 받으세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.