AI로 성공하는 기업들은 데이터 레이어를 먼저 구축했습니다

모든 기업이 AI 기반이 되기를 원합니다. 하지만 데이터 계층에서 중요하지만 눈에 띄지 않는 작업을 기꺼이 수행하려는 기업은 적습니다. 앞서 나가는 조직은 먼저 강력한 데이터 기반을 구축하고, 신뢰할 수 있는 데이터를 바탕으로 인텔리전스를 만듭니다.

Trinity Industries는 북미 최대의 철도 차량 제조업체이자 임대업체 중 하나로, 약 85억 달러 가치의 141,000대 이상의 임대 철도 차량을 관리하고 있습니다. 900개 이상의 상품을 운송하며 중공업과 금융 서비스의 교차점에서 사업을 운영합니다. Trinity는 엔터프라이즈 데이터의 95%를 단일 레이크하우스 아키텍처로 마이그레이션하여 Databricks에서 통합 데이터 및 AI 플랫폼을 운영하고 있습니다.

Stephen Ecker는 Trinity Industries의 최고 데이터 책임자(CDO)로, 13년간 재직하며 회사의 분석 기능을 설립했습니다. 그는 인턴 그룹으로 시작한 팀을 1억 달러 이상의 측정 가능한 비즈니스 성과를 이끌어낸 전략적 역량으로 성장시켰습니다.

대화 내내 Stephen은 한 가지 확신을 강조했습니다. 바로 데이터 계층이 전략이라는 것입니다. 모델도, 에이전트도, 대시보드도 아닙니다. 바로 기반입니다.

파편화의 대가

Aly McGue: 기업 리더들은 인프라를 완전히 전환하는 비용과 현대화하지 않는 비용을 자주 비교합니다. 이 문제에 어떻게 접근하셨고, 데이터 파편화가 궁극적으로 왜 그렇게 큰 비용을 초래했나요?

Stephen Ecker: 단순히 IT 문제만이 아니었습니다. 저희에게는 전략적인 한계였습니다. 워크로드가 Azure와 AWS를 오가고, 다시 온프레미스로 돌아왔습니다. 배포하는 모든 모델은 자체 서빙 설정이 있었고, 아무것도 표준화되지 않았습니다. 온프레미스 SQL 웨어하우스에서는 차량 위치 데이터에 대한 쿼리를 밤새 실행하고, 다음 날 아침에 돌아와서 실수를 깨닫고 다음 날 밤에 다시 실행해야 했습니다. 질문 하나에 답하는 데 이틀이 걸리는 셈이죠.

하지만 더 큰 비용은 분석 확산(analytics sprawl)이었습니다. 아무도 데이터에 접근할 수 없었기 때문에 대시보드로 시작했고, 대시보드는 엄청난 인기를 끌었습니다. 하지만 시간이 지나면서 3개 시트짜리 대시보드가 40개 시트짜리 대시보드가 되었고, 각 시트에는 자체 변환이 내장되어 있었습니다. 우리는 비즈니스 전반에 걸쳐 거의 600개의 고유한 측정 지표를 가지고 있다고 계산했습니다. 그중 많은 부분이 동일한 데이터 소스에서 시작되었지만, 자체 필터와 자체 관점을 가지고 있었습니다. 그리고 지식 사일로도 있었습니다. 한 분석가가 이틀 동안 작업한 내용을 6개월 후에 다른 사람이 처음부터 다시 분석하는 식이었죠. 어느 시점에는 제가 가진 가장 큰 가치는 13년 동안 이곳에 있으면서 누가 무엇을 했는지 아는 것뿐이라고 느꼈습니다.

"어떤 숫자가 맞는가" 논쟁

Aly: 단일 데이터 계층이 없으면 조직은 종종 '어떤 숫자가 맞는가?'라는 딜레마에 직면합니다. 다른 부서의 데이터가 일치하지 않는 경우죠. 이러한 '단일 진실 공급원(single source of truth)'의 부재가 리더십이 보고 있는 데이터에 대한 신뢰에 어떤 영향을 미쳤나요?

Stephen: 끊임없이 반복되는 문제였습니다. 누군가 숫자를 들고 오면, 전문가가 코드를 파고들어 '아니요, 그 숫자는 3년 전 특정 사람이 원했던 필터가 적용된 것입니다'라고 말해야 했습니다. 대시보드 안에 주의사항과 기술 문서를 넣으려고 해도 소용없었습니다. 사람들은 각주를 읽지 않습니다. 그들은 그저 숫자를 잡고 그대로 사용합니다.

우리는 이 대시보드에서 한 달에 11,000시간을 기록했습니다. 그리고 계속해서 통합하려고 노력했지만, 더 많은 대시보드 범위에 대한 요구가 끊이지 않았기 때문에 실제로 아무것도 통합하지 못했습니다. 그래서 마이그레이션 중에 어려운 결정을 내렸습니다. 메달리온 아키텍처로 전환하고, 모든 변환을 상류로 되돌리고, 레거시 대시보드를 폐기하기 시작했습니다. 수십억 달러 규모의 비즈니스에서도 600개의 측정 지표를 가질 필요는 없습니다. 우리는 핵심 측정 지표와 그 위에 사람들이 자체 분석을 수행할 수 있는 방법을 필요로 했습니다.

통합을 통한 AI 잠금 해제

Aly: 플랫폼 통합이 이전에는 불가능했던 더 나은 분석과 고급 AI 모델을 어떻게 가능하게 했나요?

Stephen: 생성형 AI(gen AI) 측면이 매우 중요합니다. 이메일과 같은 비정형 데이터가 갑자기 정말 중요해졌습니다. 통합이 가져다준 또 다른 이점은 추가 비용 없이 모델에 접근할 수 있다는 것입니다. OpenAI에 별도의 API를 설정해야 하는지 논의하거나, 무언가를 시도할 때마다 법률 및 아키텍처 검토를 거칠 필요가 없습니다. Databricks가 제공하는 모든 보호 기능을 갖추고 있으며, 단일 보안 환경에서 필요한 모델에 접근할 수 있습니다. 매번 조달 과정 없이 실험할 수 있는 이러한 유연성은 저희에게 엄청난 이점입니다.

또한 이제 저희는 제조 공급망 조달에서 10억 달러 이상의 가치와 상호 작용하는 에이전트를 보유하고 있습니다. 이 에이전트들은 이메일을 통해 공급업체에 연락하고, 구매 주문 프로세스 내에서 재고가 어디에 있는지 종합하며, 자동으로 후속 조치를 취합니다. 우리는 정시 자재 납품에서 즉시 15% 증가를 보았습니다. 1천만 달러의 운전자본 개선이 대략 1백만 달러의 순이익으로 이어진다고 생각하면, 이는 빠르게 합산됩니다.

대규모 실시간 인텔리전스

Aly: 실시간 인사이트가 운영에 가장 큰 전략적 영향을 미친 사례는 무엇이며, 그러한 신뢰성과 인텔리전스를 제공하는 데 있어 아키텍처적 과제는 무엇이었나요?

Stephen: 저희의 ETA 예측 모델입니다. 그것이 저희의 가장 기술적인 과제입니다. 북미의 철도 차량은 AEI 태그 리더로 추적되는데, 기본적으로 차량 측면에 있는 반사경이 약 10마일마다 기둥에 신호를 보냅니다. 그래서 차량이 달라스에 있다는 것은 알지만, 달라스 어디에 있는지는 모릅니다. GPS는 더 정밀하지만, 데이터가 지저분합니다. 업계 데이터의 약 20%가 잘못 보고됩니다. GPS는 표류합니다.

우리는 실시간 정화 알고리즘과 최근 이동 이력을 분석하여 GPS 판독값을 올바른 트랙에 맞추는 트래버스 스무딩(traversal-smoothing) 프로세스를 구축해야 했습니다. 이 모든 스트리밍 데이터는 단일 아키텍처로 통합되고 변환된 다음, 몇 초 내에 ETA를 업데이트하는 AI 모델로 공급됩니다. 저희 모델은 이제 업계 자체 ETA보다 50% 더 정확하며, 저희는 기관차를 제어하지도 않습니다.

분석가 병목 현상 해소.

Aly: 리더십에게 가장 큰 장애물 중 하나는 질문을 하고 데이터 기반 답변을 얻기까지의 지연 시간입니다. Databricks Genie의 자연어 인터페이스가 팀이 기존의 '분석가 대기열'을 우회하는 데 어떻게 도움이 되었나요?

Stephen: 사실 Genie의 첫 사용자들은 경영진이 아니었습니다. 바로 제 분석가 팀이었습니다. 그들은 반복적인 운영 업무를 수행하고, 이해관계자의 질문에 답하며, 분석에 하루 이틀을 보냈습니다. Genie 룸을 사용하기 시작하자 30분 만에 더 명확하고 간결한 답변을 얻을 수 있었습니다. 그것이 우리에게는 신호였습니다.

그때부터 확산되었습니다. 저희 CFO는 이제 Genie 룸에서 재무 계획 데이터에 대한 질문을 하고 있습니다. Caterpillar의 CTO였던 저희 CEO도 전적으로 지지합니다. 우리는 9개 도메인에서 데이터를 가져와 고객 요약을 종합하는 고객 360 애플리케이션을 구축했습니다. 대시보드를 한 번도 사용해 본 적 없는 영업사원들도 깊이 있는 분석을 쉽게 할 수 있기 때문에 이를 사용하고 있습니다. 우리는 한 달에 천 건 이상의 질문을 처리하고 있으며, 이 접근 방식을 중심으로 전체 BI 계층을 재구축하고 있습니다.

데이터 요청에서 데이터와 대화하기로

Aly: 비기술 비즈니스 사용자에게 대화형 분석 경험을 제공하는 것이 조직 문화를 "데이터 요청"에서 "데이터와 대화"하는 방식으로 어떻게 변화시키나요?

Stephen: 호기심입니다. 아직 어려운 점에 대한 솔직한 답변이죠. 모든 사람은 쉬운 것을 좋아합니다. 답변을 얻고, 데이터셋을 가져와 대시보드 탐색을 건너뛸 수 있습니다. 하지만 우리는 그들이 더 깊이 파고들어, 이제 분석가만큼 유능하다는 것을 깨닫고, 더 어려운 질문을 시작하기를 원합니다.

몇 년 전, 저희 임대 차량의 여러 정비소 간 유지보수 비용을 비교하는 이사회 수준의 측정 지표를 만들었던 것이 기억납니다. 몇 주가 걸렸죠. Genie 룸으로 처음 한 일 중 하나는 같은 분석을 요청하는 것이었습니다. 5분 만에 동일한 방법론을 사용하여 같은 답변에 도달했고, 심지어 낮은 샘플 크기를 이상치로 표시할 만큼 똑똑했습니다. 그것은 8년 전에는 꿈도 꾸지 못했던 복잡한 분석입니다. 이제는 세 번의 프롬프트면 됩니다. 정말 인상적이죠.

우리는 도입 측면에서도 일찍 시작할 만큼 현명했습니다. 처음 몇 달 동안 Microsoft Copilot을 도입했는데, 하룻밤 사이에 모든 사람을 더 효율적으로 만들 것이라고 생각해서가 아니라, 사람들이 프롬프트를 사용하도록 해야 했기 때문입니다. 사람들에게 LLM을 검색 엔진이 아니라 사람으로 생각하게 해야 했습니다. 그래서 2년 후에도 사람들이 질문하는 방법을 여전히 가르치고 있지 않습니다. 프롬프트 활용 능력에 대한 초기 투자가 이제 성과를 내고 있습니다.

이 작업을 시작하는 리더를 위한 조언

Aly: AI에 대비하여 조직의 미래를 보장하려는 C-레벨 리더에게 한 가지 조언을 해준다면 무엇이겠습니까?

Stephen: 부실한 기반 위에 AI를 구축하지 마십시오. 데이터 계층이 전략입니다.

최신 모델을 사용하여 POC를 상당히 빠르게 시작할 수 있습니다. 하지만 이 모든 것의 승자는 가장 강력한 기반을 갖춘 사람, 즉 데이터 레이어에 실제로 투자한 사람이 될 것입니다. 매력적인 AI 사용 사례를 쫓고 싶은 유혹이 있습니다. 그 유혹을 뿌리쳐야 합니다. 기초 작업을 하세요. 저희의 마이그레이션은 고통스러웠습니다. 거의 1년이 걸렸고, 그 후 모든 것을 보강하는 데 6~8개월이 더 걸렸습니다. 하지만 AI는 실행되는 데이터만큼만 좋습니다. 자체 데이터에 기반을 두고 실제 워크플로우를 자동화하며 자신감 있게 확장하려면, 기반부터 시작해야 합니다. 그렇다고 해서 도중에 빠른 성과를 얻을 수 없다는 의미는 아닙니다. 하지만 진정으로 비즈니스를 가속화하고 싶다면, 그 핵심은 기반에 있습니다.

마무리 생각

이 대화에서 가장 두드러지는 점은 스티븐이 모든 AI 성공을 동일한 결정, 즉 데이터 레이어를 먼저 수정하는 것으로 직접 연결한다는 것입니다. ETA 모델, 조달 에이전트, 대화형 분석으로의 전환 — 이 모든 것은 대부분의 조직이 건너뛰려는 고통스럽고 1년이 걸리는 마이그레이션에 대한 Trinity의 헌신 없이는 불가능했을 것입니다.

엔터프라이즈 AI를 선도할 기업은 가장 화려한 프로토타입을 가진 기업이 아닙니다. 그들은 구조적인 작업을 기꺼이 수행하고, 실제로 통제하는 것을 기반으로 인텔리전스를 구축하는 기업입니다. 대륙을 가로질러 물리적 상품을 운송하는 이 90년 된 회사에게, 그러한 명확성은 주목할 가치가 있습니다.

AI 역량을 발전시키기 위한 실행 가능한 로드맵을 만드는 방법에 대해 자세히 알아보려면 Databricks AI 성숙도 모델을 다운로드하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)