This is a guest post from Kate Hopkins, Vice President of Data Platforms at AT&T.
첫 시작: 페타바이트급 데이터를 신중하게 이동하고 관리하기
AT&T는 2020년 말, 핵심 온프레미스 Hadoop 데이터 레이크에서 현대화된 클라우드 아키텍처로 전환한다는 중대한 미션을 가지고 데이터 혁신 여정을 시작했습니다. 우리의 전략은 데이터 민주화를 통해 데이터 팀의 역량을 강화하는 한편, DevOps 팀에 과도한 부담을 주지 않으면서 AI 작업을 확장하는 것이었습니다. AT&T 고객 경험을 개선하고, AT&T 비즈니스를 성장시키며, 더 효율적으로 운영하기 위해 인사이트 활용도를 높일 수 있는 엄청난 잠재력을 발견했습니다.
일부 소규모 기업에서는 마이그레이션을 더 쉽게 수행할 수 있겠지만, AT&T에서는 고려해야 할 사항이 많았습니다. AT&T의 데이터 플랫폼 에코시스템은 매일 10페타바이트 이상의 데이터를 수집하며, 네트워크 전반에서 1억 페타바이트 이상의 데이터를 관리합니다. 따라서 작업에 적합한 도구를 신중하게 선택하는 것이 매우 중요했습니다. 데이터 양이 방대할 뿐만 아니라 1억 8,200만 명의 무선 가입자와 1,500만 가구의 광대역 사용자를 지원해야 하기 때문입니다. 또한 침해와 사기로부터 고객을 보호하는 중요한 시스템을 갖추고 있습니다. 기본적으로 데이터를 최대한 활용하기 위해서는 데이터를 민주화하되, 이러한 민주화와 개인정보 보호, 보안, 데이터 거버넌스 간의 균형을 유지해야 했습니다.
6가지 이상의 서로 다른 데이터 관리 플랫폼들로 구성된 기존 아키텍처는 데이터 팀이 데이터 중심으로 긴밀하게 협력하고 신속하게 조치를 취할 수 있었습니다. 하지만 동시에 이러한 노력이 사일로에 갇히 게 되었습니다. 이렇게 분산된 작업으로 인해 데이터에 액세스하고 데이터를 수집하는 데 어려움이 있었을 뿐만 아니라 데이터 중복 및 지연 문제도 발생했습니다. 정보를 도출할 수 있는 단일 기준이 없었기 때문에 서로 다른 시점과 품질 수준을 반영하는 서로 다른 버전의 데이터를 기반으로 메트릭이 만들어졌습니다.
궁극적으로 우리가 원하는 데이터 기반 혁신을 실현하기 위해서는 클라우드로 전환하고 개방형 형식, 단순성, 팀 간 협업을 전제로 구축된 데이터 아키텍처를 채택하여 인프라를 현대화해야 했습니다. 우리는 이 기념비적인 이니셔티브의 핵심 구성 요소로 데이터브릭스 레이크하우스를 선택했습니다.
데이터에 대한 쉬운 엑세스는 더 나은 인사이트와 COE(Center Of Excellence)를 가능하게 합니다.
2021년은 AT&T의 온프레미스 데이터를 데이터브릭스 레이크하우스 플랫폼으로 옮기는 데 집중했습니다. 통합 플랫폼인 Lakehouse를 통해 모든 핵심 데이터 레이크 데이터를 클라우드로 성공적으로 이전하게 되어 기쁘게 생각합니다.
가장 먼저 도입한 데이터 과학팀은 이러한 변화에 쉽게 적응했습니다. 이후 머신 러닝(ML) 워크로드를 클라우드로 옮길 수 있었습니다. 이를 통해 더 빠른 데이터 검색, 더 많은 데이터(여러분이 믿을 수 없을지도 모르겠지만), 현대화된 기술에 대한 접근성을 확보하여 사기 발생률을 수년 만에 최저 수준으로 낮출 수 있었습니다. 예를 들어, 사기성 전화 구매 시도를 감지하는 모델을 훈련하고 배포한 다음 모든 채널에 해당 사기를 전달하여 사기를 완전히 차단할 수 있었습니다. 또한 운영 효율성이 크게 향상되고 고객 이탈률이 감소하며 고객 LTV가 증가하는 것을 확인했습니다.
CDO 내에서는 대규모 데이터 엔지니어링 및 데이터 과학 커뮤니티를 온보딩하고 있습니다. 이러한 중요한 사용 사례를 지속적으로 지원하기 위해 구조화된 고객 데이터뿐만 아니라 대량의 비정형 실시간 원시 데이터도 Delta Lake에 수집하고 있습니다.
하지만 그 가치는 데이터 과학을 확장하는 능력에서 멈추지 않습니다. 비즈니스 사용자도 Delta Lake의 데이터에서 Power BI 및 Tableau 대시보드를 실행하는 통합을 통해 데이터 인사이트를 추출할 수 있습니다. 영업 조직은 Tableau를 통해 제공된 데이터 기반 인사이트를 사용하여 새로운 추가 매출 기회를 발견합니다. 또한 고객이 묻는 질문을 기반으로 이상적인 답변에 대한 권장 사항을 생성할 수 있습니다.
가장 중요한 것은, 데이터브릭스 레이크하우스로 이전함으로써 AT&T가 분석 COE(센터 오브 엑설런스) 모델로 전환할 수 있게 되었다는 점입니다. 기술 팀을 분산시켜 비즈니스를 더욱 긴밀하게 지원함으로써 궁극적으로 각 사업부가 스스로 서비스를 제공할 수 있도록 역량을 강화하는 것을 목표로 하고 있습니다. 여기에는 질문이 있을 때 누구에게 연락해야 하는지, 어디서 교육을 받을 수 있는지, 지출 규모를 더 자세히 파악할 수 있는 방법 등이 포함됩니다. 이러한 모든 이유에서 고객 센터는 핵심적인 역할을 해왔습니다. 그 결과 제품 채택률이 높아졌고 파트너로부터 의미 있는 신뢰와 감사를 받았습니다.
2022년에는 온프레미스 환경을 완전히 폐기 하고 비용 절감 효과를 거두며 성공을 가속화합니다.
2020년에 우리는 사례를 만들고 클라우드로의 전환이 가져다주는 이점을 입증하는 데 성공했습니다. 전환 계획을 신속하게 실행할 수 있었기 때문에 2021년 절감 목표를 초과 달성할 수 있었고, 2022년에도 같은 성과를 거둘 수 있을 것으로 예상합니다. 그러나 진정한 승리는 올해 데이터를 Delta Lake로 계속 이전하여 온프레미스 시스템을 완전히 폐기함으로써 얻을 수 있을 것으로 예상되는 비즈니스 혜택의 증가입니다.
이러한 이전을 통해 인공지능(AI) 툴을 표준화하고, 비즈니스 전반에 걸쳐 데이터 과학 및 AI 채택을 확장하고, 연합을 통해 비즈니스 민첩성을 지원하고, 로드맵이 발전함에 따라 더 많은 기능을 활용하는 등 정말 흥미로운 일들을 할 수 있게 될 것입니다.
저는 데이터브릭스 레이크하우스 아키텍처가 AT&T의 미래를 가능하게 할 것이라고 확신합니다. 이 아키텍처는 우리의 AI 사용 사례를 위한 목표 아키텍처이며, 1년도 채 되지 않아 이미 페더레이션의 결과와 이를 통해 얻을 수 있는 비즈니스 가치를 확인했기 때문에 비즈니스 민첩성을 향상시킬 것이라고 확신합니다. 또한 중요한 것은 복잡한 데이터 에코시스템 전반에 걸쳐 필요한 데이터 보안과 단일 버전의 진실에 대한 거버넌스를 지원한다는 점입니다.
관련 컨텐츠 : AI Modernization at AT&T and the Application to Fraud with Databricks