Panasonic 미국 법인의 중앙 데이터 인프라 팀은 판매 / 영업, 공급망, HR 등을 포괄하는 여러 비즈니스 부서의 데이터 백본 역할을 수행하는 야심 찬 임무를 맡고 있습니다. 레거시 ETL 파이프라인과 단편화된 데이터 웨어하우스로 인해 일일 보고 속도가 느려지고, 때로는 데이터 수집에 몇 시간이 걸리거나 예측할 수 없는 장애가 발생하자, 팀은 처음부터 시스템을 현대화하기로 전략적인 결정을 내렸습니다. Databricks 플랫폼과 Lakeflow를 기반으로 표준화함으로써, 팀은 불안정하고 사일로화된 스택을 안정적인 전사적 데이터 기반으로 전환했습니다. 과거 몇 시간씩 걸리던 프로세스가 이제는 몇 분 만에 완료되고, 분석가들은 이전에는 접근할 수 없었던 데이터에 직접 액세스할 수 있게 되었으며, 팀은 이미 다음 목표인 AI를 향해 나아가고 있습니다.
단편화된 레거시 파이프라인, 부서 간 비즈니스 운영에 차질을 빚다
Panasonic의 중앙 데이터 및 IT 인프라팀은 여러 내부 계열사 및 사업부의 전 반적인 데이터 전략을 주도합니다. 비즈니스 리더들은 일상적인 운영, 영업 예측, 공급망 관리를 지원하기 위해 SAP S/4HANA, Workday, 글로벌 POS(point-of-sale) 시스템과 같은 엔터프라이즈 시스템에 크게 의존합니다. 하지만 단절된 ETL 도구와 복잡한 데이터 웨어하우스로 구성된 Panasonic의 레거시 데이터 스택은 이러한 데이터의 양과 복잡성을 처리하는 데 어려움을 겪었고, 이는 심각한 성능 및 복원력 문제로 이어졌습니다.
가장 심각한 병목 현상은 SAP 데이터 수집이었습니다. 엔지니어링 팀은 레거시 변경 데이터 캡처(CDC) 프로세스의 한계를 인식하고 더 안정적인 접근 방식을 모색했지만, 기존 아키텍처에서는 매일 100개가 넘는 테이블에 대해 전체 데이터 새로고침을 실행해야만 했습니다. 수억 개의 행이 있는 대규모 트랜잭션 테이블은 복잡한 파티션이 필요했고, 이로 인해 레거시 파이프라인에 장애가 자주 발생했습니다. 이러한 과도한 로드는 완료하는 데 5~6시간이 걸렸고, 1년에 약 10번 정도 중단되었으며, 이를 해결하기 위해 몇 시간 또는 하루 종일 IT 집약적인 여러 팀 간의 문제 해결 작업이 필요했습니다. 이른 아침 보고 마감 시간을 엄격하게 지켜야 하는 한 내부 비즈니스 부서의 경우, 이러한 중단 사태는 막대한 비용 손실을 야기하는 지연으로 이어졌습니다. 고위 경영진은 중요한 비즈니스 결정을 내리는 데 필요한 일일 영업, 재고 및 물류 보고서를 받지 못하는 경우가 많았고, 이는 사실상 일상적인 운영에 차질을 빚게 했습니다. 또한, 귀중한 데이터가 레거시 데이터베이스 사일로에 갇혀 있어, 정확한 예측을 위해 원시 데이터에 액세스해야 하는 다운스트림 비즈니스 인텔리전스(BI) 분석가들에게 가시성 장벽을 만들었습니다.
레이크플로우 커넥트로 엔터프라이즈 인제션을 표준화해요
Panasonic은 복원력 있는 중앙 집중식 데이터 백본을 구축하기 위해 Databricks 플랫폼으로 마이그레이션하고, Lakeflow Connect를 적극적으로 사용하여 기업의 주요 데이터 소스 전반에 걸쳐 데이터 수집을 표준화했습니다.
가장 시급한 우선순위는 SAP S/4HANA였습니다. Panasonic은 SAP Datasphere와 통합하여 Azure Data Lake Storage(ADLS)에 파일을 저장하고, Lakeflow Connect의 일부인 Auto Loader를 배포하여 가장 장애가 빈번한 파이프라인 중 하나에 대한 증분 수집을 원활하게 처리했습니다. 이 현대적인 아키텍처는 훨씬 적은 오버헤드만으로도 안정적이고 자동화된 아키텍처를 제공했습니다. 결과는 즉각적이었다.
이를 시작으로 팀은 다른 중요한 시스템에도 동일한 접근 방식을 확장했습니다. 이전에는 기록 추적이 어려웠던 HR 및 인력 데이터가 이제 Workday 커넥터를 통해 수집되어, 시간이 지남에 따른 관리자 변경, 직원 재고용과 같은 변화를 포착하는 구조화된 관계형 테이블에 저장됩니다. 또한 SFTP 커넥터는 Panasonic 일본 본사로부터 POS(point-of-sale) 수치, 배송 지표, 제조 기록을 포함한 글로벌 공급망 데이터를 지속적으로 가져옵니다. CSV 및 Excel 파일 형식의 이러한 시간에 민감한 데이터는 거의 실시간 공급망 분석에 사용할 수 있게 됩니다.
파나소닉은 정형 및 반정형 데이터 외에도 지금 비정형 PDF 문서 리포지토리 문제도 해결하고 있어요. SharePoint를 Databricks 환경에 연결함으로써 팀은 수천 개의 복잡한 법률 및 공급업체 문서의 처리를 자동화했어요. Using Databricks Document Intelligence (ai_parse_document 및 ai_query) 를 사용하여 수십 개의 키 필드를 높은 정밀도로 처리하고 구조화된 출력으로 추출하여 정적 문서를 쿼리 가능한 실시간 데이터로 변환할 수 있었어요.
"기존 시스템에서는 10,000건의 공급업체 계약 및 MSA를 처리하는 데 수작업으로 2주가 걸리는 고된 작업이었습니다." Databricks SharePoint 커넥터, Serverless compute, 데이터브릭스 도큐먼트 인텔리전스를 활용하여 수집부터 중요 만료일 추출에 이르는 전체 워크플로를 2~3시간으로 단축했어요." — 싱고 사카모토, 파나소닉 IT 수석 데이터 아키텍트
이 모든 것의 기반에는 Unity Catalog를 통한 통합 거버넌스 레이어가 있으며, 이를 통해 팀은 데이터를 중복 없이 여러 사업부에 안전하게 공유할 수 있습니다. 이 모든 소스에 걸쳐 팀은 Databricks Serverless compute를 활용하여 훨씬 짧은 시간 안에 고성능 ETL 노트북을 실행합니다.
"기존 환경에서는 대용량 SAP 테이블을 로드하는 데 5~6시간이 걸렸고, 오류가 자주 발생했습니다." Databricks로 표준화하고 자동 로더를 사용하면서 가장 큰 테이블의 처리 시간이 몇 시간에서 단 2분으로 줄었어요. 이제 파이프라인이 완전히 안정돼요. 경영진이 정시 보고를 받을 수 있으니까요." — 유카 카토, 파나소닉 수석 데이터 엔지니어
신뢰할 수 있는 데이터, 전사적 영향
오늘날 Panasonic의 비즈니스 리더들은 일일 매출, 청구, 재고를 다루는 정확하고 시기적절한 보고서를 오류 없이 전달받으며 매일 아침 필요한 정보와 함께 하루를 시작합니다. 모든 실버 테이블에 대한 엔드투엔드 데이터 처리는 약 30분 만에 완료되며, 이전에는 불가능해 보였던 안정성이 이제는 새로운 표준이 되었습니다.
그 영향은 성능 향상에 그치지 않습니다. 팀은 값비싼 레거시 데이터 웨어하우스, ETL 및 BI 라이선스를 중단함으로써 총소유비용(TCO)을 크게 절감했습니다. 그 결과 예산과 리소스를 확보하여 팀이 더 높은 가치를 지닌 업무에 집중할 수 있게 되었습니다. 그리고 신뢰할 수 있는 데이터 기반이 마련되면서 조직 전체에 액세스가 개방되었습니다. 이제 BI 분석가들은 데이터를 직접 탐색하여 로드 및 refresh 시간을 약 50% 단축할 수 있습니다. 영업 담당자와 지역 관리자들은 자신만의 뷰와 예측 모델을 구축하고 있습니다.
"Databricks는 데이터 분석가들이 더 많은 것을 할 수 있도록 지원했습니다. 이제 분석가들은 원시 데이터를 직접 탐색하고 공유 노트북에서 협업하며 그 어느 때보다 빠르게 움직일 수 있습니다. 이러한 운영 효율성 덕분에 저희 소규모 데이터 사이언스 팀은 엔터프라이즈 규모의 솔루션을 처리할 수 있게 되었습니다." – Jerry Deng, BI 디렉터, Panasonic
안정적이고 통합된 데이터 기반이 마련됨에 따라, 이러한 접근성 정신은 파나소닉의 AI 비전을 형성하는 데 중요한 역할을 하고 있습니다. 이 팀은 비기술적인 견적 팀이 가격 기록 및 예측 인사이트에 셀프 서비스로 액세스할 수 있도록 Genie 작업 공간을 구현하고 있습니다.
" 우리 견적 팀은 SQL로 생각하지 않아요. 고객과 제품을 생각해요. 지니는 그들이 있는 곳에서 그들을 만나 가격 질문을 즉각적인 해답으로 바꾸어 소규모 데 이터 팀이 기업 전체에 영향을 미칠 수 있도록 해요." - 엘레나 구사코바, 파나소닉 선임 데이터 사이언티스트
