HP 산업용 인쇄, Databricks SQL로 데이터 플랫폼을 혁신하다

HP의 산업용 인쇄 소프트웨어 솔루션(IPSS) 사업부는 항상 최첨단 하드웨어와 소프트웨어의 접점에 있었습니다. 이들의 포트폴리오는 정교한 소프트웨어 및 분석 제품을 제공하며 디지털 인쇄 워크플로, 모니터링 및 분석 기능을 제공합니다. 하지만 고속의 유연하고 자동화된 인쇄에 대한 수요가 증가함에 따라 더욱 지능적이고 확장 가능한 데이터 플랫폼에 대한 필요성도 커졌습니다. HP의 레거시 데이터 인프라는 견고했지만, 신속하게 움직이고 폭넓게 협업하며 데이터를 완전히 활용하는 데는 한계가 있었습니다. 이것이 바로 HP가 Databricks를 선택한 이유입니다.

HP Industrial Print에서의 데이터의 역할

이러한 변환의 중요성을 이해하려면 HP Industrial Print 내에서 데이터가 어떻게 흐르는지 살펴볼 필요가 있습니다. 고객이 맞춤형 패키징부터 와이드 포맷 그래픽에 이르기까지 모든 인쇄 주문을 하면, HP는 자체 독점 애플리케이션인 PrintOS Site Flow를 통해 이러한 요청을 전달합니다. 이 시스템은 고객을 HP의 글로벌 인쇄 서비스 제공업체(PSP) 네트워크 중 한 곳과 연결해 주며, 이들이 주문을 처리합니다. job이 온보딩에서 인쇄, 포장, 배송으로 진행됨에 따라 PSP는 바코드를 스캔하고 상태를 업데이트하여 풍부한 운영 데이터 stream을 생성합니다. 이 데이터에는 주문, 공급업체 할당, 자재 사양, 타임스탬프가 포함됩니다.

HP는 이러한 기반을 바탕으로 비즈니스 의사 결정을 내리는 데 필요한 인사이트를 추출합니다. 대시보드는 PSP가 작업량과 성능을 관리하는 데 도움이 됩니다. 내부 분석팀은 이 데이터를 사용하여 고객 참여를 모니터링하고 공급망을 최적화하며 청구 정확성을 보장합니다. 또한 HP는 PSP가 자체적으로 포괄적인 분석을 실행할 수 있도록 이 데이터를 공개하여 파트너를 지원합니다.

간단히 말해, 데이터는 HP 산업용 인쇄의 운영 중추이자 전략적 자산입니다. 하지만 이를 뒷받침하는 시스템은 속도를 따라가지 못했습니다.

레거시 아키텍처의 과제

이전 구성에서는 데이터가 MongoDB에서 Amazon EKS에서 실행되는 Kubernetes 기반 파이프라인을 통해 흘러갔습니다. 변환된 데이터세트는 내부 분석을 위해 Amazon Redshift에, 외부 애플리케이션 서비스를 위해 Amazon RDS에 저장되었습니다. 기능적으로는 문제가 없었지만 이 아키텍처에는 몇 가지 단점이 있었습니다.

HP 사업부 간의 데이터 공유는 복잡하고 시간이 많이 걸렸으며, 종종 맞춤형 파이프라인이나 수동 데이터 내보내기가 필요했습니다. 메달리온 아키텍처가 없었기 때문에 로직이나 비즈니스 규칙이 변경될 때 데이터 리니지를 추적하거나 과거 데이터를 재처리하기가 어려웠습니다. 거버넌스가 사일로 방식으로 처리되어 액세스 정책에 일관성이 없었습니다.

무엇보다도 이 아키텍처는 혁신을 저해했습니다. HP는 내부 및 외부 데이터를 결합하여 더 깊은 인사이트를 제공하거나 수익을 창출하는 새로운 데이터 제품(서비스)에 대한 아이디어를 가지고 있었지만, 이를 구현하기 위한 민첩성과 가시성이 부족했습니다.

Databricks SQL을 활용한 최신 Lakehouse 접근 방식

Databricks 데이터 인텔리전스 플랫폼을 기반으로 구축된 HP의 새로운 아키텍처는 상황을 완전히 바꿔 놓았습니다. 데이터는 계속해서 MongoDB에서 수집되지만, 이제는 Amazon S3의 브론즈 레이어에 저장됩니다. 거기서부터 Databricks Job은 성능과 확장성에 최적화된 환경에서 품질 검사와 비즈니스 로직을 적용하며 실버 및 골드 레이어를 통해 데이터를 변환합니다.

HP는 Unity Catalog를 통해 비즈니스 목적과 준비 상태에 따라 데이터를 구성하고, 완전한 계보와 감사 기능을 유지하면서 세분화된 액세스 제어를 구현할 수 있게 되었습니다. 팀은 데이터가 어디에 있는지뿐만 아니라 어떤 변환이 적용되었고, 누가 액세스했으며, 어떤 제품이 해당 데이터에 의존하는지 등 데이터의 흐름을 파악할 수 있습니다.

이 기반은 민첩성과 성능의 빠른 향상을 이끌어 냈습니다. 이제 내부 팀은 Databricks SQL warehouse를 사용하여 대시보드를 구동하고, 애드혹 분석을 실행하며, AI 기반 Databricks Assistant로 query를 생성하기까지 합니다. 과거 부하 상태에서 지연되던 대시보드가 이제는 데이터 수집량이 가장 많은 피크 시간대에도 일관된 성능을 보입니다.

Data Sharing에 미친 영향도 마찬가지로 혁신적이었습니다. RDS 복제에 의존하는 대신, 이제 HP는 Delta Sharing을 사용하여 외부 PSP와 실시간 데이터세트를 안전하게 공유합니다. 파트너는 더 이상 특정 도구나 데이터베이스에 얽매이지 않습니다. 이들은 Apache Superset을 비롯한 모든 Delta Sharing 호환 BI 도구를 연결하여 복제 없이 최신 데이터에 액세스할 수 있습니다. 이를 통해 아키텍처가 단순화되었을 뿐만 아니라 운영 비용도 크게 절감되었습니다.

가장 흥미로운 점은 Delta Sharing과 시스템 테이블 덕분에 HP가 파트너 및 데이터세트별 사용 패턴을 추적할 수 있게 되었다는 것입니다. 이러한 필수적인 가시성을 확보함으로써, 저희는 이제 HP Industrial Print가 추구하고자 하는 사용량 기반 가격 책정 전략을 실행할 수 있게 되었습니다. 이 프레임워크를 통해 실제 사용량을 기반으로 서비스를 맞춤화하고, 확장 가능하며 지속 가능한 방식으로 고부가가치 데이터 제품을 수익화할 수 있습니다.

비즈니스 영향: 속도와 기회

Databricks로의 전환은 기술 아키텍처를 개선했을 뿐만 아니라 HP의 비즈니스 수행 방식까지 바꾸었습니다. 중복 시스템을 제거하고 Data Sharing을 간소화함으로써 HP IPSS 데이터 플랫폼은 데이터 사일로를 없애고 데이터 티어링(Hot/Warm/Cold)을 지원할 수 있습니다. 파이프라인 성능은 40% 향상되었으며, 이전과 달리 데이터 볼륨이 급증할 때도 안정적으로 유지되었습니다. 뿐만 아니라, 이 최신 데이터 플랫폼은 이제 산업용 인쇄의 AI 워크로드를 지원합니다.

수동 구성과 데이터베이스 프로비저닝으로 인해 며칠이 걸렸던 고객 온보딩이 이제는 5시간도 채 걸리지 않습니다. 이를 통해 HP는 새로운 인쇄 서비스 제공업체(PSP)를 더 빠르고 원활하게 온보딩할 수 있습니다.

하지만 이러한 측정 가능한 개선 사항 외에도 가장 큰 변화는 문화적인 것이었습니다. Databricks를 통해 데이터는 더 이상 사일로에 갇히거나 인프라 장벽 뒤에 숨겨지지 않습니다. 데이터에 쉽게 액세스하고 거버넌스를 적용할 수 있으며 실행 가능합니다. HP의 비즈니스팀과 기술팀은 새로운 대시보드를 만들거나, 가격 책정 모델을 테스트하거나, 여러 사업부의 데이터를 결합하여 새로운 인사이트를 발견하는 등 모든 작업에서 더 자유롭게 협업하고, 더 빠르게 Experiment하며, 더 지능적으로 구축할 수 있게 되었습니다.

향후 전망

데이터 플랫폼을 현대화하는 것은 HP에게 단순한 인프라 프로젝트 그 이상이었습니다. 그것은 전략적인 발전이었습니다. Databricks를 통해 HP Industrial Print는 운영을 간소화하고 데이터 사일로 비용을 절감했으며, 더 많은 데이터 제품과 수익화를 도입하여 완전히 새로운 비즈니스 모델을 열었습니다.

속도, 정밀성, 유연성이 성공을 좌우하는 산업에서 HP는 이제 자사의 비전에 부합하는 데이터 플랫폼을 갖추게 되었습니다. 더 나은 의사 결정부터 향상된 고객 경험, 새로운 수익원에 이르기까지, Databricks는 HP 산업용 인쇄 소프트웨어 솔루션이 데이터를 경쟁 우위로 전환하도록 돕고 있습니다.

Databricks가 어떻게 데이터 아키텍처를 단순화하고, 데이터 사일로 비용을 절감하며, 새로운 비즈니스 기회를 창출하도록 지원하는지 확인해 보세요. 지금 바로 Databricks SQL을 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)