고객 사례
AI 우선 전략으로 대규모 혁신 지원
Vertical Use Case: Digital Transformation – Modernizing their technical infrastructure so that they could do big data and machine learning at scale.
Technical Use Case: Data Ingest and ETL,Streaming,Machine Learning,Deep Learning
"Databricks는 우리 AI 전략의 중요한 부분입니다. 계속해서 비즈니스를 디지털화하고 AI 및 머신 러닝을 통해 기회와 과제를 탐색하면서 나머지 비즈니스 전반에서 계속해서 Databricks를 활성화할 것입니다."
Mainak Mazumdar - Nielsen 최고 연구 책임자
Nielsen은 선도적인 글로벌 정보 분석 기업으로, 소비자가 무엇을 보고, 듣고, 구매하는지에 대한 시장 조사와 인사이트, 데이터를 제공합니다.
문제점
- Nielson은 단일 컴퓨터에서 확장할 수 없어 다운스트림 분석을 준비하는 데 필요한 방대한 데이터를 처리, 분석할 수 없었습니다.
- 레거시 인프라가 대량의 데이터를 처리하기에는 역부족이었습니다. 적절한 툴이 없어 액세스, 준비와 분석이 모두 무척 번거로웠습니다.
- Apache Spark 관련 전문 지식 부족 - 이 회사 데이터사이언티스트는 대부분 레거시 기술(SAS 및 Netezza)에는 통달했지만 Spark의 힘을 유리하게 활용하기에는 준비가 되지 않은 상태였습니다.
- 세계 각지에서 사용 중인 다양한 이기종 시스템에 분산된 데이터에 액세스하기 위해 고전하고 있었습니다.
- 기존 시스템이 너무 복잡해(즉, 배포 시 코드를 다시 작성해야 하고, 이로 인해 오류 발생) R&D에서 프로덕션에서 배포까지의 주기가 너무 길었습니다.
Customer Testimonial
솔루션
Databricks에서는 Nielsen 측에 통합형 분석 플랫폼을 제공하여 AI 우선주의 전략을 구축할 핵심적인 기본 토대 역할을 하도록 했습니다.
- 고도로 확장 가능한 완전 관리형 멀티 클라우드 서비스(AWS 및 Azure)로 데이터 엔지니어링과 데이터 사이언스를 하나의 플랫폼에서 통합합니다.
- 자동 클러스터 관리를 사용하면 모든 규모의 클러스터 프로비저닝을 단순화할 수 있습니다.
- 다양한 언어(SQL, Scala, Python, R)를 지원하여 모든 팀원이 협업 노트북 환경에서 생산성을 유지하도록 합니다.
- IoT 기기의 배치 데이터 세트 및 라이브 스트림 데이터를 모두 통합한 덕분에 두 워크로드에서 코드를 재사용할 수 있게 되었고, 데이터 엔지니어링의 수고도 훨씬 줄어들었습니다.
- TensorFlow, Keras 및 Pytorch와 같은 주요 딥러닝 프레임워크 및 라이브러리와 통합됩니다.
결과
Databricks는 Nielsen 사내 문화의 재탄생에 크게 기여했습니다. 여러 팀이 함께 일하는 방식과 전반적인 업무 처리 방식 면에서 대대적인 변화가 있었습니다. 여러 팀이 경계를 넘나들며 협업하면서 성과, 속도와 규모가 개선되어 궁극적으로 혁신을 이룰 수 있었습니다.
