"Databricks 레이크하우스를 기반으로 데이터와 AI를 활용하여 운송 및 해운 업체에게 최적의 경험을 제공하는 가장 혁신적 디지털 화물 시장을 만들 수 있었습니다."
J.B. Hunt는 북미에서 가장 효율적인 교통망을 개설하는 것을 사명으로 삼았지만, 오래된 아키텍처, 데이터의 급격한 증가, 제한적인 AI 기능으로 큰 장애물을 만났습니다. J.B. Hunt는 Google Cloud에 Databricks 레이크하우스를 구현한 이후로 공급망 효율을 개선하는 것에서부터 생산성을 향상하는 데 이르기까지 다양한 운영 솔루션을 제공하였고, IT 인프라 비용이 상당히 절감되었습니다.
통합 데이터 없는 발전은 불가능
통합 데이터 없는 발전은 불가능
J.B. Hunt Transport, Inc.는 북미에서 가장 효율적인 운송 네트워크를 만들겠다는 사명에 따라, 동적 화물 매칭을 포함한 자산/비자산 기반 운송 솔루션을 제공합니다. 그 과정에서 가격, 중량, 위치 등의 세부 정보를 고려하여 기업의 운송 요구 사항과 가용 운송사의 수용력을 연결해줍니다. 그런데 어떤 문제가 있을까요? 운송 업계는 매우 파편화되어 있고, 업계 전체적으로 운전자가 약 350만 명입니다. 이 정도로 파편화된 상태를 고려한 매칭 시스템을 개선하려면 실시간 데이터와 의미 있는 분석이 필요합니다.
J.B. Hunt가 이 목표를 달성 하기 위해서는 실시간 의사 결정에는 사용성에 제한이 있었던 기존 엔터프라이즈 데이터 웨어하우스(EDW) 플랫폼에 저장된 데이터의 가치를 활용할 수 있어야 했습니다. 이 시스템은 움직이는 수십만 개의 화물에서 15분마다 발생하는 위치 핑으로부터 생성되는 방대한 데이터를 처리하고 저장하는 작업을 감당하지 못했습니다. 또한 적절한 사용자가 민감한 데이터에 액세스하도록 하는 엄격한 데이터 보안도 필요했습니다. 마지막으로, 일반적으로 회사 소유가 아닌 트럭과 컨테이너의 IoT 센서에서 생성되는 데이터 스트림을 지원하는 기능도 필요했습니다. 이런 기능이 없었기 때문에 머신 러닝(ML)과 AI를 사용한 원격 측정 사용 사례를 구현할 수 없었습니다.
확장 가능한 개방적 통합 레이크하우스 아키텍처 구축
확장 가능한 개방적 통합 레이크하우스 아키텍처 구축
J.B. Hunt는 Google Cloud 및 Databricks 레이크하우스와 협력하여 모든 데이터 형식을 캡처하고 전사적으로 데이터 엔지니어, 과학자 등에게 실시간 분석을 지원할 수 있는 통합 BI 및 AI 플랫폼을 구현하기로 했습니다. J.B. Hunt는 Databricks를 사용하여 J.B. Hunt 360°®를 위한 상호운용성이 있는 개방적 고속 데이터 레이크하우스 플랫폼을 성공적으로 구현하였고, 그 덕분에 고객에게 타의 추종을 불허하는 운송 서비스를 제공하여 북미에서의 시장 지위를 지킬 수 있었습니다.
J.B. Hunt는 Delta Lake를 기반으로 조직 내에서 간편하게 액세스할 수 있도록 모든 데이터를 한 곳에 모을 수 있었을 뿐만 아니라 규모와 관계없이 데이터 파이프라인 스트리밍의 성능과 안정성을 보장할 수 있었습니다. 테라바이트 규모의 기존 데이터를 플랫폼으로 옮겼고, Delta Lake의 개방적 스토리지 레이어는 데이터 팀에게 효율성과 이동성을 제공했습니다. J.B. Hunt는 Delta Lake로 실시간 스트리밍함으로써 더욱 큰 규모의 완전한 데이터 세트를 분석할 수 있었고, 그 어느 때보다도 빠르게 분석 및 ML을 실행 가능했습니다. 데이터 사이언스 팀은 MLflow를 사용하여 코드와 실험을 재현하고 데이터 사이언티스트가 재사용하도록 할 수 있게 되었습니다. J.B. Hunt의 엔지니어링 및 기술 부문 이사인 Joe Spinelle은 "우리 회사의 다양한 운영 부문에서 어떤 클라우드 또는 도구 세트를 사용하는지와 관계없이 빠르게 사용 사례를 배포하는 유연성을 제공하는 플랫폼을 기반으로 삼는 것이 중요했습니다."라고 말했습니다.
Databricks 레이크하우스와 함께 자동화된 데이터 거버넌스 플랫폼인 Immuta도 사용합니다. 보안의 관점에서 Immuta는 기존 EDW의 보안 기능을 확장하는 데이터 보안을 한층 더 강화해주었습니다. 이제 데이터 거버넌스 프로세스를 자동화하여 적절한 사용자가 중요한 비즈니스 결정을 내리는 데 필요한 데이터에 액세스하도록 할 수 있습니다. 이는 열 수준의 데이터 마스킹을 적용한 덕분입니다. 기존의 역할 기반 액세스 제어 이상으로 세분화된 보안과 전역 및 로컬 보안 정책을 설정하는 기능, 누가 어떤 데이터에 액세스했는지 완전한 감사가 가능한 기능을 사용하고 있습니다.
J.B. Hunt의 엔지니어링 및 기술 부문 선임 관리자, Tina Headrick은 "두 솔루션을 결합하고 나서 민감한 데이터에 액세스할 걱정 없이 사용자가 보고에 액세스하는 데 필요한 수준의 유연한 데이터 보안을 갖출 수 있었습니다."라고 설명했습니다.
운영 효율을 제공하는 단일 정보 출처
운영 효율을 제공하는 단일 정보 출처
협업의 측면에서 Databricks는 J.B. Hunt의 데이터 팀이 전체적으로 데이터 사이언스의 생산성을 향상하게 하는 데 성공했습니다. 엔지니어링 및 기술 부문 부사장, Douglas Mettenburg는 "Databricks를 사용하고 나서 모든 것이 같은 리포지토리에 저장되고, 같은 언어, 같은 버전으로 남게 되었습니다. 바로 그게 핵심입니다."라고 설명했습니다.
J.B. Hunt 내에서 Databricks가 성공을 거둔 이후로, 이는 엄청난 성과 향상으로 나타났습니다. 예를 들어 4시간 이내에 수천 개의 머신 러닝 모델을 훈련하고 예전보다 99.8% 빠르게 운송업체에게 화물 관련 권고 사항을 전달할 수 있게 되었습니다. Doug는 "최종적으로 Databricks가 J.B. Hunt의 투명성을 보장하는 소스가 되었습니다. 데이터와 기술이 회사 전체에 제공할 수 있는 실질적 가치를 보여줍니다."
