Data analytics and machine learning in Manufacturing

← Go back to overview

Solution Accelerators for Manufacturing

Databricks は、多くの有力企業との連携を通じて確立したベストプラクティスに基づいて、共通性のあるデータ分析および機械学習ユースケースのためのソリューションアクセラレータを開発しました。データエンジニア、データサイエンティストによる開発期間を数週間、数か月の単位で短縮できます。


近年における eコマースの成長、サプライヤーとのボラティリティ、世界的パンデミックのリスクは、サプライチェーンに衝撃を与えると同時に需要の拡大をもたらしています。小売業界におけるニューノーマルに対応する需要予測とインベントリ管理には、既存のモデルとアプローチでは不十分であることに、多くの企業が気づき始めています。従来のように、限られたデータセットを用いた週次または月次の累計予測では、消費者が店舗を容易に選べる eコマースの時代に優位性を確保することはできません。企業には、日次および店舗レベルで SKU の需要予測ができる能力が求められています。



製品やサービスの需要予測精度を改善するための、時系列分析の速度と精度の向上は小売業者の成功に不可欠です。このノートブックでは、時系列予測の重要性について説明し、いくつかのサンプル時系列データを視覚化してから、Facebook Prophet の使用例としてシンプルなモデルを構築します。単一モデルの構築に慣れた後は、Prophet に Apache Spark™ のテクノロジーを組み合わせて、数百規模のモデルを一度にトレーニングする方法を紹介します。これにより、これまでほとんど達成されなかった粒度で、SKU と店舗の組み合わせごとの正確な予測が作成できます。



ML-based Item Matching

How do manufacturers understand what inventory they have on hand around the globe across hundreds of thousands or possibly millions of parts, where local teams could have different item descriptions across internal systems? Or how can a manufacturer resolve differences between their product definitions and those product descriptions across dozens of retail partners? This solution uses machine learning to evolve rules-based and probabilistic (fuzzy) matching techniques for effective product matching on imperfect data.

Scaling ML Models for IoT

In order to train machine learning models on real-time data coming from an IoT sensors, some use cases require each connected device to have its own individual model since many basic machine learning algorithms often outperform a single complex model. However, this can lead to IoT and per-device data so large that it won’t fit on any one machine, per-device data does fit on a single machine. Additionally, the data science team is implementing using single node libraries like sklearn and pandas, so they need low friction in distributing their single-machine proof of concept. In this blog, we demonstrate how you solve this problem with two distinct schemes for each IoT device: Model Training and Model Scoring.


Maintaining assets such as compressors is an extremely complex endeavor: they are used in everything from small drilling rigs to deep-water platforms, the assets are located across the globe, and they generate terabytes of data daily. A failure for just one of these compressors costs millions of dollars of lost production per day. In this solution, we teach you how to build an end-to-end predictive data pipeline that can provide a real-time database to maintain asset parts and sensor mappings, support a continuous application that processes a massive amount of telemetry, and allows you to predict compressor failures against these datasets.