머신 러닝 런타임

바로 사용할 수 있는 최적화된 머신 러닝 환경

MLR(Machine Learning Runtime)은 데이터 사이언티스트와 ML 실무자에게 자주 사용하는 프레임워크, 내장형 AutoML, 최적화를 포함한 확장형 클러스터로 최고의 성능을 제공합니다.

장점

고객이 원하는 프레임워크

ML Frameworks는 엄청난 속도로 발전하고 있으며, 실무자들은 평균 8개의 라이브러리를 관리해야 합니다. ML Runtime은 사전 구축된 컨테이너나 Conda를 통해 가장 인기 있는 ML 프레임워크의 안정적이고 우수한 성능의 배포판과 맞춤형 ML 환경에 클릭 한 번으로 액세스할 수 있습니다.

강화된 머신 러닝

데이터 준비에서 사전 구축된 AutoML을 사용한 추론에 이르기까지 머신 러닝을 가속화합니다. 여기에는 Hyperropt와 MLflow를 사용한 하이퍼매개변수 튜닝과 모델이 포함됩니다.

규모 조정 단순화

자동으로 관리되는 확장형 클러스터 인프라에서 데이터 크기를 적은 규모에서 큰 규모로 쉽게 확장할 수 있습니다. 또한, Machine Learning Runtime은 대부분의 인기 있는 알고리즘과 HorovodRunner(분산된 딥 러닝을 위한 간단한 API)에 대한 고유한 성능 개선 사항도 포함합니다.

Features

고객이 원하는 프레임워크

Conda Managed Runtime: Python 패키지 관리를 위한 Conda 통합을 사용합니다. 모든 Python 패키지는 하나의 환경에 설치됩니다.

ML Frameworks: TensorFlow, Keras, PyTorch, MLflow, Horovod, GraphFrames, scikit-learn, XGboost, numpy, MLeap, Pandas 등의 가장 인기 있는 ML 라이브러리와 프레임워크가 기본으로 제공됩니다.

보강된 ML

자동 실험 추적: 오픈 소스 또는 Managed MLflow와 병렬 좌표 플롯 기능을 사용하여 수십만 개의 실험을 추적, 비교하고 시각화합니다.

자동 모델 검색(단일 노드 ML용): 향상된 Hyperopt와 MLflow 자동 추적을 사용하여 여러 모델 아키텍처에서 분산 및 최적화된 조건적 하이퍼매개변수 검색을 제공합니다.

단일 노드 머신 러닝에 자동 하이퍼매개변수 튜닝 적용: 향상된 Hyperopt와 MLflow 자동 추적을 사용하여 분산 및 최적화된 하이퍼매개변수 검색을 제공합니다.

분산형 머신 러닝에 자동 하이퍼매개변수 튜닝 적용: PySpark MLlib’의 Cross Validation과 긴밀하게 통합되어 MLflow에서 MLlib 실험을 자동 추적합니다.

간단한 규모 조정에 최적화

최적화된 TensorFlow: GPU 클러스터에서 TensorFlow CUDA에 최적화된 버전을 활용하여 최상을 성능을 발휘합니다.

HorovodRunner: Databricks 클러스터에서 HorovodRunner(Horovod를 분산형 훈련에 사용할 경우에 발생하는 복잡한 문제를 추상화하는 간단한 API)를 사용하여 실행할 수 있도록 단일 노드 딥 러닝 코드를 신속하게 마이그레이션합니다.

최적화된 MLlib 로지스틱 회귀 및 트리 분류기: 가장 많이 사용하는 추정 도구 두 개가 ML용 Databricks Runtime에서 최적화되어, Apache Spark 2.4.0 대비 속도가 40% 향상되었습니다.

최적화된 GraphFrames: GraphFrames의 실행 속도가 2~4배 향상되었고, 워크로드와 데이터 편향에 따라 그래프 쿼리 속도가 최대 100배까지 단축됩니다.

딥 러닝 워크로드에 최적화된 스토리지: AzureAWS에서 딥 러닝 훈련 워크로드에서 중요한 역할을 하는 데이터 로딩과 모델 체크포인팅에 고성능 솔루션을 활용합니다.

How It Works

Machine Learning Runtime은 모든 Databricks Runtime 릴리스를 기반으로 하며, 해당 릴리스와 함께 업데이트됩니다. Azure Databricks, AWS 클라우드, GPU 클러스터, CPU 클러스터 등의 모든 Databricks 제품에서 정식으로 제공됩니다.

ML Runtime을 사용하려면 클러스터를 생성할 때 런타임의 ML 버전을 선택하면 됩니다.

고객 사례

Watch the Spark+AI Summit Talk

Starbucks, 분산형 TensorFlow 훈련을 단순화하여 고속 이미지 분류 지원

시작할 준비가 되셨나요?


Follow the Quick Start Guide