머신러닝 라이브러리란 무엇인가요?

Apache Spark의 머신 러닝 라이브러리(Machine Learning Library, MLlib)는 단순성, 확장성, 다른 툴과의 통합을 염두에 두고 고안하였습니다. 데이터 사이언티스트는 Spark의 확장성, 언어 호환성과 속도를 활용하여 데이터 문제점과 모델에만 집중할 수 있습니다. 즉 분산형 데이터를 둘러싼 복잡한 문제(인프라, 구성 등)를 해결하는 데 시간을 뺏기지 않아도 됩니다. MLlib은 Spark 기반으로 구축된 확장할 수 있는 머신 러닝 라이브러리로 보편적인 학습 알고리즘과 유틸리티로 구성되어 있습니다. 예를 들어 분류, 회귀, 클러스터링, 공동 작업 필터링, 차원 감소와 기본 최적화 기본 형식(primitive) 등이 대표적입니다. Spark MLLib은 Spark SQL, Spark Streaming 및 DataFrame과 같은 다른 Spark 구성 요소와 원활하게 통합되며 Databricks Runtime으로 설치됩니다. 이 라이브러리는 Spark 애플리케이션의 일부분으로 Java, Scala 및 Python에서 사용할 수 있으므로 완료된 워크플로 내에 포함할 수 있습니다. MLlib을 사용하면 모델 전처리, 데이터 가공(munging), 학습이나 데이터에 관한 대규모 예측 등의 작업을 할 수 있습니다. 심지어 MLlib에서 학습한 모델을 사용하여 Structured Streaming에서 예측을 할 수도 있습니다. Spark는 정교한 머신 러닝 API를 제공하여 다양한 머신 러닝 작업을 수행하는 데 쓸 수 있습니다. 분류부터 회귀, 클러스터링부터 딥러닝까지 많은 것이 가능합니다.

추가 자료

• Managed MLflow 제품
• Databricks, 2021 Gartner® Magic Quadrant™ DBMS와 DSML 부문 모두 리더로 선정
• 사기 행위 척결에 쓰이는 Random Forest를 MLlib, MLflow와 Jupyter를 사용하여 scikit 학습에서 Spark로 이동
• 실용 ML | 가상 이벤트
• 무료 교육: 머신 러닝 모델 구축과 배포