Serverless 및 표준 clusters에서의 분산 ML 공개 미리 보기 발표

서버리스 노트북 및 작업 은 물론 표준 클러스터 에서도 Apache Spark MLlib(Python) 및 Optuna의 공개 미리 보기를 통해 전용 클러스터 없이도 성능, 보안, 협업 편의성이 결합된 분산 machine learning을 Databricks의 통합 컴퓨트 환경에 제공합니다.

전용 ML에서 Serverless ML로

지금까지 Apache Spark MLlib을 사용한 훈련이나 Optuna를 사용한 하이퍼파라미터 튜닝과 같은 분산 ML 워크로드는 전용 클러스터에서만 실행할 수 있었습니다. 전용 clusters는 효과적이긴 하지만 네이티브 세분화된 액세스 제어(FGAC)가 부족한 단일 ID(사용자 또는 그룹) 환경이어서 안전한 다중 사용자 협업에 제약이 있었습니다.

이번 릴리스를 통해 Databricks는 분산 ML 기능을 serverless 및 표준 클러스터링으로 확장하여, 팀이 기본 내장 보안 및 거버넌스로 machine learning 워크로드를 확장할 수 있도록 지원합니다.

이러한 향상된 기능은 Scikit-learn, XGBoost, LightGBM을 포함한 기존의 단일 노드 ML 지원을 보완하며, 모든 Databricks compute 옵션에 걸쳐 통합된 엔드투엔드 machine learning 환경을 제공합니다.

Databricks Compute에서 확장된 ML 기능

이제 Databricks 사용자는 다음을 포함하여 serverless 및 표준 클러스터 모두에서 분산 ML 워크로드를 실행할 수 있습니다.

• Apache Spark MLlib(Python) 을 사용한 분산 모델 훈련
• Optuna 로 대규모 하이퍼파라미터 튜닝을 수행하세요.
• MLflow Spark 를 사용한 Experiment 추적 및 관리
• Joblib Spark 를 사용하여 Scikit-learn, LightGBM 및 XGBoost 의 단일 노드 워크로드 분산

이러한 기능들이 함께 ML 환경을 통합하여 팀이 로컬 실험에서 분산형 프로덕션 워크로드까지 원활하게 확장할 수 있도록 지원합니다.

통합 compute 및 거버넌스

Spark Connect 를 기반으로 구축된 Databricks의 Lakeguard 기술은 세분화된 액세스 제어(FGAC) 및 다중 사용자 격리 기능으로 표준 및 serverless compute를 모두 지원합니다. 이를 통해 자체 clusters를 관리하든 serverless compute를 사용하든 관계없이 데이터와 워크로드가 동일한 거버넌스 레이어에서 보호되도록 보장할 수 있습니다.

주요 혜택은 다음과 같습니다.

• 통합 compute 환경: 표준 및 serverless compute 모두에서 분석 및 ETL 워크로드와 함께 분산 ML을 실행합니다.
• 안전한 다중 사용자 협업: 여러 사용자가 공유 환경 내에서 안전하게 격리된 동시 Spark 워크로드를 실행할 수 있습니다.
• 네이티브 FGAC 적용: 권한, 속성 기반 액세스 제어(ABAC), 행 필터, 열 마스크가 사용자별로 적용되어 기능 및 모델에 대한 보안 액세스를 보장합니다.

Spark 4에서 도입되고 이제 Databricks에 통합된 이러한 기능은 최신 데이터 팀을 위해 차세대 분산 machine learning을 제공합니다.

SAP의 제품 관리자인 Hozumi Nakamo는 다음과 같이 말했습니다.

"Databricks serverless compute에서 Apache Spark MLlib를 사용할 수 있게 되면서 SAP Databricks 고객은 인프라 문제 없이 machine learning을 확장하고 비즈니스 데이터에서 insight를 안전하고 효율적으로 쉽게 확보할 수 있습니다."

이는 Databricks serverless compute가 분산 ML을 간소화하여 고객이 인프라보다 인사이트에 더 집중할 수 있도록 하는 방법을 보여줍니다.

오픈 소스 커뮤니티와 함께 구축

이 중요한 성과는 Apache Spark의 오랜 기여자인 NVIDIA와의 협력을 포함하여 Databricks가 오픈 소스 커뮤니티와 지속적으로 협력해왔음을 보여줍니다. Databricks와 NVIDIA는 Spark 4 릴리스의 일환으로 함께 Spark ML을 Spark Connect로 확장하여, 분산 ML 워크로드가 표준 및 serverless compute 모두에서 효율적으로 실행되도록 했습니다.

NVIDIA의 GPU 소프트웨어 부문 부사장인 Andrew Feng은 다음과 같이 말했습니다.

"Spark Connect는 Spark 사용자를 위한 접근성과 도입 용이성의 새로운 시대를 열었습니다." NVIDIA는 7년 이상 오픈 소스 Spark 커뮤니티에서 활발히 활동해 왔습니다. Spark Connect에서 지원을 통해 Spark MLlib를 확장함으로써 기업은 이제 코드 변경 없이 손쉽게 엔드투엔드 GPU 가속을 달성하여 최대 9배의 획기적인 성능 향상을 제공하는 동시에 비용을 최대 80%까지 절감할 수 있습니다. 이것은 NVIDIA 내에서 채택했으며 기업이 전환하도록 지원한 아키텍처입니다. 데이터와 AI를 대규모로 활용하여 가능한 것의 의미를 재정의하고 있습니다."

NVIDIA 및 더 넓은 Spark 커뮤니티와의 이러한 협업을 통해 Databricks는 모든 기업이 분산 ML을 더욱 성능이 뛰어나고, 접근성이 높으며, 비용 효율적으로 사용할 수 있도록 계속 노력하고 있습니다.

시작하기

지금 바로 Databricks에서 분산 ML을 start하세요:

• On serverless compute: 환경 버전 4 이상을 사용하여 워크로드를 serverless compute에 연결하세요. 현재 이것은 CPU 및 GPU(베타)에서 실행할 수 있습니다.
• 표준 클러스터: Databricks Runtime 17.0 이상을 사용하고 평소처럼 워크로드를 실행하세요.

자세히 알아보기:

• Databricks에서 Apache Spark MLlib 사용
• Optuna 문서
• AWS, Azure, GCP용 Unity Catalog 가이드

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)