주요 컨텐츠로 이동

관리형 MLFlow

더 나은 모델과 생성형 AI 앱 구축

관리형 MLFlow란?

관리되는 MLflow 은 MLflow의 기능을 확장한 오픈 소스 플랫폼으로, 기업 안정성, 보안 및 확장성에 중점을 두고 더 나은 모델과 생성형 AI 앱을 구축하기 위해 Databricks 에서 개발했습니다. MLflow의 최신 업데이트에는 대규모 언어 모델(LLM)을 관리하고 배포하는 기능을 강화하는 혁신적인 GenAI 및 LLMOps 기능이 도입되었습니다. 확장된 LLM 지원은 산업 표준 LLM 도구인 OpenAI 및 Hugging Face Transformers, 그리고 MLflow 배포 서버와의 새로운 통합을 통해 이루어집니다. 또한 MLflow와 LLM 프레임워크(예: LangChain)의 통합을 통해 챗봇, 문서 요약, 텍스트 분류, 감정 분석 등 다양한 사용 사례를 위한 생성형 AI 애플리케이션을 만들기 위한 모델 개발을 간소화할 수 있습니다.

장점

model development

모델 개발

프로덕션 지원 모델을 위한 표준화된 프레임워크로 머신 러닝 수명 주기 관리를 개선하고 신속하게 진행하세요. 관리형 MLflow 레시피를 사용하면 원활한 ML 프로젝트 부트스트랩, 신속한 반복 및 대규모 모델 배포가 가능합니다. 챗봇, 문서 요약, 감정 분석 및 분류와 같은 애플리케이션을 손쉽게 제작할 수 있습니다. , 및 OpenAI와 원활하게 통합되는 의 MLflow LLM 제품을 사용하여 생성형 AI 앱(예: 챗봇, 문서 요약)을 쉽게 개발할 수 있습니다.LangChainHugging Face

Deploy a model for a batch interface

Experiment 추적

ML 라이브러리, 프레임워크 또는 언어로 실험을 실행하고 각 Experiment 에서 매개변수, 메트릭, 코드 및 모델을 자동으로 추적합니다. MLflow Databricks Experiment 에서 을 사용하면 Databricks 워크스페이스 및 노트북과의 기본 내장 통합 덕분에 결과를 해당 아티팩트 및 코드 버전과 함께 안전하게 공유, 관리 및 비교할 수 있습니다. 또한 MLflow 평가 기능을 통해 GenAI 실험의 결과를 평가하고 품질을 개선할 수 있습니다.

model development

모델 관리

하나의 중앙 집중된 위치에서 ML 모델을 검색 및 공유하고, Experiment에서 온라인 테스트 및 프로덕션으로 이동하는 데 협력하고, 승인 및 거버넌스 워크플로 및 CI/CD 파이프라인과 통합하고, ML 배포 및 성능을 모니터링할 수 있습니다. MLflow 모델 레지스트리는 전문 지식의 공유를 촉진하고 빈틈없는 관리를 지원합니다.

model development

모델 배포

Docker 컨테이너, Azure ML 또는 Amazon SageMaker와의 기본 통합을 사용하여 Apache Spark™ 또는 REST API로의 배치 추론을 위한 프로덕션 모델을 빠르게 배포합니다. Databricks 기반의 관리형 MLflow에서는 Databricks 작업 스케줄러 및 자동 관리형 클러스터를 사용하여 프로덕션 모델을 운용하고 모니터링하여 비즈니스 요구 사항에 따라 확장할 수 있습니다.

MLflow의 최신 업그레이드는 GenAI 애플리케이션을 원활하게 패키지화하여 배포할 수 있도록 지원합니다. 이제 Databricks Model Serving을 사용하여 문서 요약, 감정 분석 및 분류와 같은 챗봇 및 기타 GenAI 애플리케이션을 대규모로 배포할 수 있습니다.

기능

icon-orange-Data-Parser-Normalizer-ETL-ELT

MLflow 추적

MLflow 추적: Python, REST, R API, Java API를 사용하여 각 실행에 대한 매개변수, 코드 버전, 지표 및 아티팩트를 자동으로 기록합니다.

생성 AI 개발: 모델 개발을 간소화하여 챗봇, 문서 요약, 감정 분석 및 분류와 같은 다양한 사용 사례를 위한 GenAI 애플리케이션을 구축하세요. MLflow의 배포 서버 및 평가 UI를 통해 빠른 프로토타이핑 및 반복을 위한 원활한 UI와 LangChain과의 기본 통합이 지원되므로 모델 개발을 간소화할 수 있습니다.

MLflow 추적 서버: 기본 제공되는 추적 서버로 빠르게 시작하여 모든 실행과 Experiment를 한 곳에 기록합니다. Databricks에는 구성이 필요하지 않습니다.

Experiment 관리: 액세스 제어 및 검색 쿼리를 사용하여 워크스페이스 내에서 실험을 생성, 보호, 구성, 검색 및 시각화할 수 있습니다.

mlflow 실행 사이드바: 노트북 내에서 자동으로 실행을 추적하고 각 실행에 대해 노트북의 스냅샷을 캡처하여 언제든지 이전 버전의 코드로 돌아갈 수 있습니다.

실행으로 데이터 로깅: 로컬 파일, SQLAlchemy 호환 데이터베이스 또는 추적 서버에 대한 원격 실행으로 매개변수, 데이터 세트, 지표, 아티팩트 등을 기록합니다.

Delta Lake 통합: 모델에 Delta Lake 스냅샷을 제공한 대규모 데이터 세트를 추적합니다.

아티팩트 저장소: Amazon S3, Azure Blob Storage, Google Cloud Storage, SFTP 서버, NFS, 로컬 파일 경로에 S3 버킷, 공유 NFS 파일 시스템, 모델과 같은 대용량 파일을 저장합니다.

icon connectors

MLflow 모델

MLflow 모델: 다양한 다운스트림 도구(예: REST API를 통한 실시간 서비스 제공 또는 Apache Spark의 배치 추론)에서 사용할 수 있는 머신 러닝 모델을 패키징하기 위한 표준 형식입니다.

모델 커스터마이제이션: MLflow의 기본 제공 버전에서 명시적으로 지원되지 않는 ML 라이브러리의 모델에 대해 맞춤형 Python 모델맞춤형 버전을 사용합니다.

기본 내장 모델 맛: MLflow 는 Python 및 R 함수, Hugging Face, OpenAI 및 LangChain, PyTorch, Spark MLlib, TensorFlow 및 ONNX와 같이 애플리케이션에 유용할 수 있는 몇 가지 표준 맛을 제공합니다.

기본 제공 배포 도구: 로컬 머신용 Apache Spark UDF 또는 Microsoft Azure ML, Amazon SageMaker 및 배포용 Docker 이미지 빌드와 같이 기타 여러 프로덕션 환경을 통해 Databricks에 빠르게 배포합니다.

icon-orange-Join-Hints

MLflow 모델 레지스트리

중앙 리포지토리: MLflow 모델을 MLflow Model Registry. 등록된 모델에는 고유한 이름, 버전, 스테이지 및 기타 메타데이터가 있습니다.

모델 버전 관리: 업데이트 시 등록된 모델의 버전을 자동으로 추적합니다.

모델 단계: 모델의 수명 주기를 나타내는 "단계" 및 "프로덕션" 등의 각 모델 버전에 사전 설정 또는 맞춤형 단계를 할당합니다.

CI/CD 워크플로 통합: 효과적인 제어 및 거버넌스를 위해 CI/CD 파이프라인의 일부로 단계 전환, 요청, 검토 및 승인 변경을 기록합니다.

모델 단계 전환: 새로운 등록 이벤트 또는 변경 사항을 사용자, 변경 및 댓글과 같은 추가 메타데이터를 자동으로 기록하는 활동으로 기록합니다.

icon

MLflow 배포 서버

LLM에 대한 액세스를 관리합니다: SaaS LLM 자격 증명 관리.

비용 관리: 요금 한도를 설정합니다.

표준 규격 LLM 상호작용: Experiment 다양한 OSS와 함께/SaaS 완성, 채팅, 임베딩 등 다양한 작업을 위한 표준 입력/출력 인터페이스를 갖춘 LLM.

Predictive maintenance

MLflow 프로젝트

MLflow 프로젝트: MLflow 프로젝트를 사용하면 코드를 실행하는 데 사용되는 소프트웨어 환경을 지정할 수 있습니다. MLflow는 현재 Conda 환경, Docker 컨테이너 환경 및 시스템 환경 등의 프로젝트 환경을 지원합니다. 모든 Git 리포지토리 또는 로컬 디렉터리를 MLflow 프로젝트로 처리할 수 있습니다.

원격 실행 모드: Databricks CLI를 사용하여 Databricks 클러스터에 원격으로 Git 또는 로컬 소스에서 MLflow 프로젝트를 실행하여 코드를 빠르게 확장합니다.

mlflow recipes

MLflow 레시피

프로젝트 시작 간소화: MLflow 레시피는 ML 모델의 구축 및 배포에 바로 사용할 수 있는 연결된 컴포넌트를 제공합니다.

모델 반복 가속화: MLflow 레시피는 모델 반복을 위한 표준화되고 재사용 가능한 단계를 생성하여 프로세스를 가속화하고 비용을 줄여 줍니다.

팀 핸드오프 자동화: 독자적인 구조로 모듈화된 프로덕션 지원 코드를 제공하므로 Experiment에서 프로덕션으로 핸드오프를 자동화합니다.

최신 기능에 대한 자세한 내용은 Azure Databricks 및 AWS의 제품 뉴스를 참조하세요.

MLflow 제품 비교

Open Source MLflow

Managed MLflow on Databricks

Experiment 추적

MLflow 추적 API

MLflow 추적 서버

자체 호스팅

완전 관리형

노트북 통합

워크플로 통합

재현 가능한 프로젝트

MLflow 프로젝트

Git 및 Conda 통합

프로젝트 실행을 위한 확장 가능한 클라우드/클러스터

모델 관리

MLflow 모델 레지스트리

모델 버전 관리

ACL 기반 단계 전환

CI/CD 워크플로 통합

유연한 배포

기본 내장 배치 추론

MLflow 모델

기본 내장 스트리밍 분석

보안 및 관리

고가용성

자동 업데이트

역할 기반 액세스 제어

작동 방식

MLflow는 전체 머신 러닝 워크플로에서 모든 ML 프레임워크와 함께 사용할 수 있는 경량 API 및 사용자 인터페이스 세트로, MLflow 추적, MLflow 프로젝트, MLflow 모델, MLflow 모델 레지스트리의 4가지 컴포넌트로 구성되어 있습니다.

MLflow 자세히 알아보기

managed mlflow
MLflow 추적

실험 기록 및 쿼리: 코드, 데이터, 구성 및 결과.

자세히
managed mlflow
MLflow 프로젝트

모든 플랫폼에서 실행을 재현할 수 있는 패키징 형식입니다.

자세히
managed mlflow
MLflow 모델

모델을 다양한 배포 도구로 보내기 위한 일반 형식입니다.

자세히
managed mlflow
MLflow 모델 레지스트리

전체 수명 주기 동안 MLflow 모델을 공동으로 관리하기 위한 중앙 집중식 리포지토리입니다.

자세히

Databricks의 관리형 MLflow

MLflow Databricks 의 관리형 은 의 완전 관리형 MLflow Experiment Databricks 버전으로,Databricks 데이터 인텔리전스 플랫폼의 안정성, 보안성, 확장성을 바탕으로 노트북, 작업 및 데이터 저장소에 걸쳐 재현성 및 관리 기능을 실무자에게 제공합니다.

문서 읽기

Log Your First Run as an Experiment MLflow

리소스