관리형 MLFlow

MLflow의 오픈 소스 OpenTelemetry 호환 추적 을 사용하여 프롬프트, 검색, 도구 호출을 포함한 입력, 출력 및 단계별 실행을 캡처하세요. 널리 사용되는 GenAI 라이브러리를 자동으로 계측하거나 추적을 직접 수집하세요. 대화형 타임라인 뷰, 병렬 비교, 벤더 종속성 제로를 통해 더 빠르게 디버깅하고 반복하세요.

LLM 기반 심사와 인간 피드백을 사용하여 MLflow UI에서 바로 GenAI 에이전트를 평가 하세요. 프로덕션 추적에서 데이터세트를 구축하고, 버전별로 결과를 비교하며, 환각이나 관련성과 같은 사전 빌드된 또는 맞춤형 메트릭으로 품질을 평가하세요. 웹 UI 또는 앱 API를 통해 전문가 피드백을 통합하여 인간의 판단에 맞추고 지속적으로 결과를 개선하세요.

MLflow를 사용하여 프롬프트, 에이전트, 애플리케이션 코드의 버전을 한 곳에서 관리하세요. 전체 수명 주기 리니지를 위해 트레이스, 평가, 성능 데이터를 특정 버전에 Link하세요. 워크플로 전반에서 프롬프트를 재사용하고 비교하며, 관련 메트릭 및 매개변수를 사용하여 에이전트 버전을 관리하고, Git 및 CI/CD와 통합하여 거버넌스가 적용된 반복 작업을 가속화하세요.

MLFlow의 대시보드, 트레이스 탐색기, 자동 경보로 GenAI 품질을 실시간으로 모니터링해요. LLM-Judge 평가와 사용자 지정 지표를 사용하여 PII 유출, 지연 스파이크 또는 도움이 되지 않는 응답 같은 문제를 추적하세요. 온라인 평가를 구성하고 사용자에게 영향을 미치기 전에 신속하게 조치를 취하십시오.

모든 ML 또는 딥러닝 프레임워크의 파라미터, 메트릭, 아티팩트, 모델을 자동으로 추적 합니다. MLflow는 완전한 감사 추적을 제공하고 아키텍처, 체크포인트, 훈련 워크플로 전반에 걸친 심층 비교를 대규모로 지원합니다.
 

분류 또는 회귀와 같은 작업에 대한 기본 내장 및 맞춤 측정항목을 자동으로 기록합니다. 결과를 기준선과 비교 하고 ROC 곡선과 같은 아티팩트를 기록하며, 프로덕션에 배포되기 전에 새 데이터 세트에서 모델을 검증하세요.

엔드 투 엔드 거버넌스를 위해 Unity Catalog와 통합된 MLflow 모델 레지스트리를 사용하여 중앙에서 모델을 검색, 공유, 관리하세요. 배포 상태를 추적하고, 다양한 환경에서 모델 성능을 완벽하게 파악하여 팀 간 협업을 강화하세요.

모든 코드, 종속성, 가중치를 포함하는 재현 가능한 패키징 형식으로 모델을 배포하세요. Databricks 모델 서빙을 통해 REST API로 제공하거나 CPU와 GPU 모두에 최적화된 ai_query로 처리량이 많은 배치 추론을 실행하세요.