Mlflow administré

Capturez les entrées, les sorties et l'exécution pas à pas, y compris les prompts, les extractions et les appels d'outils, grâce au traçage open source et compatible avec OpenTelemetry de MLflow. Instrumentez automatiquement les bibliothèques GenAI populaires ou ingérez directement les traces. Déboguez et itérez plus rapidement grâce à des vues chronologiques interactives, des comparaisons côte à côte et l'absence de dépendance vis-à-vis d'un fournisseur.

Évaluez les agents GenAI à l'aide de LLM-as-a-judge et des retours humains, directement dans l'interface utilisateur de MLflow. Créez des datasets à partir des traces de production, comparez les résultats entre les versions et évaluez la qualité à l'aide de métriques prédéfinies ou personnalisées telles que l'hallucination ou la pertinence. Intégrez les retours d'experts via des interfaces utilisateur web ou des APIs d'application pour vous aligner sur le jugement humain et améliorer continuellement les résultats.

Gérez les versions des prompts, des agents et du code d'application en un seul endroit avec MLflow. Link les traces, les évaluations et les données de performance à des versions spécifiques pour un lignage complet du cycle de vie. Réutilisez et comparez les prompts entre les workflows, gérez les versions des agents avec les métriques et les paramètres associés, et intégrez avec Git et CI/CD pour accélérer les itérations gouvernées.

Surveillez la qualité de la GenAI en temps réel avec les tableaux de bord de MLflow, les explorateurs de traces et les alertes automatisées. Suivez les problèmes tels que les fuites de PII, les pics de latence ou les réponses non pertinentes à l'aide des évaluations LLM-judge et de métriques personnalisées. Configurez les évaluations en ligne et agissez rapidement, avant que les utilisateurs ne soient affectés.

Suivez automatiquement les paramètres, les métriques, les artefacts et les modèles de n'importe quel framework de ML ou de deep learning. MLflow vous offre une piste d'audit complète et prend en charge des comparaisons approfondies entre les architectures, les points de contrôle et les workflows d'entraînement, à grande échelle.
 

Enregistrez automatiquement les métriques intégrées et personnalisées pour des tâches telles que la classification ou la régression. Comparez les résultats par rapport à des références, enregistrez des artefacts comme les courbes ROC et validez les modèles sur de nouveaux jeux de données avant leur mise en production.

Découvrez, partagez et gérez les modèles de manière centralisée avec le MLflow Model Registry, intégré à Unity Catalog pour une gouvernance de bout en bout. Suivez l'état du déploiement et collaborez entre les équipes avec une visibilité complète sur les performances des modèles dans tous les environnements.

Déployez des modèles avec un format de packaging reproductible qui inclut l'ensemble du code, des dépendances et des poids. Servez-les en tant qu'API REST ou exécutez des inférences par batch à haut throughput avec ai_query, optimisé pour le CPU et le GPU via Databricks Model Serving.