Managed MLflow

Erfassen Sie Eingaben, Ausgaben und die schrittweise Ausführung – einschließlich Prompts, Abrufe und Tool-Aufrufe – mit dem Open-Source- und OpenTelemetry-kompatiblen Tracing von MLflow. Instrumentieren Sie automatisch gängige GenAI-Bibliotheken oder nehmen Sie Traces direkt auf. Debuggen und iterieren Sie schneller mit interaktiven Zeitleistenansichten, Side-by-Side-Vergleichen und ohne Anbieterbindung.

Evaluieren Sie GenAI -Agenten mit LLM-as-a-Judge und menschlichem Feedback – direkt in der MLflow-Benutzeroberfläche. Erstellen Sie Datensätze aus Produktions-Traces, vergleichen Sie Ausgaben verschiedener Versionen und bewerten Sie die Qualität mit vordefinierten oder benutzerdefinierten Metriken wie Halluzination oder Relevanz. Integrieren Sie Expertenfeedback über Web-UIs oder APIs, um die Ergebnisse an das menschliche Urteilsvermögen anzupassen und kontinuierlich zu verbessern.

Versionsaufforderungen, Agenten und Anwendungscode an einem Ort mit MLflow. Link Traces, Bewertungen und Leistungsdaten mit spezifischen Versionen für die vollständige Lebenszyklus-Abstammung. Wiederverwenden und vergleichen Sie Prompts über Workflows hinweg, verwalten Sie Agentenversionen mit zugehörigen Metriken und Parametern und integrieren Sie sie mit Git und CI/CD, um die regulierte Iteration zu beschleunigen.

Überwachen Sie die GenAI-Qualität in Echtzeit mit den Dashboards von MLflow, Trace-Explorern und automatisierten Warnmeldungen. Verfolgen Sie Probleme wie PII-Leckagen, Latenzspitzen oder nicht hilfreiche Antworten mithilfe von LLM-Judge-Evaluierungen und benutzerdefinierten Metriken. Konfigurieren Sie Online-Auswertungen und handeln Sie schnell – bevor Benutzer betroffen sind.

Parameter, Metriken, Artefakte und Modelle aus jedem ML- oder Deep-Learning-Framework automatisch verfolgen. MLflow bietet Ihnen einen vollständigen Audit-Trail und unterstützt detaillierte Vergleiche über Architekturen, Checkpoints und Trainings-Workflows hinweg – in großem Maßstab.
 

Protokollieren Sie automatisch integrierte und benutzerdefinierte Metriken für Aufgaben wie Klassifizierung oder Regression. Vergleichen Sie Ergebnisse mit Baselines, Logs Artefakte wie ROC-Kurven und validieren Sie Modelle mit neuen Datensätzen – bevor sie in Produktion gehen.

Entdecken, teilen und verwalten Sie Modelle zentral mit der MLflow Model Registry – integriert in Unity Catalog für eine durchgängige Governance. Verfolgen Sie den Bereitstellungsstatus und arbeiten Sie teamübergreifend zusammen – mit voller Transparenz über die Modell-Performance in allen Umgebungen.

Stellen Sie Modelle mit einem reproduzierbaren Paketformat bereit, das den gesamten Code, alle Abhängigkeiten und Gewichtungen enthält. Stellen Sie sie als REST-APIs bereit, oder führen Sie Batch-Inferenzen mit hohem Durchsatz mit ai_query aus – optimiert für CPU und GPU über Databricks Model Serving.