MLflow administrado

Captura entradas, salidas y el paso a paso de las ejecuciones, incluidas las indicaciones, recuperaciones y llamadas a herramientas, con el seguimiento de MLFlow, de código abierto y compatible con OpenTelemetry. Instrumenta automáticamente las bibliotecas populares de IA generativas o ingiere los seguimientos directamente. Depura e itera más rápido con vistas de línea de tiempo interactivas, comparaciones lado a lado y cero dependencia de proveedores.

Evalúa a los agentes de IA generativa utilizando un LLM juez e informes de humanos directamente en la interfaz de usuario de MLflow. Crea conjuntos de datos a partir de seguimientos de producción, compara los resultados entre versiones y evalúa la calidad con métricas predefinidas o personalizadas, como alucinación o relevancia. Incorpora informes de expertos a través de interfaces de usuario web o API de aplicaciones para ajustarte al criterio humano y mejorar continuamente los resultados.

Haz versiones de las indicaciones, los agentes y el código de aplicaciones en un solo lugar con MLflow. Vincula seguimientos, evaluaciones y datos de rendimiento a versiones específicas para obtener un linaje de ciclo de vida completo. Reutiliza y compara indicaciones entre flujos de trabajo, administra versiones de agentes con métricas y parámetros asociados, e intégrate con Git y CI/CD para acelerar la iteración gobernada.

Monitorea la calidad de la IA generativa en tiempo real con los paneles de control, los exploradores de seguimiento y las alertas automatizadas de MLflow. Haz un seguimiento de problemas como fugas de información de identificación personal, picos de latencia o respuestas poco útiles mediante evaluaciones de un LLM juez y métricas personalizadas. Configura evaluaciones en línea y actúa rápidamente antes de que los usuarios se vean afectados.

Haz un seguimiento automático de parámetros, métricas, artefactos y modelos de cualquier marco de aprendizaje automático o aprendizaje profundo. MLflow te proporciona un registro de auditoría completo y admite comparaciones profundas a escala entre arquitecturas, puntos de control y flujos de trabajo de entrenamiento.
 

Registra automáticamente métricas integradas y personalizadas para tareas como la clasificación o la regresión. Compara los resultados con líneas de base, registra artefactos como las curvas ROC y valida los modelos en nuevos conjuntos de datos antes de que lleguen a producción.

Descubre, comparte y administra modelos de forma centralizada con MLflow Model Registry, integrado con Unity Catalog para una gobernanza integral. Haz un seguimiento del estado de las implementaciones y colabora con otros equipos con una visibilidad completa del rendimiento del modelo en todos los entornos.

Implementa los modelos con un formato de empaquetado reproducible que incluya todo el código, las dependencias y las ponderaciones. Úsalos como API de REST o ejecuta inferencias por lotes de gran capacidad con la función ai_query, optimizada tanto para CPU como para GPU a través de Mosaic AI Model Serving.