MLflow gerenciado
Gerencie nativamente modelos, agentes e aplicativos de IA com o MLflow na Databricks
O que é o Managed MLflow?
O Managed MLflow na Databricks oferece rastreamento, observabilidade, avaliação de desempenho e gerenciamento de modelos de última geração para todo o espectro de machine learning e IA, desde modelos clássicos e deep learning até aplicativos e agentes de IA generativa, tudo nativamente dentro da Databricks Data + AI Platform. O MLflow gerenciado é construído sobre a base flexível do MLflow de código aberto e reforçado com confiabilidade, segurança e escalabilidade de nível empresarial. Isso permite que as empresas criem com confiança modelos e agentes de alta qualidade usando suas ferramentas preferidas em todo o ecossistema de IA e ML, garantindo ao mesmo tempo que seus ativos de IA e dados sejam governados e protegidos.
Benefícios do Managed MLflow
Ciclo de vida unificado de ML e IA generativa
O Managed MLflow unifica o desenvolvimento de ML clássico, deep learning e IA generativa em um único fluxo de trabalho simplificado. Do acompanhamento do experimento à implantação, ele oferece controle de versões, gerenciamento de prompts e empacotamento consistentes entre modelos e agentes, eliminando a necessidade de unir ferramentas separadas.
Baseado em MLflow de código aberto
Evite o bloqueio de fornecedores e mantenha total flexibilidade em toda a sua pilha. Construído com base no MLflow de código aberto — com mais de 800 contribuidores da comunidade, mais de 25 milhões de downloads mensais de pacotes e a confiança de mais de 5.000 organizações em todo o mundo — o Managed MLflow oferece suporte contínuo à sua escolha de estruturas, linguagens e ferramentas. Você tem toda a liberdade e confiabilidade do código aberto, além da simplicidade de uma experiência totalmente gerenciada.
Observabilidade e governança de nível empresarial
Profundamente integrado à plataforma Databricks, o Managed MLflow oferece rastreabilidade total, monitoramento em tempo real e governança unificada em todos os seus fluxos de trabalho de IA. Com o Unity Catalog, você pode aplicar automaticamente controles de acesso, controlar a linhagem e garantir a conformidade entre seus modelos, dados e agentes.
Análise de desempenho do desenvolvimento à produção
Analise, compare e visualize o desempenho entre desenvolvimento, preparação e produção, tudo em um único lugar. Com o modelo de dados unificado do MLflow e a integração com o Databricks AI/BI e SQL, os cientistas de dados podem descobrir tendências, identificar regressões e impulsionar o impacto nos negócios usando a mesma plataforma que usam para construir e implantar.
Novos recursos de IA generativa no Managed MLflow
Rastreamento
Capture entradas, saídas e execução passo a passo, incluindo prompts, recuperações e chamadas de ferramentas, com o rastreamento de código aberto do MLflow e compatível com OpenTelemetry. Instrumente automaticamente bibliotecas populares do GenAI ou faça ingestão de rastreamentos diretamente. Depuração e iteração mais rapidamente com visualizações interativas de linha do tempo, comparações lado a lado e sem dependência de provedores.
Avaliação de IA generativa
Avalie agentes de GenAI usando o LLM como juiz e feedback humano diretamente na interface do usuário do MLflow. Crie conjuntos de dados a partir de rastreamentos de produção, compare saídas entre versões e avalie a qualidade com métricas pré-criadas ou personalizadas, como alucinação ou relevância. Incorpore feedback de especialistas por meio de interfaces de usuário da Web ou APIs de aplicativos para se alinhar ao julgamento humano e melhorar continuamente os resultados.
Registro de prompts e controle de versões do agente
Crie versões de prompts, agentes e código de aplicação em um só lugar com o MLflow. Vincule rastreamentos, avaliações e dados de desempenho a versões específicas para obter uma linhagem completa do ciclo de vida. Reutilize e compare prompts entre fluxos de trabalho, gerencie versões de agentes com métricas e parâmetros associados e faça a integração com Git e CI/CD para acelerar a iteração governada.
Monitoramento e alerta de IA generativa
Monitore a qualidade da IA generativa em tempo real com os painéis, exploradores de rastreamento e alertas automatizados do MLflow. Acompanhe problemas como vazamento de PII, picos de latência ou respostas inúteis usando avaliações de juízes de LLM e métricas personalizadas. Configure avaliações online e aja rapidamente antes que os usuários sejam afetados.
Principais recursos gerenciados de MLflow
Acompanhamento de experiments
Rastreie automaticamente parâmetros, métricas, artefatos e modelos de qualquer estrutura de ML ou deep learning. O MLflow oferece uma trilha de auditoria completa e oferece suporte a comparações profundas entre arquiteturas, checkpoints e fluxos de trabalho de treinamento — em escala.
Avaliação de modelos para ML e DL
Registre automaticamente métricas integradas e personalizadas para tarefas como classificação ou regressão. Compare os resultados com as linhas de base, registre artefatos, como curvas ROC e valide modelos em novos conjuntos de dados antes que eles cheguem à produção.
Gerenciamento e governança de modelos sem esforço
Descubra, compartilhe e gerencie modelos de forma centralizada com o MLflow Model Registry, integrado ao Unity Catalog para obter governança completa. Acompanhe o status da implantação e colabore entre as equipes com total visibilidade do desempenho do modelo em todos os ambientes
Implantação em escala
Implemente modelos com um formato de empacotamento reprodutível que inclua todo o código, dependências e pesos. Disponibilize-os como APIs REST ou execute inferência em batch de alto throughput com ai_query, otimizado para CPU e GPU por meio do Databricks Model Serving.
Veja nossas notícias de produtos do Azure Databricks e da AWS para conhecer nossos recursos mais recentes.
MLflow de código aberto versus MLflow gerenciado na Databricks
MLflow de código aberto | MLflow gerenciado na Databricks | |
|---|---|---|
Rastreamento e observabilidade de IA | ||
Rastreamento de APIs | ||
Integração com depuração de notebooks | ||
Rastreamento para aplicativos de produção | ||
Painéis de observabilidade personalizáveis | ||
Consultar dados de rastreamento com SQL e ferramentas de IA/BI | ||
Monitoramento da produção | ||
Avaliação de IA generativa | ||
APIs de avaliação | ||
UI e APIs de feedback humano | ||
Juízes de LLM de alta qualidade | ||
Conjuntos de dados de avaliação versionados | ||
Gerenciamento de prompts | ||
MLflow Prompt Registry | ||
Interface do editor de prompts | ||
Acompanhamento de experimentos | ||
API MLflow Tracking | ||
Painéis avançados de desempenho e comparação | ||
Consultar dados de experimentos com SQL e ferramentas de IA/BI | ||
Servidor de rastreamento do MLflow | Hosting interno | Totalmente gerenciado |
Integração de notebooks | ||
Integração de fluxos de trabalho | ||
Gerenciamento de modelos | ||
MLflow Model Registry | ||
Controle de versões de modelos | ||
Workflows de aprovação baseados em função | ||
Integrações de fluxos de trabalho CI/CD | ||
Implementação flexível | ||
Empacotamento de modelos | ||
Inferência em lote em grande escala | ||
Implementação em tempo real de baixa latência | ||
Análise de streaming integrada | ||
Segurança e gerenciamento | ||
Governança empresarial | ||
Alta disponibilidade | ||
Atualizações automatizadas |
Recursos gerenciados de MLflow
Documentação gerenciada do MLflow
Tutoriais de MLflow gerenciado
Blogs de MLflow gerenciados
Vídeos do Managed MLflow
E-books do Managed MLflow
Webinars de MLflow gerenciado
Perguntas Frequentes
Tudo pronto para começar?