Managed MLFlow

Managed MLflow su Databricks offre tracciamento degli esperimenti, osservabilità, valutazione delle prestazioni e gestione dei modelli per l'intero spettro di machine learning e AI, dai modelli classici e dal deep learning alle applicazioni e agli agenti di AI generativa, il tutto in modo nativo nella Databricks Data + AI Platform. È stato sviluppato basandosi su MLflow open source e rafforzato con affidabilità, sicurezza e scalabilità di livello enterprise. Le funzionalità principali includono il tracciamento di esperimenti, la valutazione di modelli per ML e DL, un Model Registry integrato con Unity Catalog e la distribuzione su larga scala tramite Databricks Model Serving.

Managed MLflow è progettato per team di data science, ML engineering e sviluppo AI che devono monitorare, valutare e governare ogni cosa, dai modelli ML e deep learning classici agli agenti e applicazioni di AI generativa in un unico flusso di lavoro. È pensato per le aziende che desiderano AI e risorse di dati governate e protette utilizzando gli strumenti, i framework e i linguaggi che preferiscono in tutto l'ecosistema AI e ML. Poiché unifica il monitoraggio degli esperimenti, la gestione dei prompt e il packaging in un unico flusso di lavoro, è adatto alle organizzazioni che altrimenti dovrebbero mettere insieme strumenti separati per lo sviluppo classico di ML e GenAI.

Managed MLflow fornisce le stesse API aperte di MLflow, ossia tracciamento, valutazione e Model Registry, ma sostituisce il server di tracciamento self-hosted con uno completamente gestito e aggiunge funzionalità che, come indicato nella tabella di confronto, sono esclusive del prodotto gestito, come il monitoraggio della produzione, le dashboard di osservabilità personalizzabili, l'elevata disponibilità e gli aggiornamenti automatici. Si integra inoltre in modo nativo con Unity Catalog per la governance aziendale, i flussi di lavoro di approvazione basati sui ruoli e le integrazioni di flussi di lavoro CI/CD per modelli e agenti. Poiché è basato su MLflow open source, con oltre 800 contributori della community, più di 25 milioni di pacchetti scaricati al mese e oltre 5.000 organizzazioni che lo usano, è possibile mantenere la massima flessibilità per framework e linguaggi e ottenere un'esperienza completamente gestita.

Il tracciamento degli agenti è il processo di acquisizione di ogni passaggio che un agente AI compie durante l'esecuzione, come input, output, chiamate agli strumenti, recupero e prompt LLM, per offrire agli sviluppatori un quadro completo del comportamento dell'agente. In Managed MLflow, il tracciamento usa una base compatibile con OpenTelemetry, pertanto ogni interazione viene registrata con la massima fedeltà e senza vincoli di fornitore.

L'osservabilità degli agenti AI è la capacità di monitorare, valutare e comprendere in maniera continua il comportamento degli agenti AI in condizioni reali, non solo durante lo sviluppo. Comprende il tracciamento delle singole esecuzioni, il monitoraggio delle metriche di qualità nel tempo, il rilevamento di problemi quali perdite di informazioni personali o allucinazioni e la risposta al degrado delle prestazioni prima che influisca sugli utenti.

La maggior parte degli strumenti di tracciamento autonomi richiede infrastrutture separate, manca di funzionalità di valutazione native e crea silos di dati scollegati dal registro dei modelli e dalla pipeline di distribuzione. MLflow Tracing si differenzia per la sua base open source (eliminando il vincolo di fornitore), la sua stretta integrazione con il monitoraggio degli esperimenti, il controllo delle versioni dei prompt e la valutazione tramite giudice LLM, nonché la sua capacità di eseguire query sui dati di tracciamento con SQL e Databricks AI/BI, rendendola non solo una soluzione di tracciamento, ma anche una piattaforma di osservabilità completa per l'intero ciclo di vita AI e ML.

Per progettazione, le tracce degli agenti contengono informazioni sensibili, dal momento che acquisiscono input grezzi, documenti recuperati, parametri di chiamata agli strumenti e output dei modelli, che possono includere informazioni personali, dati proprietari o contesto aziendale riservato. Uno strumento di tracciamento pronto per la produzione deve applicare controlli di accesso basati sui ruoli sui dati di tracciamento, supportare i requisiti di residenza dei dati e integrarsi con il framework di governance più ampio. Managed MLflow risolve questo problema attraverso l'integrazione nativa di Unity Catalog, che fornisce controlli di accesso granulari e dettagliati, un tracciamento completo dei dati e una registrazione di audit su tutti i dati delle tracce, facendo sì che l'osservabilità non vada a scapito della conformità.

Puoi provare Databricks gratuitamente per iniziare a utilizzare Managed MLflow oppure richiedere una demo al team Databricks se desideri prima un percorso guidato. Dopo aver effettuato l'accesso alla piattaforma, la Guida introduttiva e la documentazione sulla GenAI e sul machine learning di Managed MLflow illustrano come configurare il tracciamento degli esperimenti, le tracce e il Model Registry. Questa pagina non riporta i prezzi specifici o i livelli di piano, pertanto è consigliabile confermare i dettagli dei costi in fase di registrazione alla prova gratuita o discutendone con Databricks.