Passa al contenuto principale

Model Serving

Implementazione e governance unificate per tutti i modelli AI

illustration-nodes-1-gray
video thumb

Introduzione

Databricks Model Serving è un servizio unificato per implementare, gestire, interrogare e monitorare modelli ottimizzati o preinstallati di Databricks, come Llama 2, MosaicML MPT o BGE, oppure di altri fornitori, come Azure OpenAI, AWS Bedrock, AWS SageMaker e Anthropic. Il nostro approccio unificato agevola la sperimentazione e la produzionalizzazione di modelli provenienti da qualsiasi cloud o fornitore, individuando il miglior candidato per ogni applicazione in tempo reale. Si possono eseguire test A/B d diversi modelli e, una volta implementati, monitorarne la qualità su dati di produzione in tempo reale. Model Serving dispone anche di modelli preinstallati come Llama2 70B, che ti permettono di iniziare subito a sviluppare applicazioni come la generazione aumentata (RAG o Retrieval Augmented Generation) e ti forniscono un accesso a pagamento (pay-per-token) o una capacità di calcolo a pagamento (pay-for-provisioned) per garantirti la produttività necessaria.

Citazioni dei clienti

Simplified deployment

Implementazione semplificata per tutti i modelli AI

Implementa qualsiasi tipo di modello, dai modelli open-source preaddestrati ai modelli personalizzati costruiti con i tuoi dati, su CPU e GPU. La creazione di container e la gestione dell'infrastruttura automatizzate riducono i costi di manutenzione e velocizzazione la distribuzione, consentendo di concentrare l'attenzione sulla costruzione dei progetti di AI e sulla creazione di valore aggiunto per l'attività in tempi più rapidi.

Simplified deployment

Gestione unificata per tutti i modelli

Gestisci tutti i modelli, inclusi modelli ML personalizzati come PyFunc, scikit-learn e LangChain, modelli di base (Foundation Model) su Databricks come Llama 2, MPT e BGE, e modelli di base ospitati altrove come ChatGPT, Claude 2, Cohere e Stable Diffusion. Model Serving rende tutti i modelli accessibili attraverso un'interfaccia utente unificata e API, inclusi i modelli ospitati da Databricks o da altri fornitori su Azure e AWS.

Simplified deployment

Governance integrata

Rispetta tutti requisiti di sicurezza e governance grazie alla possibilità di attivare permessi idonei, monitorare la qualità dei modelli, definire limiti di velocità e tracciare la provenienza di tutti i modelli ospitati su Databricks o su qualsiasi altro provider.

Unified with Lakehouse data

Modelli incentrati sui dati

Accelera le implementazioni e riduci gli errori grazie alla stretta integrazione con la Data Intelligence Platform. Puoi ospitare facilmente modelli di AI generativa, di generazione aumentata (RAG) o ottimizzati con i dati aziendali. Model Serving offre funzionalità automatizzate di ricerca, monitoraggio e governance lungo tutto il ciclo di vita dell'AI.

real-time

Economicamente vantaggioso

Il model serving può essere eseguito come API a bassa latenza su un servizio serverless ad alta disponibilità con supporto di CPU e GPU. Puoi espandere la soluzione senza fatica partendo da zero per soddisfare le esigenze più critiche (ed eventualmente ridimensionarla). Puoi iniziare a lavorare velocemente con uno o più modelli preinstallati e carichi di lavoro a pagamento (pay-per-token secondo fabbisogno senza impegno o pay-for-provisioned in base alla capacità richiesta) per avere una produttività garantita. Databricks si farà carico della gestione dell'infrastruttura e dei costi di manutenzione, così la tua azienda potrà concentrarsi sulla generazione di valore.

Comincia a lavorare con queste risorse

eBook

mlops-virtual-event-thumb

Pronto per cominciare?