L'anno scorso, abbiamo presentato la data intelligence – AI in grado di ragionare sui dati aziendali – con il lancio dello stack Databricks Mosaic AI per la creazione e il deployment di sistemi agent. Da allora, migliaia di clienti hanno portato l'AI in produzione. Quest'anno, al Data and AI Summit, siamo entusiasti di annunciare diversi prodotti chiave:
Agent Bricks è un nuovo modo per creare agent di alta qualità, ottimizzati automaticamente sui tuoi dati. Fornisci una descrizione di alto livello del compito dell'agente e collega i tuoi dati aziendali: Agent Bricks si occupa del resto. Agent Bricks è ottimizzato per casi d'uso comuni nel settore, tra cui l'estrazione di informazioni strutturate, l'assistenza affidabile alla conoscenza, la trasformazione personalizzata del testo e la creazione di sistemi multi-agente. Utilizziamo le ultime ricerche sugli agent del team di ricerca Databricks Mosaic AI per creare automaticamente valutazioni e ottimizzare la qualità degli agent. Per maggiori dettagli, consulta il blog di approfondimento su Agent Bricks qui.
Stiamo rilasciando MLflow 3, riprogettato da zero per l'IA generativa, con le ultime novità in termini di monitoraggio, valutazione e gestione del ciclo di vita. Ora con MLflow 3, puoi monitorare e osservare agent distribuiti ovunque, anche al di fuori di Databricks. Gli agent distribuiti su AWS, GCP o sistemi on-premise possono ora essere collegati a MLflow 3 per l'osservabilità degli agent.
Abbiamo incluso in MLflow 3 anche un prompt registry, che ti consente di registrare, versionare, testare e distribuire diversi prompt LLM per i tuoi sistemi agent.
Le Funzioni AI consentono agli utenti di accedere facilmente alla potenza dell'IA generativa direttamente da SQL. Quest'anno, siamo entusiasti di condividere che le Funzioni AI ora presentano notevoli miglioramenti delle prestazioni e capacità multi-modali espanse. Le Funzioni AI sono ora fino a 3 volte più veloci e con un costo 4 volte inferiore rispetto ad altri fornitori su carichi di lavoro su larga scala, consentendoti di elaborare trasformazioni di dati su larga scala con una velocità senza precedenti.
Oltre alle prestazioni, le Funzioni AI ora supportano capacità multi-modali, consentendoti di lavorare senza interruzioni con testo, immagini e altri tipi di dati. Nuove funzioni come ai_parse_document rendono semplice l'estrazione di informazioni strutturate da documenti complessi, sbloccando insight da contenuti aziendali precedentemente difficili da elaborare.
Mosaic AI Vector Search costituisce la spina dorsale di molti sistemi di recupero, in particolare degli agent RAG, e il nostro prodotto Vector Search è uno dei prodotti in più rapida crescita in Databricks. Abbiamo completamente riscritto l'infrastruttura da zero secondo i principi di separazione tra calcolo e storage. La nostra nuova Ricerca Vettoriale Ottimizzata per lo Storage può scalare fino a miliardi di vettori offrendo un costo 7 volte inferiore. Questa innovazione rende economicamente fattibile la creazione di sofisticate applicazioni RAG e sistemi di ricerca semantica sull'intero patrimonio di dati. Sia che tu stia alimentando chatbot di assistenza clienti o abilitando la scoperta avanzata di documenti, ora puoi scalare senza costi proibitivi. Consulta il nostro post di blog dettagliato qui per un'analisi tecnica approfondita e benchmark di prestazioni.
Annunciamo un importante passo avanti nel calcolo serverless con l'introduzione del supporto GPU nella piattaforma serverless di Databricks. I carichi di lavoro AI basati su GPU sono ora più accessibili che mai, con questo servizio completamente gestito che elimina la complessità della gestione delle GPU. Sia che tu stia addestrando modelli, eseguendo inferenze o elaborando trasformazioni di dati su larga scala, AI Runtime fornisce le prestazioni di cui hai bisogno senza l'overhead operativo. Completamente integrato nella piattaforma Databricks, AI Runtime consente l'accesso on-demand a A10g (in Beta oggi) e H100s (in arrivo), senza essere vincolati a prenotazioni a lungo termine. Esegui notebook su GPU serverless e inviali come job, con la piena governance di Unity Catalog.
Le applicazioni AI aziendali di oggi richiedono un throughput aumentato e latenze inferiori per essere pronte per la produzione. La nostra infrastruttura di Model Serving potenziata ora supporta oltre 250.000 query al secondo (QPS). Porta i tuoi carichi di lavoro ML online in tempo reale su Databricks e lascia che gestiamo le sfide infrastrutturali e di affidabilità, così puoi concentrarti sullo sviluppo del modello AI.
Con LLM serving, abbiamo lanciato un nuovo motore di inferenza proprietario interno in tutte le regioni. Il motore di inferenza contiene molte delle nostre innovazioni private e kernel personalizzati per accelerare l'inferenza di Meta Llama e altri LLM open-source. Su carichi di lavoro comuni, il nostro motore di inferenza è fino a 1,5 volte più veloce di motori open-source correttamente configurati come vLLM-v1. Insieme al resto della nostra infrastruttura LLM serving, queste innovazioni significano che servire LLM su Databricks è più facile, più veloce e spesso con un costo totale inferiore, rispetto alle soluzioni di serving fai-da-te.
Dai chatbot ai motori di raccomandazione, i tuoi servizi AI possono ora scalare per gestire anche i carichi di lavoro aziendali più esigenti.
Anthropic's Model Context Protocol (MCP) è un protocollo popolare per fornire strumenti e conoscenze ai modelli linguistici di grandi dimensioni. Abbiamo ora integrato MCP direttamente nella piattaforma Databricks. I server MCP possono essere ospitati con Databricks Apps, fornendo un modo semplice per distribuire e gestire servizi conformi a MCP senza gestione aggiuntiva dell'infrastruttura. Puoi interagire e testare modelli abilitati a MCP direttamente nel nostro ambiente Playground, rendendo più facile sperimentare diverse configurazioni e capacità dei modelli.
Inoltre, ora puoi collegare i tuoi agent per sfruttare Databricks con il lancio dei server MCP ospitati da Databricks per le funzioni UC, Genie e Vector Search. Per saperne di più, consulta la nostra documentazione.
Agent Bricks AI Gateway è ora disponibile generalmente. Questo punto di ingresso unificato per tutti i tuoi servizi AI fornisce governance centralizzata, registrazione dell'utilizzo e controllo sull'intero portafoglio di applicazioni AI. Abbiamo anche aggiunto una serie di nuove funzionalità, dalla possibilità di effettuare fallback automatici tra diversi provider, a guardrail per PII e sicurezza. Con AI Gateway, puoi implementare policy di rate limiting, monitorare l'utilizzo e applicare guardrail di sicurezza sui carichi di lavoro AI, sia che vengano eseguiti su Databricks sia tramite servizi esterni.
Questi annunci rappresentano il nostro continuo impegno a rendere l'AI aziendale più accessibile, performante e conveniente. Ogni innovazione si basa sulla nostra piattaforma di data intelligence, garantendo che le tue applicazioni AI possano sfruttare appieno la potenza dei tuoi dati aziendali, mantenendo al contempo gli standard di governance e sicurezza richiesti dalla tua organizzazione.
Pronto a esplorare queste nuove funzionalità? Inizia con il nostro piano gratuito o contatta il tuo rappresentante Databricks per scoprire come queste innovazioni possono accelerare le tue iniziative AI.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
