Migliora la qualità delle risposte della tua applicazione RAG con dati strutturati in tempo reale

Retrieval Augmented Generation (RAG) è un meccanismo efficiente per fornire dati pertinenti come contesto nelle applicazioni di Gen AI. La maggior parte delle applicazioni RAG utilizza in genere indici vettoriali per cercare un contesto pertinente da dati non strutturati quali documentazione, wiki e ticket di assistenza. Ieri abbiamo annunciato l'anteprima pubblica di Databricks Vector Search, che è di aiuto proprio in questo. Tuttavia, la qualità della risposta della Gen AI può essere migliorata arricchendo questi contesti testuali con dati strutturati pertinenti e personalizzati. Immagina uno strumento di IA generativa su un sito web di vendita al dettaglio in cui i clienti chiedono: "Dov'è il mio ordine recente?" Questa IA deve capire che la query riguarda un acquisto specifico, quindi raccogliere informazioni di spedizione aggiornate per le voci d'ordine, prima di utilizzare i modelli LLM per generare una risposta. Lo sviluppo di queste applicazioni scalabili richiede un lavoro notevole, integrando tecnologie per la gestione di dati sia strutturati che non strutturati con le funzionalità della Gen AI.

Siamo lieti di annunciare l'anteprima pubblica di Databricks Feature & Function Serving, un servizio in tempo reale a bassa latenza progettato per servire dati strutturati dalla Databricks Data Intelligence Platform. Puoi accedere istantaneamente a funzionalità ML precalcolate ed eseguire trasformazioni dei dati in tempo reale servendo qualsiasi funzione Python da Unity Catalog. I dati recuperati possono quindi essere utilizzati in motori di regole in tempo reale, ML classico e applicazioni Gen AI.

L'utilizzo di Feature and Function Serving (AWS)(Azure) per dati strutturati in coordinamento con Databricks Vector Search (AWS)(Azure) per dati non strutturati semplifica notevolmente la messa in produzione di applicazioni di IA generativa. Gli utenti possono creare e distribuire queste applicazioni direttamente in Databricks e fare affidamento su pipeline di dati, governance e altre funzionalità enterprise esistenti. I clienti Databricks in vari settori industriali utilizzano queste tecnologie insieme a framework open-source per creare potenti applicazioni Gen AI come quelle descritte nella tabella seguente.

Distribuzione di dati strutturati ad applicazioni RAG

Per dimostrare come i dati strutturati possono aiutare a migliorare la qualità di una Gen AI, utilizziamo il seguente esempio per un chatbot per la pianificazione di viaggi. L'esempio mostra come le preferenze dell'utente (esempio: "vista sull'oceano" o "adatto alle famiglie") possono essere abbinate a informazioni non strutturate provenienti dagli hotel per cercare quelli corrispondenti. In genere i prezzi degli hotel cambiano dinamicamente in base alla domanda e alla stagionalità. Un calcolatore di prezzi integrato nell'applicazione di Gen AI garantisce che i consigli rientrino nel budget dell'utente. L'applicazione di Gen AI che alimenta il bot utilizza Databricks Vector Search e Databricks Feature and Function Serving come componenti di base per fornire le necessarie informazioni su preferenze utente personalizzate, budget e hotel utilizzando l'API degli agenti di LangChain.

*Bot per la pianificazione di viaggi che tiene conto delle preferenze e del budget dell'utente

Puoi trovare il notebook completo per questa applicazione RAG Chain, come illustrato sopra. Questa applicazione può essere eseguita in locale nel notebook o distribuita come endpoint accessibile da un'interfaccia utente di chatbot.

Accedi ai tuoi dati e alle tue funzioni come endpoint in tempo reale

Con Ingegneria delle feature in Unity Catalog è già possibile usare qualsiasi tabella con una chiave primaria per il serving di feature per l'addestramento e il serving. Databricks Model Serving supporta l'uso di funzioni Python per calcolare le feature on-demand. Basati sulla stessa tecnologia disponibile internamente per Databricks Model Serving, gli endpoint di feature e funzioni possono essere utilizzati per accedere a qualsiasi feature precalcolata o per calcolarla on-demand. Con una sintassi semplice è possibile definire una funzione di specifica delle feature in Unity Catalog in grado di codificare il grafo aciclico diretto per calcolare e servire le feature come endpoint REST.

Questa funzione di specifica delle feature può essere distribuita in tempo reale come endpoint REST. Tutti gli endpoint sono accessibili nella tab di navigazione sinistra Serving, tra cui funzionalità, funzioni, modelli addestrati personalizzati e modelli di base. Esegui il provisioning dell'endpoint utilizzando questa API

L'endpoint può anche essere creato utilizzando un flusso di lavoro della UI, come mostrato di seguito

Ora è possibile accedere alle feature in tempo reale interrogando l'endpoint:

Per servire dati strutturati ad applicazioni di IA in tempo reale, è necessario distribuire i dati precalcolati su database operativi. Gli utenti possono già utilizzare store online esterni come fonte di feature precalcolate; ad esempio, DynamoDB e Cosmos DB sono comunemente usati per servire feature in Databricks Model Serving. Databricks Online Tables (AWS)(Azure) aggiunge una nuova funzionalità che semplifica la sincronizzazione di feature precalcolate in un formato di dati ottimizzato per ricerche di dati a bassa latenza. È possibile sincronizzare qualsiasi tabella con una chiave primaria come tabella online e il sistema imposterà una pipeline automatica per garantire l'aggiornamento dei dati.

Qualsiasi tabella di Unity Catalog con chiavi primarie può essere utilizzata per distribuire funzionalità in applicazioni di Gen AI utilizzando le tabelle online di Databricks.

Passaggi successivi

Usa questo esempio di notebook illustrato sopra per personalizzare le tue applicazioni RAG

Iscriviti a un webinar di Databricks sull'IA generativa disponibile on-demand

Il serving di feature e funzioni (AWS)(Azure) è disponibile in anteprima pubblica. Fare riferimento alla documentazione delle API e ad altri esempi.

Databricks Online Tables (AWS)(Azure) sono disponibili in Public Preview ad accesso limitato. Utilizza questo modulo per registrarti per l'abilitazione.

Leggi il riepilogo degli annunci (sulla creazione di applicazioni RAG di alta qualità) di questa settimana.

Percorso di apprendimento per Generative AI Engineer: segui corsi personalizzati, on-demand e con istruttore sull'AI generativa

Vuoi risolvere i casi d'uso dell'AI generativa? Partecipa all'Hackathon sull'IA generativa di Databricks e AWS! Registrati.

Hai un caso d'uso che vorresti condividere con Databricks? Contattaci a [email protected]