Retrieval Augmented Generation (RAG, Generazione potenziata dal recupero)
Crea distribuzioni di AI generativa di alta qualità utilizzando RAG con Databricks
La Retrieval augmented generation (Generazione potenziata dal recupero, RAG) è un modello applicativo di AI generativa che trova dati e/o documenti rilevanti per una domanda o un compito e li fornisce come contesto al modello linguistico di grandi dimensioni (LLM), così che questo possa restituire risposte più accurate.
Databricks dispone di una suite di strumenti RAG che consente di combinare e ottimizzare tutti gli aspetti del processo RAG, come la preparazione dei dati, i modelli di reperimento, i modelli linguistici (SaaS o open-source), le pipeline di classificazione e post-elaborazione, il prompt engineering e l'addestramento dei modelli basati su dati aziendali personalizzati.
Accesso a modelli SaaS proprietari e open source
Con Databricks puoi implementare, monitorare, gestire e interrogare qualsiasi modello di AI generativa. Tutti i modelli più diffusi, come LangChain, Llama 2, MPT e BGE, e i modelli su Azure OpenAI, Amazon Bedrock, Amazon SageMaker e Anthropic possono essere gestiti e governati in Model Serving, rendendo più facile la valutazione e creazione di modelli per trovare quello ideale per la tua applicazione RAG.
Pipeline automatizzata in tempo reale per qualsiasi tipo di dati
Databricks supporta nativamente il servizio e l'indicizzazione dei dati per il recupero online. Nel caso di dati non strutturati (testo, immagini e video), Vector Search indicizza e serve automaticamente i dati, rendendoli accessibili alle applicazioni RAG senza dover creare pipeline di dati separate. Dietro le quinte, Vector Search gestisce errori e nuovi tentativi e ottimizza le dimensioni dei batch per offrirti il meglio in termini di prestazioni, produttività e costi. Per i dati strutturati, Feature and Function Serving fornisce con tempi di risposta nell'ordine dei millisecondi query quei dati contestuali, ad esempio dati dell'utente o dell'account, che le aziende spesso vogliono inserire nei prompt per personalizzarli in base alle informazioni dell'utente.
Rendi velocemente operative le applicazioni RAG
Databricks semplifica l'implementazione, la gestione, l'interrogazione e il monitoraggio di modelli linguistici di grandi dimensioni, messi a punto o preinstallati da Databricks o da qualsiasi altro fornitore di modelli. Databricks Model Serving si occuperà della creazione automatizzata di contenitori e della gestione dell'infrastruttura per ridurre i costi di manutenzione e accelerare la distribuzione.
Governance integrata
Databricks integra funzionalità di sicurezza, governance e monitoraggio. Le applicazioni RAG garantiscono un controllo granulare degli accessi a dati e modelli. Puoi impostare limiti di query e tracciare la derivazione in tutti i modelli. Ciò garantisce che l'applicazione RAG non mostri dati riservati a utenti che non autorizzati.
Garantire la qualità e la sicurezza della produzione
Per soddisfare gli standard di qualità richiesti dalle applicazioni rivolte ai clienti, l'output dell'AI deve essere accurato, aggiornato, sicuro e consapevole del contesto aziendale. Databricks rende semplice stimare la qualità dei modelli con la valutazione automatica degli LLM, migliorando l'utilità, la pertinenza e l'accuratezza delle risposte dei chatbot RAG. Lakehouse Monitoring analizza automaticamente gli output delle applicazioni alla ricerca di contenuti tossici, allucinati o comunque non sicuri. Questi dati possono poi alimentare dashboard, avvisi o altre pipeline di dati a valle e servire da base ad azioni successive.