Distribuisci agenti AI aziendali di alta qualità agli utenti aziendali con Agent Bricks e Databricks Apps

Prototipare un agente AI è facile. Distribuirne uno di cui gli utenti aziendali si fidano e che i team di sicurezza non bloccano è dove la maggior parte dei progetti aziendali rallenta.

In questo blog, illustreremo un percorso veloce e governato verso la produzione utilizzando la Databricks Platform:

1. Costruire un agente specifico per dominio, di livello di produzione, con valutazione integrata e miglioramento continuo
2. Distribuire un'interfaccia utente di chat personalizzabile con Databricks Apps che disponga di SSO integrato e accesso ai dati governato
3. Distribuire il tuo agente agli utenti aziendali tramite un'esperienza semplificata e intuitiva per il consumo di insight AI e dati

Utilizzeremo un esempio condiviso per tutto il blog: un Agent Bricks Knowledge Assistant per una società di esempio chiamata Redwood Commerce che risponde a domande sulle policy aziendali basandosi su PDF interni, con citazioni ai documenti sorgente.

Perché la messa in produzione degli agenti è ancora difficile

I team che sviluppano agenti AI aziendali spesso incontrano una serie di problemi familiari:

• La valutazione è difficile: Molti task AI aziendali sono difficili da valutare, sia per gli esseri umani che per i giudici LLM automatizzati. I benchmark accademici non si traducono in casi d'uso reali. La creazione di valutazioni sfumate spesso richiede costose etichettature manuali. Di conseguenza, progetti promettenti si bloccano in cicli di tuning infiniti, con gli stakeholder che perdono fiducia a causa di progressi poco chiari.
• Troppi parametri da regolare: Gli agenti sono sistemi AI complessi con molti componenti, ognuno con i propri parametri da regolare. Dalla messa a punto dei prompt alle strategie di chunking dell'indice, alle scelte del modello e ai parametri di fine-tuning, ogni aggiustamento crea effetti sconosciuti sull'intero sistema. Quella che dovrebbe essere una rapida iterazione di miglioramento diventa un costoso e tedioso processo di tentativi ed errori manuali, rallentando il tempo di messa in produzione.
• Costo e qualità: Anche dopo che i team hanno risolto i problemi di cui sopra e costruito un agente di alta qualità, spesso scoprono con sorpresa che l'agente è troppo costoso da scalare in produzione. I team si bloccano in un lungo processo di ottimizzazione dei costi, oppure sono costretti a scegliere tra costo e qualità.

Inoltre, è ancora necessaria un'interfaccia utente intuitiva per gli utenti aziendali e un accesso sicuro che tenga conto del modello di governance.

L'obiettivo è ridurre questo attrito in modo da poter passare dal proof of concept al pronto per il business in giorni o addirittura ore anziché mesi.

Il percorso veloce e governato: Agent Bricks, Databricks Apps e Databricks One

Per portare i tuoi agenti AI in produzione, Databricks offre tre componenti perfettamente integrati:

• Agent Bricks semplifica la creazione, la valutazione e l'ottimizzazione di agenti AI di livello di produzione sui tuoi dati aziendali. Basta definire il tuo task e connettere i tuoi dati, e Agent Bricks si occupa del lavoro pesante, inclusa la valutazione integrata e la governance unificata di Unity Catalog.
• Databricks Apps ti consente di distribuire in modo sicuro tali agenti e interfacce di chat personalizzabili direttamente all'interno di Databricks. Ottieni calcolo serverless, SSO integrato e permessi granulari senza dover gestire l'infrastruttura cloud.
• Databricks One fornisce una "porta d'ingresso" semplificata e curata per i tuoi utenti aziendali. Invece di cercare nelle pagine wiki interne o mantenere segnalibri per i dashboard, ottengono un hub intuitivo per interagire con Apps, Dashboards e altri asset di dati e AI.

Vediamo come questi tre componenti lavorano insieme in pratica.

Esempio: Creazione di un assistente per le policy aziendali

Redwood Commerce, un'azienda fittizia, ha documenti sulle policy aziendali (viaggi, spese, congedi per malattia, sicurezza IT) archiviati come PDF approvati.

I dipendenti pongono ripetutamente domande come: “Posso richiedere il rimborso per la lavanderia in hotel?”

Gli utenti aziendali desiderano un'esperienza di chat semplice che:

1. Risponda basandosi sui documenti approvati delle policy aziendali
2. Fornisca citazioni per fiducia e verifica
3. Risposti ai permessi e alla governance
4. Possa essere condivisa ampiamente ma in modo sicuro con i dipendenti di tutta l'organizzazione

Passaggio 1: Creare un Knowledge Assistant in Agent Bricks

Agent Bricks supporta molteplici casi d'uso, incluso il Knowledge Assistant, che trasforma i tuoi documenti in un chatbot di alta qualità che risponde alle domande e cita le sue fonti.

Connettere i documenti delle policy

Knowledge Assistant può utilizzare:

• File in un volume di Unity Catalog (txt, pdf, md, ppt/pptx e doc/docx).
• Un indice di ricerca vettoriale esistente utilizzando databricks-gte-large-en come modello di embedding.

Per Redwood Commerce, utilizzeremo il percorso più semplice: archiviare i PDF delle policy aziendali in un volume di Unity Catalog.

Costruire l'agente

Nell'interfaccia utente dell'area di lavoro Databricks:

1. Navigare su Agents
2. Sotto Knowledge Assistant, scegliere Build
3. Assegnare un nome (es. Redwood Policy Assistant) e aggiungere una descrizione
4. Selezionare la posizione del file di Unity Catalog come origine della conoscenza
5. Creare l'agente

Knowledge Assistant crea un endpoint dell'agente che puoi utilizzare a valle nelle applicazioni.

Passaggio 2: Validare rapidamente la qualità (e migliorarla con gli SME)

Una modalità di fallimento comune è distribuire un agente che suona bene ma non è affidabile. Agent Bricks Knowledge Assistant è progettato esplicitamente per fornire risposte di alta qualità con citazioni, il che è fondamentale per la fiducia degli stakeholder.

Possiamo testare l'agente direttamente nell'interfaccia utente di Knowledge Assistant o nell'AI Playground e porre domande realistiche:

• “Posso richiedere il rimborso per la lavanderia in hotel?”
• “Come segnalo un congedo per malattia?”
• “Qual è il processo per il rimborso delle spese di viaggio?”

Le risposte dell'agente sono basate sui documenti con citazioni alle sezioni pertinenti della policy.

Agent Bricks supporta il miglioramento del comportamento dell'agente basato sul feedback in linguaggio naturale degli esperti di dominio (SME) fornendo domande etichettate e linee guida.

Le linee guida vengono utilizzate per migliorare le risposte del tuo agente impostando aspettative chiare per tono, struttura e comportamento. Aiutano a garantire che l'agente comunichi in modo chiaro, rimanga in linea con il brand e gestisca correttamente diversi scenari. Queste stesse linee guida vengono utilizzate anche come criteri di valutazione per generare punteggi di qualità per ogni risposta.

Aggiungi domande nella scheda Examples del tuo agente Knowledge Assistant. Per invitare gli SME a fornire domande etichettate e linee guida, condividi il Knowledge Assistant utilizzando il menu a tre punti (kebab) e scegliendo Permissions.

Passaggio 3: Distribuire un'interfaccia di chat con Databricks Apps

Una volta soddisfatti della qualità dell'agente, trasformiamo l'endpoint dell'agente in qualcosa che i dipendenti possono effettivamente utilizzare: un'esperienza di chat dedicata per Redwood Commerce.

Databricks Apps ti consente di distribuire un'app completamente personalizzata, o di partire da un modello di chat predefinito e personalizzarlo per adattarlo al tuo brand.

Nell'interfaccia utente dell'area di lavoro Databricks:

1. Navigare su Compute e selezionare la scheda Apps
2. Scegliere Create app
3. Selezionare la scheda Agents e scegliere il modello Chat UI
4. Puntare all'endpoint del Knowledge Assistant
5. Distribuisci la tua app

Dopo aver distribuito la tua app, puoi utilizzare direttamente il tuo chatbot Knowledge Assistant nel modello dell'app tramite l'URL dell'app fornito.

Per creare un'esperienza più personalizzata, puoi clonare il modello sulla tua macchina locale. Con alcune semplici modifiche, possiamo creare un'interfaccia utente di chat su misura per Redwood Commerce:

Le Databricks Apps hanno sicurezza e governance integrate e non è necessario sviluppare o mantenere codice personalizzato di autenticazione o autorizzazione.

Le app sono accessibili solo agli utenti autenticati che effettuano l'accesso tramite SSO. Non è consentito l'accesso anonimo o pubblico. Grazie all'autorizzazione utente, la tua app può applicare autorizzazioni granulari agendo con l'identità dell'utente dell'app.

Passaggio 4: Pubblica per gli utenti aziendali tramite Databricks One

Potremmo distribuire l'app inviando semplicemente alle persone l'URL dell'app. Ma man mano che rendi disponibili più dati e asset di IA agli utenti aziendali, i team necessitano di un luogo unico e curato in cui i dipendenti possano trovare in modo affidabile gli strumenti giusti.

Databricks One è progettato come quella porta d'accesso: un'interfaccia utente semplificata in cui gli utenti aziendali possono accedere ai dati condivisi e agli asset di IA in Databricks, comprese le Databricks Apps.

Dopo aver abilitato Databricks One e configurato le autorizzazioni corrette per l'area di lavoro, possiamo condividere la Databricks App con i gruppi di dipendenti sincronizzati dal nostro provider di identità.

Ora i dipendenti aprono Databricks One, fanno clic sull'assistente delle policy e chiedono:

“Posso richiedere il rimborso per il late checkout del mio hotel?”

Ricevono una risposta con citazioni e la governance è coerente end-to-end.

Inizia a distribuire agenti agli utenti aziendali

Agent Bricks Knowledge Assistant ti offre un percorso rapido e automatizzato dai tuoi documenti aziendali a un agente specifico del dominio, mantenendo la qualità misurabile e migliorandola nel tempo attraverso valutazione e ottimizzazione integrate.

Con Databricks Apps e Databricks One, puoi quindi impacchettare quell'agente in un'esperienza di chat adatta agli utenti aziendali e distribuirlo tramite un punto di accesso curato, con sicurezza e governance di Unity Catalog applicate end-to-end.

Per approfondire, inizia con:

• La documentazione e le demo di Agent Bricks: documentazione e demo: knowledge assistant e agente supervisore
• La demo di Databricks Apps, la guida introduttiva e la documentazione
• La documentazione di Databricks One e l'autorizzazione all'accesso per i consumatori

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale