Presentazione di Genie Code

Siamo entusiasti di annunciare Genie Code, l'ultima novità della famiglia Genie di Databricks. Negli ultimi sei mesi, gli strumenti di codifica agentiva hanno cambiato radicalmente l'ingegneria del software; Genie Code porta la stessa trasformazione ai team di dati. Genie Code può eseguire autonomamente attività complesse come la creazione di pipeline, il debug di errori, la distribuzione di dashboard e la manutenzione di sistemi di produzione.

A differenza degli agenti che si concentrano solo sulla scrittura di codice, Genie Code opera anche come un agente di produzione proattivo. Monitora le Lakeflow pipelines e i modelli di AI in background, analizzando i malfunzionamenti, gestendo gli aggiornamenti di routine di DBR e analizzando le anomalie prima ancora che il tuo team se ne accorga.

Fa tutto questo integrandosi profondamente con Unity Catalog, in modo da comprendere i dati, la semantica e le policy di governance della tua azienda. Genie Code offre prestazioni più che doppie rispetto a un agente di codifica leader di settore nelle attività di data science del mondo reale.

Ascesa del lavoro sui dati agentico

Gli strumenti di coding agentivi hanno trasformato l'ingegneria del software, portando gli sviluppatori oltre l'autocomplete e verso uno sviluppo guidato da agenti. Con un singolo prompt, gli ingegneri possono ora creare lo scaffolding di funzionalità, effettuare il refactoring del codice e implementare prototipi in pochi secondi. Questo cambiamento è stato guidato dai progressi degli LLM e da sistemi agentivi in grado di interpretare il contesto complesso dei codebase software moderni.

La maggior parte degli agenti sul mercato si concentra sul codice come prodotto finale. Tuttavia, per i team di dati, il codice è semplicemente un mezzo per manipolare e comprendere i dati sottostanti. Questo è esattamente il motivo per cui gli agenti incentrati sul software spesso hanno difficoltà con il lavoro sui dati. In un ecosistema di dati, il contesto non risiede solo nello script, ma anche nei modelli di utilizzo, nel lineage e nella semantica aziendale. 

Accedere a questo contesto è fondamentale, perché la posta in gioco è alta. Le dashboard guidano le decisioni aziendali, le pipeline alimentano i sistemi di produzione e i modelli di machine learning influenzano i risultati del mondo reale. Per i team di dati, la velocità e i vantaggi offerti dagli agenti devono essere abbinati a precisione assoluta, riproducibilità e governance.

Genie Code è un agente AI creato appositamente per i dati. Sfrutta Unity Catalog per curare automaticamente i dati e i contenuti più pertinenti durante il lavoro. Crea indici di ricerca personalizzati, istruzioni personalizzate, archivi di conoscenza ed estrae i modelli di utilizzo dalla lineage. E soprattutto, diventa più intelligente man mano che il team lo utilizza. Questa profonda integrazione in Unity Catalog è di gran lunga superiore a qualsiasi sistema che si limita a leggere i dati dall'esterno.

In Databricks abbiamo visto in prima persona l'impatto di Genie e Genie Code, sia tra gli utenti tecnici che non tecnici. Il nostro team di vendite lo utilizza per ottenere un quadro completo di ogni cliente prima delle riunioni, riassumendo in pochi secondi le metriche chiave di consumo, i ticket di assistenza e le interazioni recenti. I Manager Prodotto utilizzano Genie Code per creare dashboard a partire da uno schizzo di diagrammi e Graph disegnati a mano. Il nostro team finanziario esegue analisi budget-consuntivo e modellazione avanzata del ROI. Il nostro team dirigenziale risponde a domande sui dati in tempo reale durante le discussioni strategiche, riducendo i seguiti e accelerando le decisioni complesse. In tutta l'azienda, questi strumenti hanno cambiato il nostro modo di lavorare con i dati.

Cosa fa Genie Code:

• Agisce come un esperto di machine learning: Genie Code gestisce interi flussi di lavoro di ML end-to-end. Ragiona su problemi complessi per pianificare, scrivere e implementare modelli, registrando al contempo gli esperimenti in MLflow e ottimizzando gli endpoint di serving per ottenere le massime prestazioni.
• Competenza approfondita nell'ingegneria dei dati: mentre un ingegnere inesperto potrebbe scrivere uno script che funziona su dati di test, Genie Code progetta come un architetto senior. Tiene conto delle differenze tra gli ambienti di staging e di produzione, crea flussi di lavoro per il change data capture e applica le aspettative sulla qualità dei dati.
• Mantiene e ottimizza in modo proattivo: Genie Code monitora le Lakeflow pipelines e i modelli di AI in background per classificare i guasti e analizzare le anomalie. Analizza autonomamente le tracce degli agenti per correggere le allucinazioni e regola l'allocazione delle risorse prima che intervenga un essere umano.
• Comprende il contesto aziendale: integrato con Unity Catalog, Genie Code applica le policy di governance e i controlli degli accessi esistenti. Comprende la semantica aziendale, i requisiti di audit e federa i dati aziendali, inclusi quelli provenienti da piattaforme esterne.
• Migliora nel tempo: Genie Code diventa più intelligente man mano che i team lo utilizzano. Grazie alla memoria persistente, aggiorna automaticamente le istruzioni interne in base alle interazioni passate e alle preferenze di codifica. Nelle attività interne di data science, Genie Code supera i principali agenti di codifica in termini di qualità con un punteggio del 77,1% contro il 32,1%.

Con Genie Code, i data team passano dal dare istruzioni a un copilota al delegare lavoro vero e proprio: creare pipeline, eseguire il debug degli errori, pubblicare dashboard e mantenere i sistemi di produzione, in modo autonomo e end-to-end.

In SiriusXM, Genie Code supporta ogni attività, dalla creazione di notebook e SQL complessi all'analisi delle relazioni tra tabelle e al debug delle pipeline. Agisce come un partner di sviluppo pratico che aiuta i nostri team di dati a fornire un lavoro di alta qualità in meno tempo. — Bernie Graham, Vice Presidente Data ingegneria, Sirius XM

Agente della massima qualità per attività di dati e AI

Genie Code non è alimentato da un singolo modello. È un sistema agentivo che instrada le attività tra più modelli e strumenti, selezionando automaticamente il modello migliore per ogni job, che si tratti di un LLM di frontiera, un modello open-source o un modello personalizzato ospitato su Databricks. Ciò elimina la necessità per gli utenti di passare manualmente da un modello all'altro o di indovinare quale produrrà il risultato migliore.

Genie Code è anche profondamente integrato con le API di Databricks, il che gli consente di identificare gli asset di dati corretti, raccogliere un contesto ricco e generare query di qualità superiore. Il team di ricerca di Databricks ottimizza continuamente il sistema, eseguendo il benchmarking degli ultimi modelli dei principali laboratori di AI insieme a modelli personalizzati in esecuzione sulla piattaforma.

Nel nostro recente benchmarking delle prestazioni su attività di Data Science e analitiche del mondo reale raccolte da utenti interni, Genie Code ha superato in modo significativo un agente di codifica leader dotato dei server Databricks Model Context Protocol (MCP).

• Genie Code: 77,1% di task risolti
• Agente di codifica leader + Databricks MCP: 32,1% di task risolti

Genie Code supporta l'intero ciclo di vita del lavoro con i dati

Addestra e valuta modelli di Machine Learning

Genie Code agisce come un ingegnere di ML dedicato e integrato nel tuo flusso di lavoro. Chiedigli di "addestrare un modello di previsione per le vendite in @sales_table" e analizzerà l'intera pipeline: 

• Identificazione e profilazione delle feature
• Suddividi correttamente i set di dati di addestramento, convalida e test
• Addestra diversi tipi di modelli e confrontali, eseguendo sweep degli iperparametri per addestrare il miglior modello possibile.
• Valuta i risultati in base a metriche come AUC, F1, RMSE e R²
• Genera grafici per l'importanza delle feature, le matrici di confusione e le curve ROC
• Traccia gli Experiment in MLflow
• Raccomanda miglioramenti in base alla diagnostica del modello

Una volta implementato su Databricks Model Serving, Genie Code resta nel loop: può controllare lo stato di salute degli endpoint, analizzare le tracce e consigliare ottimizzazioni. Per saperne di più, consulta la sezione sottostante "From Code to Production: Observability with Genie Code".

Genie Code cambia il modo in cui operano i nostri team di dati. Invece di collegare manualmente Notebook, pipeline e modelli, possiamo affidare flussi di lavoro complessi a un partner AI che comprende i nostri dati, la governance, il contesto aziendale e le librerie interne come Repsol Artificial Intelligence prodotti. Accelera ogni aspetto, dalla previsione di serie temporali al deployment in produzione, senza sacrificare il rigore o il controllo. — Emilio Martín Gallardo, Principal data scientist, gestione dei dati & analitiche, Repsol

Crea pipeline di dati pronte per la produzione

Genie Code è il tuo data engineer esperto, creato per aiutarti a progettare e far evolvere pipeline di dati affidabili.

• Crea pipeline dal linguaggio naturale: descrivi ciò di cui hai bisogno e Genie Code genererà una Spark Declarative Pipeline completa con acquisizione, trasformazioni e aspettative sulla qualità dei dati integrate.
• Estendi le pipeline esistenti: aggiungi set di dati, modifica le trasformazioni, scrivi flussi AutoCDC, configura Auto Loader e applica le aspettative sulla qualità dei dati, tutto nel contesto della tua pipeline attuale.
• Comprendi il comportamento della pipeline: ispeziona gli output, traccia il flusso di dati nelle tabelle downstream e fai emergere modifiche impreviste nel conteggio delle righe o negli schemi.

Genie Code ci ha portati oltre la codifica assistita, verso una vera e propria ingegneria dei dati agentiva. Può analizzare le nostre pipeline Lakeflow, proporre modifiche a più file con i relativi diff, eseguire le esecuzioni con misure di salvaguardia e iterare attraverso gli errori fino alla risoluzione dei problemi. Sembra meno un completamento automatico e più un collaboratore integrato nel nostro flusso di lavoro. — Nishit Gajjar, Tech Lead, Fornitore globale di tecnologia per infrastrutture

Crea dashboard con definizioni semantiche riutilizzabili

Genie Code può generare visualizzazioni, configurare filtri e organizzare layout di dashboard multi-pagina, il tutto con definizioni semantiche riutilizzabili. Collega quelle definizioni a filtri, calcoli e layout che supportano la Scale con la crescita delle dashboard, aiutando i team a lavorare più velocemente e a mantenere la coerenza.

Con Genie Code, i nostri team sono in grado di fornire analitiche basate sull'AI e flussi di lavoro automatizzati in settimane, non in mesi. Gli agenti low-code ci aiutano ad accelerare i tempi nel rispetto della governance, consentendo ai team di progetto e di ingegneria di ottenere insight in linguaggio naturale da dati complessi senza rallentare la delivery. — Russell Singer, Chief Data Architect, Bechtel Corporation

Pianificazione ed esecuzione multi-step autonoma 

Fornisci un obiettivo di alto livello, come "Identificare i rischi di ritardo dei voli e creare una dashboard di monitoraggio". Genie Code analizza i requisiti, formula un piano in più fasi e lo esegue su tutti i Databricks Notebooks, le dashboard di IA/BI e Lakeflow in un unico thread di conversazione.

In Danfoss stiamo osservando che Genie Code cambia i ruoli all'interno di un team di dati, supportando il nostro focus strategico sulla digitalizzazione e sull'AI. I data scientist continuano a fornire la direzione e a supervisionare, ma ingegneri, analisti ed esperti di settore ora possono lavorare attivamente nei Notebook con l'assistente e contribuire a flussi di lavoro di analitiche avanzate. Trasforma la data science in un'attività di team molto più collaborativa. — Radu Dragusin, Principal Engineer, Dati e AI, Danfoss

Analisi esplorativa dei dati con ricerca contestuale approfondita

Genie Code utilizza la popolarità, la lineage, gli esempi di codice e i metadati di Unity Catalog per trovare i set di dati più pertinenti per qualsiasi analisi. Questa ricerca contestuale approfondita elimina lo sforzo manuale di ricerca dei dati e garantisce che il tuo lavoro si basi sulle tabelle più accurate e utilizzate più di frequente all'interno della tua organizzazione.

Sono sinceramente affascinato. Genie Code sembra uno sguardo sul futuro di come verrà svolto il lavoro con i dati. — Sameer Yasser, Sr. Data Engineer, Sundt Construction

Personalizzazione ed estensibilità

Genie Code è una piattaforma flessibile progettata per essere personalizzata in base agli standard specifici del tuo team e allo stack tecnologico esterno. Ci sono tre modi principali per estenderne le funzionalità:

1. Strumenti esterni tramite Model Context Protocol (MCP)
   Genie Code supporta il Model Context Protocol (MCP), uno standard aperto che gli consente di interagire in modo sicuro con strumenti esterni, API e documentazione. Ciò consente flussi di lavoro autonomi che si estendono oltre il workspace di Databricks.

Ad esempio, quando ti viene assegnato un task Jira per addestrare un nuovo modello di ML, Genie Code può raccogliere automaticamente il contesto, eseguire il task e aggiornare il ticket con i risultati.

Collega Genie a Confluence, Google Drive, GitHub o Notion interni tramite MCP in modo che possa fare riferimento ai runbook e ai dizionari di dati specifici del tuo team durante la risoluzione dei problemi.

2. Skill dell'agente: Definisci funzionalità specifiche del dominio per insegnare a Genie Code come eseguire attività complesse in modo coerente. Che si tratti di un modo specifico in cui la tua azienda gestisce il mascheramento PII o di un framework personalizzato per la convalida dei dati, le Skill assicurano che AI segua ogni volta le best practice della tua organizzazione. Le Skill seguono il formato aperto Agent Skills.
3. Memoria: Genie Code diventa più intelligente man mano che lo usi. Attraverso la memoria persistente, l'agente aggiorna automaticamente le sue istruzioni interne in base alle tue interazioni passate. Apprende le tue preferenze di codifica, ricorda quali set di dati utilizzi più di frequente e mantiene il contesto tra le sessioni.

Dal codice alla produzione: osservabilità con Genie Code

Scrivere codice è solo il primo passo. La vera sfida è la sua manutenzione. Genie Code funge da agente di osservabilità per mantenere sani i tuoi flussi di lavoro di dati e AI. Sebbene migliaia di clienti utilizzino Databricks per erogare sofisticate applicazioni di AI, il debug di tali modelli in produzione è spesso la fase del ciclo di vita che richiede più tempo.

Genie Code ora si integra direttamente con Databricks Model Serving e MLflow 3.0 per automatizzare questo processo. Invece di cercare manualmente tra log e tracce, puoi usare Genie per:

• Controlli di integrità degli Endpoint: ottieni un report di stato completo su compute, gestione delle richieste e log del server in un unico prompt.

• Analisi della qualità dell'agente: fa emergere problemi impercettibili come allucinazioni, chiamate a strumenti errate e modelli di frustrazione dell'utente attraverso tracce complesse dell'agente in tempo reale.

• Risoluzione dei problemi di produzione: quando si verificano incidenti, Genie incrocia i log e le metriche del server per automatizzare la prima fase della diagnosi e ridurre i tempi di risoluzione.
• Ottimizzazione degli endpoint: ricevi suggerimenti sulla concorrenza con provisioning, sulle configurazioni hardware e sulla scalabilità automatica in base alle best practice di Databricks.

Agenti in background che mantengono integri i carichi di lavoro

Genie Code è progettato per funzionare in background, in modo che i tuoi dati rimangano integri anche dopo aver chiuso il laptop. Puoi distribuire più agenti in parallelo per gestire il lavoro operativo che in genere occupa la settimana di un data engineer. Questi agenti in background vanno oltre il supporto reattivo verso la manutenzione proattiva, gestendo attività ripetitive come rispondere ai fallimenti dei job e gestire gli aggiornamenti di routine. Quando una pipeline si interrompe, l'agente identifica la causa principale e suggerisce una correzione solo dopo averla convalidata in un ambiente di prova sicuro. 

Ad esempio, se una pipeline di produzione ha esito negativo a causa di una mancata corrispondenza dello schema, ad esempio una colonna che passa da INT (150) a STRING ("150 USD"), Genie Code individuerà l'errore e correggerà automaticamente la pipeline interrotta. 

Gli agenti in background saranno presto disponibili. 

Basato su Unity Catalog: sicurezza e governance integrate

Genie Code è basato direttamente su Unity Catalog. Questa integrazione garantisce che l'agente segua le stesse regole di sicurezza e governance del resto della piattaforma Databricks.

Quando Genie Code cerca i dati, mostra solo gli asset a cui l'utente è autorizzato ad accedere. Quando crea una pipeline, rispetta il lineage e i controlli di accesso esistenti.

• Cronologia delle revisioni nativa: ogni modifica viene tracciata attraverso il sistema di controllo delle versioni di Databricks. Puoi annullare le modifiche su notebook, query, file e Lakeflow pipelines in totale sicurezza.
• Guardrail integrati: Genie Code è progettato per chiedere proattivamente una conferma prima di eseguire codice che può modificare le tabelle sottostanti.
• Applicazione del controllo degli accessi: Genie Code non espone mai asset di dati che un utente non è autorizzato a visualizzare.
• Registrazione di audit completa: la tua organizzazione mantiene la piena visibilità su come viene utilizzato Genie Code attraverso l'infrastruttura di audit esistente.

Disponibile oggi nel tuo Workspace

Genie Code è ora generalmente disponibile nel tuo workspace Databricks. Puoi trovare il pannello di Genie Code nei tuoi notebook, nell'editor SQL e nell'editor di Lakeflow Pipelines già da oggi, senza bisogno di configurazioni complesse.

Maggiori informazioni

Se desideri saperne di più su Genie Code:

• Visita la nostra pagina web per comprendere le principali funzionalità e i casi d'uso di Genie Code e scoprire come funziona sulla piattaforma Databricks
• Guarda la demo per vedere Genie Code pianificare ed eseguire flussi di lavoro di dati reali end-to-end
• Leggi la documentazione per iniziare a usare Genie Code nel tuo workspace oggi stesso

Non vediamo l'ora di scoprire cosa creerai con Genie Code e come gli agenti autonomi rimodelleranno il modo in cui i tuoi team di dati lavorano in Databricks.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale