Annuncio di Lakeflow Designer: ETL senza codice, potenziato dalla Piattaforma di Data Intelligence

Siamo entusiasti di annunciare Lakeflow Designer, un generatore di pipeline senza codice potenziato dall'IA, completamente integrato con la Piattaforma di Data Intelligence di Databricks. Con un'interfaccia visiva e un'interfaccia integrata in linguaggio naturale, Designer consente agli analisti aziendali di creare pipeline di produzione scalabili ed eseguire analisi dei dati senza scrivere una sola riga di codice, tutto in un unico prodotto unificato.

Ogni pipeline creata in Designer genera una Lakeflow Declarative Pipeline sotto il cofano. Gli ingegneri dei dati possono rivedere, comprendere e migliorare queste pipeline senza cambiare strumento o riscrivere la logica, poiché si tratta dello stesso standard ANSI SQL utilizzato in Databricks. Ciò consente agli utenti no-code di partecipare al lavoro sui dati senza creare un sovraccarico aggiuntivo per gli ingegneri.

Lakeflow Designer sarà disponibile in Private Preview nei prossimi mesi, a seguito della disponibilità generale di Lakeflow annunciata oggi. Siamo entusiasti di vedere l'impatto che potrà avere.

Gli strumenti no-code esistenti operano al di fuori della Piattaforma di Data Intelligence, creando silos, causando lacune di produzione e limitando la produttività dell'IA

I team di dati e gli analisti aziendali desiderano la stessa cosa: trasformare rapidamente i dati grezzi in insight. Ma gli strumenti che utilizzano e gli ambienti in cui operano spesso li spingono in direzioni diverse.

Gli analisti aziendali portano preziose conoscenze di dominio e insight sulle domande che guidano le decisioni di un'organizzazione. Per muoversi velocemente, spesso creano soluzioni rapide utilizzando fogli di calcolo o, quando questi non sono sufficienti, si rivolgono a strumenti no-code legacy. Questi strumenti sono facili e diretti, ma le pipeline che creano risiedono al di fuori della piattaforma dati in ambienti diversi, separati dalle pipeline che gli ingegneri creano e mantengono.

Questa separazione crea tre sfide persistenti:

• Flussi di lavoro in silos: Analisti e ingegneri creano in strumenti diversi, portando a lavoro ridondante e a un sovraccarico di coordinamento. Quando i flussi di lavoro devono attraversare la piattaforma dati, gli ingegneri spesso devono ricostruirli interamente, partendo da zero.
• Sfide di produzione: Le pipeline esterne vengono eseguite senza governance o osservabilità della piattaforma, rendendole fragili e più difficili da mantenere.
• Produttività limitata dell'IA: Gli assistenti IA non hanno accesso ai metadati, alla lineage e ai modelli di utilizzo, quindi i loro suggerimenti sono spesso generici, simili all'uso di un modello linguistico senza accesso al contesto dei tuoi dati.

Lakeflow Designer: Strumenti no-code unificati, integrati nella Piattaforma di Data Intelligence

Lakeflow Designer risolve questi problemi portando i team aziendali e di dati in un ambiente unico e unificato dove le pipeline vengono create, gestite e governate su Databricks. Con tutte le pipeline create nativamente all'interno della piattaforma, i team ottengono osservabilità, governance e scalabilità integrate fin dal primo giorno: nessuna riscrittura richiesta.

Flussi di lavoro condivisi e collaborativi

Lakeflow Designer affronta direttamente i flussi di lavoro in silos fornendo una piattaforma unificata dove i team possono costruire insieme. Gli utenti aziendali creano pipeline in un ambiente visivo e no-code che è familiare e intuitivo. Dietro le quinte, le pipeline visive vengono implementate come Lakeflow Declarative Pipelines. Utilizzano lo stesso runtime scalabile e affidabile delle pipeline sviluppate direttamente all'interno di Lakeflow Declarative Pipelines.

Poiché l'output di Designer è lo stesso come se fosse stato codificato, gli ingegneri dei dati possono ispezionare e modificare le pipeline proprio come qualsiasi altra pipeline Lakeflow. Ciò significa che se gli analisti aziendali incontrano problemi, gli ingegneri possono intervenire per aiutare senza dover imparare un nuovo strumento, poiché si tratta delle stesse Declarative Pipelines a cui sono abituati. Tutto ciò si traduce in passaggi più fluidi e meno ricostruzioni che occupano cicli di ingegneria.

Un percorso integrato verso la produzione

Le pipeline di Lakeflow Designer vengono distribuite come Lakeflow Declarative Pipelines, punto. Ciò significa che sono immediatamente pronte per l'uso in produzione. Sono versionate, governate da Unity Catalog e completamente osservabili con gli strumenti di monitoraggio Lakeflow.

Tutto è costruito per la produzione fin dall'inizio, quindi non è necessario ricostruire le pipeline per scalabilità e affidabilità. Ottieni pianificazione, test e avvisi fin dal primo giorno.

IA che comprende il tuo business

Designer offre un'esperienza di sviluppo AI-first, aiutando gli utenti a passare dall'idea alla pipeline con prompt in linguaggio naturale. L'unicità dell'IA di Designer è che è basata sulla struttura, sulla semantica e sui modelli di utilizzo dei tuoi dati, resa possibile dalla Piattaforma di Intelligenza Databricks unificata. Sa come i dati vengono effettivamente discussi e utilizzati in tutta l'azienda, comprese le definizioni delle tabelle, i nomi delle colonne e la cronologia delle query.

Altri strumenti potrebbero offrire funzionalità IA, ma poiché operano al di fuori della piattaforma, lo fanno senza questo ricco contesto. L'IA di Designer è diversa: profondamente integrata con Databricks, addestrata sulla struttura e sulla semantica dei tuoi dati, e costruita per generare pipeline affidabili e pronte per la produzione che si allineano ai tuoi flussi di lavoro e agli standard di governance esistenti.

Disponibile presto in Private Preview

Lakeflow Designer sarà disponibile in Private Preview nei prossimi mesi. Stiamo collaborando a stretto contatto con gli utenti iniziali di vari settori per perfezionare l'esperienza ed espandere l'accesso.

Se il tuo team desidera dare a più utenti la possibilità di creare pipeline affidabili senza aumentare il rischio o aggiungere nuovi strumenti, contatta il tuo team account Databricks per richiedere l'accesso.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale