Vantaggi di Lakeflow Connect per l'acquisizione dei dati

Il futuro del data engineering su Databricks è Lakeflow: la soluzione unificata per l'acquisizione, la trasformazione e l'orchestrazione. Puoi utilizzare Lakeflow Connect per acquisire dati da qualsiasi sorgente, Apache Spark™ Declarative Pipelines per trasformare i dati e Lakeflow Jobs per orchestrare qualsiasi flusso di lavoro. Insieme, questi strumenti consentono ai clienti di fornire dati più aggiornati e di qualità superiore per il loro business.

Lakeflow Connect fornisce oltre 100 connettori nativi per l'acquisizione da applicazioni enterprise, database, fonti di conoscenze aziendali ed eventi. Offre un'interfaccia utente point-and-click e governance unificata tramite Unity Catalog, fornendo agli agenti AI un contesto aziendale completo. Lakeflow Connect adotta efficienti letture e scritture incrementali per un'acquisizione dei dati più veloce, scalabile ed economica, facendo sì che i dati siano sempre aggiornati per l'uso a valle. A livello tecnico, le pipeline Lakeflow Connect sono basate su Apache Spark™ Declarative Pipelines. Inoltre, molti dei connettori leggono e scrivono solo i dati modificati nel sistema sorgente. Infine, sfruttiamo la tecnologia specifica per sorgente di Arcion per ottimizzare le prestazioni e l'affidabilità di ogni connettore, limitando al contempo l'impatto sul sistema sorgente.

L'elenco in rapida crescita dei connettori Lakeflow Connect comprende vari tipi di connettori: connettori SaaS, connettori per database, connettori per sorgenti di file e connettori per streaming. Per un elenco completo e aggiornato, consulta la documentazione. I connettori gestiti si trovano in vari stati di rilascio, mentre i connettori standard offrono livelli più elevati di personalizzazione della pipeline di acquisizione. Tieni presente che Lakeflow Connect utilizza il calcolo serverless per le Lakeflow Declarative Pipelines. Per istruzioni, consulta la documentazione su Lakeflow Connect.

Sì. Offriamo un livello gratuito permanente che fornisce a ogni workspace 100 DBU al giorno senza alcun costo, consentendo di acquisire fino a 100 milioni di record al giorno da sorgenti gestite idonee. Per ulteriori dettagli, consulta la pagina dei prezzi.

Lakeflow Connect è progettato per team di data engineering e di professionisti dei dati che devono trasferire dati aziendali nella Data + AI Platform senza un pesante lavoro di coding personalizzato. La sua interfaccia utente senza codice e la semplice API consentono ai professionisti di acquisire dati in modalità self-service, mentre la profonda integrazione con Unity Catalog e con Lakehouse Monitoring offre ai team di governance e osservabilità i controlli di cui hanno bisogno. Viene adottato dalle organizzazioni per casi d'uso come analisi dei clienti a 360°, dashboard centralizzate delle Risorse Umane sulla forza lavoro, gemelli digitali per la produzione industriale, elaborazione intelligente dei documenti e analisi dei consumatori. Poiché l'acquisizione è completamente integrata nella piattaforma, fornisce anche agli agenti AI il contesto aziendale completo necessario per ragionamenti affidabili.

I clienti che hanno abbandonato gli stack ETL legacy e il middleware personalizzato riscontrano notevoli aumenti dell'efficienza a seguito dell'adozione di Lakeflow Connect. Secondo il suo case study, il team BI di Panasonic ha ridotto del 50% i tempi di aggiornamento di Power BI dopo essere passato da uno stack ETL legacy rigido alla Databricks Data + AI Platform. Insulet ha eliminato il middleware fragile e problematico tra Salesforce e Databricks SQL, riducendo la latenza dei dati da giorni a minuti, mentre Kotahi ha ridotto il tempo necessario per estrarre e preparare i dati di Salesforce da circa tre ore a 30 minuti dopo aver sostituito uno strumento di acquisizione di terze parti. Poiché i connettori sono completamente gestiti, i team non hanno bisogno di svolgere di continuo la manutenzione della pipeline, cosa che in genere richiede livelli ETL o middleware su misura.

Puoi iniziare a utilizzare Lakeflow Connect gratuitamente seguendo la documentazione introduttiva, che illustra come configurare la prima pipeline di acquisizione. Ogni workspace Databricks include anche un livello gratuito permanente con 100 DBU giornalieri, sufficienti per acquisire fino a 100 milioni di record al giorno da sorgenti gestite idonee. Se desideri vedere prima il prodotto, guarda il tour delle funzionalità di Lakeflow Connect e, quando decidi di scalare, consulta le informazioni sui prezzi basati sull'utilizzo.