Partner Connect

Gli utenti possono ora scoprire e connettersi a Fivetran con pochi clic in Partner Connect

Cliccando su Fivetran in Partner Connect, viene avviato un flusso di lavoro automatico fra due prodotti, in cui:
– Databricks predispone automaticamente un Endpoint SQL e le relative credenziali per l'interazione da parte di Fivetran, applicando best practice nella configurazione dell'Endpoint.
– Databricks passa automaticamente l'identità dell'utente e la configurazione dell'endpoint SQL a Fivetran attraverso un'API sicura

Veniamo poi reindirizzati al prodotto di Fivetran per sottoscrivere una prova oppure per accedere a Fivetran se siamo utenti attivi. Fivetran crea automaticamente un account di prova.

Fivetran riconosce che si tratta di un utente che arriva da Databricks Partner Connect e crea automaticamente una destinazione Databricks configurata per acquisire dati in Delta tramite l'Endpoint SQL precedentemente autoconfigurato da Partner Connect (sarebbe utile enfatizzare questo aspetto mettendo il video in pausa e zoomando o evidenziando l'icona “Databricks Partner – demo_cloud” in alto a sinistra per evidenziare la destinazione automatica di Databricks che è stata impostata)

Con la destinazione Databricks Delta già impostata, l'utente sceglie ora da quale sorgente vuole acquisire i dati. Utilizzeremo Salesforce come sorgente (da notare che l'utente è libero di scegliere fra centinaia di sorgenti supportate da Fivetran). L'utente si autentica sulla sorgente Salesforce, sceglie gli oggetti di Salesforce da acquisire in Databricks Delta (in questo caso gli oggetti Account e Contact) e avvia la sincronizzazione iniziale (Initial Sync)

Cliccando sui registri si vede che Fivetran usa API per leggere dati da Salesforce e poi li inserisce in Databricks Delta tramite l'endpoint SQL creato automaticamente

La frequenza di sincronizzazione da Salesforce a Databricks Delta può essere configurata anche da Fivetran

Cliccando su Destination, si vedono i dettagli di configurazione dell'endpoint SQL creato automaticamente in seguito all'ingresso in Fivetran tramite Databricks Partner Connect; questa procedura automatizzata ha evitato decine di passaggi manuali e di copia/incolla che sarebbero stati necessari per impostare la connessione. Inoltre evita che l'utente commetta errori di configurazione involontari e debba poi dedicare tempo a correggerli

Tornando all'interfaccia utente di Databricks, vediamo l'Endpoint SQL creato automaticamente da Partner Connect per Fivetran.

Ora che i dati di Salesforce fluiscono continuamente da Fivetran a Databricks Delta tramite questo Endpoint SQL, possiamo visualizzare le tabelle Delta acquisite nel Databricks Data Explorer

Ora possiamo interrogare le tabelle di Salesforce tramite query SQL e analizzare i dati mentre affluiscono da Fivetran, per analisi di BI a valle e per unirli ad altri set di dati presenti nel lakehouse

Per costruire l'analisi in Power BI, basta collegare Power BI Desktop all'endpoint Databricks SQL.

Clicca su Power BI in Databricks Partner Connect per avviare un flusso di lavoro semplificato

Seleziona un endpoint SQL e scarica un file di collegamento. Collegare Power BI Desktop è facile, poiché il file di connessione è già preconfigurato con i dettagli richiesti per connettersi al cluster Databricks.

Per cominciare,

– Genera un token di accesso personale a Databricks

– Installa Power BI e Databricks ODBC Driver.

All'apertura del file di connessione,

– Power BI riconosce automaticamente i dettagli della connessione all'endpoint SQL preconfigurati nel file di connessione

– Power BI chiede di inserire le credenziali di accesso.

Comincia a costruire l'analisi in Power BI

– Seleziona il database e la tabella da analizzare

– Trascina e posiziona i campi richiesti e costruisci la visualizzazione

Cliccando su Tableau in Partner Connect, si avvia un flusso di lavoro semplificato per utilizzare Tableau Desktop con Databricks

È possibile selezionare un endpoint SQL e scaricare un file di connessione

Il file di connessione è già preconfigurato con tutti i dettagli necessari per la connessione al cluster.

Per cominciare a utilizzare Tableau Desktop da Databricks Partner Connect,

– Genera un token di accesso personale a Databricks

– Installa Tableau e Databricks ODBC Driver.

All'apertura del file di connessione,

– Tableau Desktop riconosce automaticamente i dettagli della connessione all'endpoint SQL preconfigurati nel file di connessione

– Tableau Desktop chiede di inserire le credenziali di accesso.

Ora ci si può concentrare sulla costruzione del dashboard in Tableau Desktop

– Seleziona la scheda Data Source
– Seleziona il database e la tabella
– Crea un foglio (Sheet)
– Trascina e posiziona i campi richiesti
– Infine costruisci le visualizzazioni e i dashboard

Gli utenti possono ora scoprire e connettersi a Rivery con pochi clic in Partner Connect

Cliccando su Rivery in Partner Connect, viene avviato un flusso di lavoro automatico fra due prodotti, in cui:
– Databricks predispone automaticamente un Endpoint SQL e le relative credenziali per l'interazione da parte di Rivery, applicando best practice nella configurazione dell'Endpoint.
– Databricks passa automaticamente l'identità dell'utente e la configurazione dell'endpoint SQL a Rivery attraverso un'API sicura

Veniamo poi reindirizzati alla console del prodotto di Rivery per sottoscrivere una prova oppure per accedere a Rivery se siamo utenti attivi. Rivery crea automaticamente un account di prova.

A questo punto siamo pronti per sfruttare i connettori nativi di Rivery per le sorgenti di dati per caricare i dati in Delta Lake.

Rivery riconosce che si tratta di un utente che arriva da Databricks Partner Connect e crea automaticamente una destinazione Databricks configurata per acquisire dati in Delta tramite l'Endpoint SQL precedentemente autoconfigurato da Partner Connect

Ora vediamo la sezione Connections. Questa sezione elenca le connessioni di sorgenti e target di dati. C'è una sola connessione target che si chiama Databricks SQL.
Con la destinazione Databricks Delta già impostata, l'utente sceglie ora da quale sorgente vuole acquisire dati. Utilizzeremo Salesforce CRM come sorgente (da notare che l'utente è libero di scegliere fra oltre 150 connettori a sorgenti di dati supportati da Rivery). L'utente si autentica sulla sorgente Salesforce CRM e salva la connessione una volta superato il test. La connessione appare nell'elenco Connections.

Clicchiamo su “Create New River” e selezioniamo “Source to Target” per avviare l'acquisizione dei dati.
– Selezionando Salesforce CRM come sorgente di dati, la connessione Salesforce impostata in precedenza verrà popolata automaticamente.
– Per configurare l'ingestione, si possono scegliere più tabelle contemporaneamente o caricare solo una tabella alla volta da Salesforce. In questa demo, selezioniamo solo una tabella, che è la tabella “Account”. Salviamo.

– Sul “Target”. Per l'acquisizione dei dati nella destinazione Databricks Delta già impostata, un utente può inserire il nome di un database esistente sul lato Databricks o creare un nuovo database.
Inseriamo il nome del nostro database e aggiungiamo il prefisso della tabella. Scegliamo poi “Overwrite” come modalità di acquisizione di default.
– Salviamo e clicchiamo su “Run” per avviare il flusso di lavoro di acquisizione.

Una volta completata l'acquisizione dei dati, possiamo tornare all'interfaccia di Databricks per visualizzare le tabelle Delta acquisite in Databricks SQL Data Explorer

Possiamo vedere lo schema, i dati campione e altre informazioni dettagliate di questa tabella. Semplice e lineare.

Ora possiamo interrogare le tabelle di Salesforce tramite query SQL e analizzare i dati mentre affluiscono da Rivery, per analisi BI a valle e per unirli ad altri set di dati presenti nel lakehouse

Clicca su Labelbox in Databricks Partner Connect

– Verrà creato automaticamente un cluster per eseguire facilmente un notebook tutorial fornito da noi

– Verifica l'indirizzo di posta elettronica fornito per la prova di Labelbox

Labelbox deposita un notebook tutorial nella directory condivisa all'interno dello spazio di lavoro di Databricks.

Riceverai anche un link a quel file.

Concludi la registrazione per la prova.

Ora hai accesso a Labelbox per una prova gratuita.

Torniamo a Databricks e verifichiamo il notebook tutorial.

Accedendo allo spazio di lavoro e cliccando su "Shared", si trova la cartella Labelbox Demo. La cartella contiene un unico notebook.

Questo notebook tutorial guida attraverso un tipico flusso di lavoro: individuare i dati nel data lake e passare gli URL a Labelbox per l'annotazione. Si potrà annotare il set di dati e riportare le etichette in Databricks per AI e analisi.

La prima cosa da fare è connettersi al nostro cluster. Ecco il cluster di Labelbox appena creato. Eseguirò la prima riga per installare il SDK di Labelbox e il Labelbox Connector per Databricks.

La cella successiva richiede una chiave API.

Torno alla mia prova di Labelbox, clicco su "Account", "API" e, infine, creo una chiave API demo.

Copio la chiave, torno a Databricks e la inserisco nella cella. Raccomandiamo di utilizzare l'API Databricks Secrets a questo scopo, ma per questa demo incolleremo semplicemente la chiave nella cella.

Per questa demo del notebook, popoleremo il tuo account Databricks con una tabella di immagini campione, ma puoi scegliere di utilizzare facilmente risorse presenti nel tuo storage in cloud come AWS S3, Azure Blob o Google Cloud Storage.

Dopo aver eseguito queste celle, si ottiene una tabella con i nomi dei file e gli URL alle immagini.

Quindi si prende la tabella e la si passa a Labelbox per creare il set di dati in Labelbox.

Ecco il set di dati con tutte le nostre immagini della demo.

Prima di etichettare il set di dati, dobbiamo creare un nuovo progetto con un'ontologia. L'ontologia descrive quali tipi di oggetti e classificazioni si desiderano annotare.

Quando il progetto è pronto, possiamo accedere ed etichettare alcuni elementi.

Ora che abbiamo qualche dato con annotazioni, possiamo tornare a Databricks ed eseguire il comando finale per portare le nostre annotazioni in Databricks.

Quindi possiamo tornare al nostro notebook ed eseguire il comando finale per portare le annotazioni in Databricks per l'utilizzo a valle.

The Label column includes a JSON of all the objects and classifications we placed on that asset.

Queste annotazioni possono essere memorizzate in Delta Lake per poi addestrare i modelli AI.

Questo notebook illustra i principi fondamentali del Labelbox Connector per Databricks. Consulta la nostra documentazione per maggiori informazioni sulle funzionalità avanzate come Model Assisted Labeling, su come usare il Catalogo per definire la posizione e la priorità degli asset per l'etichettatura, e su come usare Model Diagnostics per individuare le aree di miglioramento del modello.

– Da qui, apri la pagina Partner Connect e seleziona Prophecy per accedere.

– Quando si crea un account di Prophecy, Databricks stabilisce automaticamente una connessione sicura per eseguire le pipeline direttamente sul tuo spazio di lavoro.

Grazie alla trasmissione delle credenziali e-mail, basta scegliere una password per accedere a Prophecy.

Una volta entrati in Prophecy, vediamo com'è facile sviluppare ed eseguire le pipeline di dati di Spark.

Scegliamo una delle pipeline di esempio “get started” e apriamo il flusso di lavoro.

Appare una "tela visuale" sulla quale possiamo cominciare a costruire la nostra pipeline.

Cominciamo attivando un nuovo cluster Databricks.

Ora che il nostro cluster si è attivato, basta un clic per andare all'interfaccia di Databricks e visualizzare il cluster nello spazio di lavoro.

Torniamo all'interfaccia utente di Prophecy ed esploriamo la pipeline. Stiamo leggendo due sorgenti di dati dei nostri "Customers" e "Orders", unendole fra loro...

...e aggregandole sommando la colonna degli importi.

Più avanti organizzeremo i dati e li scriveremo direttamente in una tabella Delta

Con Prophecy, possiamo eseguire direttamente il nostro flusso di lavoro con un solo clic per vedere i dati dopo ogni passaggio

Possiamo vedere i nostri dati "Customer", i dati "Orders", i dati unificati...

...il campo aggregato con gli importi sommati...

...e, infine, i dati organizzati scritti nella nostra tabella Delta di destinazione...

Ora modifichiamo la pipeline ripulendo alcuni dei campi

Per farlo, basta trascinare una nuova "Gem" chiamata "Reformat"...

...saranno collegati con la nostra pipeline esistente.

...e scegliamo le colonne. Possiamo aggiungere una nuova colonna chiamata "Full name", concatenare il nostro nome e cognome, e aggiungere una colonna ripulita che contiene il valore arrotondato.

Rinominiamo anche questa Gem "Cleanup".

Fatto questo, possiamo dirigere il nostro flusso di lavoro ed esplorare i dati subito dopo la colonna Cleanup.

Come vedete, abbiamo aggiunto molto facilmente un passaggio Cleanup alla nostra pipeline.

Ma Prophecy non è solo un editor grafico. Dietro le quinte, tutto viene salvato come codice Spark di alta qualità che può essere successivamente modificato.

Inoltre, Prophecy consente di seguire le best practice di ingegneria software memorizzando direttamente il codice su Git.

Si può vedere il nostro flusso di lavoro con le modifiche più recenti direttamente come codice Scala su Git.