Come combinare dati di portfolio locali sensibili con intelligence finanziaria di terze parti senza compromettere la sicurezza o la conformità
Nel panorama aziendale odierno, i dati si trovano raramente in un'unica posizione. Istituzioni finanziarie, gestori patrimoniali e singoli investitori affrontano una sfida comune: i loro dati più sensibili, tra cui portafogli di titoli, posizioni di trading e informazioni sui clienti, risiedono spesso in database locali (on-premises) protetti da firewall aziendali, nel cloud o in entrambi gli ambienti. Questa sfida è aggravata dal fatto che i dati di terze parti necessari per l'analisi, inclusi dati di mercato, stime degli analisti e fondamentali finanziari, si trovano sempre più spesso nel cloud.
Gli approcci tradizionali impongono una scelta difficile: copiare i dati sensibili nel cloud, configurare fragili pipeline ETL o rinunciare del tutto all'integrazione dei due sistemi.
E se potessi semplicemente federare la sorgente on-premises, abbonarti ai dati di terze parti sul cloud e passare direttamente da quei due cataloghi a una dashboard e a una chat in linguaggio naturale, senza pipeline, viste materializzate o oggetti persistenti intermedi?
Questa è la Databricks Lakehouse Federation nella sua forma più semplice.
Databricks Lakehouse Federation ti permette di creare connessioni federate a database esterni come SQL Server, PostgreSQL, MySQL, Snowflake e altri, interrogandoli direttamente da Databricks tramite SQL standard. I dati rimangono esattamente dove sono. Nessuna copia. Nessuna sincronizzazione. Nessun problema di conformità.
Aggiungi una condivisione di dati del marketplace e avrai due cataloghi affiancati in Unity Catalog: uno federato e uno condiviso, che una normale query SQL può unire come se fossero due tabelle qualsiasi.

Esaminiamo un esempio concreto. Immagina di essere una società di wealth management con:
Il tuo obiettivo: creare una dashboard di investimento che mostri i tuoi utili previsti, identifichi le posizioni ad alto rischio e raccomandi azioni, il tutto senza esporre i dati del tuo portafoglio al cloud.
La configurazione della federazione è semplice tramite la UI di Databricks. Vai su Catalog → External Data → Connections e crea una nuova connessione al tuo database on-premises.

La connessione memorizza in modo sicuro le tue credenziali.
Una volta stabilita la connessione, crea un catalogo esterno che mappa il tuo database on-premises. Questo fa sì che le tue tabelle esterne vengano visualizzate come oggetti nativi di Unity Catalog.

Dopo questo passaggio, i tuoi dati on-premises appaiono come un catalogo, ma non lasciano mai il tuo SQL Server. Ogni query viene eseguita sulla sorgente in tempo reale.

Il Databricks Marketplace fornisce accesso immediato ai dati finanziari completi di FactSet. Cerca FactSet, esamina i dataset disponibili e richiedi l'accesso. Una volta che il provider approva la tua richiesta, puoi abbonarti ai dataset pertinenti.

Dopo l'iscrizione, i dati sono disponibili come catalogo condiviso nel tuo workspace, organizzato in schemi:

Queste tabelle compaiono accanto al catalogo del tuo portafoglio federato in Unity Catalog. Puoi esplorarle, visualizzarne l'anteprima e controllare gli schemi, il tutto senza alcuna ingestion o copia dei dati.
Con entrambe le origini dati accessibili tramite Unity Catalog, un gestore patrimoniale può aprire l'editor SQL e scrivere una query che si estende su entrambe: le partecipazioni federate da un lato e le tabelle del marketplace FactSet dall'altro. Per l'autore SQL sembrano due tabelle normali nello stesso warehouse.

Non c'è alcuna pipeline da creare, nessuna vista materializzata da pianificare e nessun layer gold da mantenere. Ogni volta che la query viene eseguita, ri-federa la sorgente on-premises in tempo reale e la unisce alla condivisione del marketplace.
La dashboard è alimentata dalla stessa query combinata inserita direttamente nel dataset di ciascun widget. Non vengono create viste né salvate tabelle persistenti. Ogni widget ri-federa la sorgente a ogni aggiornamento.
Risponde istantaneamente a domande come:

L'ultimo elemento: un agente Genie collegato direttamente alle stesse partecipazioni federate e alle tabelle del marketplace FactSet. Genie riceve nelle sue istruzioni la catena di join e i filtri sulla qualità dei dati. Traduce il linguaggio naturale nelle stesse query eseguite dalla dashboard.
Il risultato: accesso ai dati democratizzato. Gestori di portafoglio, consulenti finanziari e singoli investitori possono ottenere risposte senza scrivere codice SQL e senza che nessuno debba materializzare nulla.

Databricks Lakehouse Federation trasforma radicalmente l'economia dell'analisi dei dati ibridi. Invece del processo costoso, rischioso e dispendioso in termini di tempo di spostare i dati nel cloud, o del processo altrettanto gravoso di creare e mantenere pipeline al di sopra di essi, puoi portare il calcolo dove si trovano i dati e lasciare che sia un'unica query a gestire tutto il flusso successivo.
In questo esempio, la procedura guidata ha creato una soluzione completa di analisi degli investimenti che:
Il tutto senza copiare una sola riga di dati di portafoglio nel cloud.
Il futuro dell'analisi dei dati non consiste nel trasferire tutti i tuoi dati in un unico posto e nemmeno nel creare pipeline elaborate per rimodellarli. Si tratta invece di interrogare i dati ovunque essi si trovino. Sebbene questo blog abbia usato i portafogli di investimento come esempio, questo modello – federare dati proprietari sensibili, iscriversi a dati di terze parti basati su cloud e analizzare senza spostare o copiare nulla – si applica in modo esteso. Le organizzazioni sanitarie possono unire cartelle cliniche protette da HIPAA con database di interazione farmacologica per raccomandazioni sui trattamenti. Le aziende manifatturiere possono federare la telemetria IoT locale con i dati della catena di approvvigionamento basati su cloud. I rivenditori possono combinare i sistemi POS in-store con set di dati demografici di terze parti.Il filo conduttore: i dati proprietari sensibili rimangono protetti consentendo al contempo analisi avanzate con dati di terze parti.
Pronto per iniziare? Esplora i seguenti link:
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Soluzioni, Tutorial, Servizi finanziari, Approfondimenti e Clienti
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.