Passa al contenuto principale
Piattaforma

Scopri approfondimenti sugli investimenti senza migrare i tuoi dati: Lakehouse Federation

Come combinare dati di portfolio locali sensibili con intelligence finanziaria di terze parti senza compromettere la sicurezza o la conformità

di Meghana Padmanabhan, Isaac Gritz e Max Nienu

  • Federated, non copiare: Databricks Lakehouse Federation esegue query sui database locali direttamente da Databricks utilizzando SQL standard. I dati non si spostano mai.
  • Abbonati, non costruire: i dati finanziari di FactSet dal Databricks Marketplace appaiono come un catalogo nativo. Nessuna pipeline di ingestione richiesta.
  • Una sola query, quadro completo: un singolo join SQL tra entrambi i cataloghi alimenta le dashboard e le query in linguaggio naturale di Genie, senza oggetti intermedi persistenti e offrendo informazioni ricche su portfolio e investimenti.

Lakehouse Federation: esegui query ovunque, senza spostare nulla

Nel panorama aziendale odierno, i dati si trovano raramente in un'unica posizione. Istituzioni finanziarie, gestori patrimoniali e singoli investitori affrontano una sfida comune: i loro dati più sensibili, tra cui portafogli di titoli, posizioni di trading e informazioni sui clienti, risiedono spesso in database locali (on-premises) protetti da firewall aziendali, nel cloud o in entrambi gli ambienti. Questa sfida è aggravata dal fatto che i dati di terze parti necessari per l'analisi, inclusi dati di mercato, stime degli analisti e fondamentali finanziari, si trovano sempre più spesso nel cloud.

Gli approcci tradizionali impongono una scelta difficile: copiare i dati sensibili nel cloud, configurare fragili pipeline ETL o rinunciare del tutto all'integrazione dei due sistemi.

E se potessi semplicemente federare la sorgente on-premises, abbonarti ai dati di terze parti sul cloud e passare direttamente da quei due cataloghi a una dashboard e a una chat in linguaggio naturale, senza pipeline, viste materializzate o oggetti persistenti intermedi?

Questa è la Databricks Lakehouse Federation nella sua forma più semplice.

La soluzione: esegui query ovunque, senza spostare nulla, senza costruire nulla

Databricks Lakehouse Federation ti permette di creare connessioni federate a database esterni come SQL Server, PostgreSQL, MySQL, Snowflake e altri, interrogandoli direttamente da Databricks tramite SQL standard. I dati rimangono esattamente dove sono. Nessuna copia. Nessuna sincronizzazione. Nessun problema di conformità.

Aggiungi una condivisione di dati del marketplace e avrai due cataloghi affiancati in Unity Catalog: uno federato e uno condiviso, che una normale query SQL può unire come se fossero due tabelle qualsiasi.

Database esterni

Un esempio pratico: analisi del portafoglio clienti

Esaminiamo un esempio concreto. Immagina di essere una società di wealth management con:

  • Dati di prima parte: le partecipazioni del tuo portafoglio (quali azioni possiedi e quante quote), memorizzate in un database SQL Server on-premises.
  • Dati di terze parti: dati finanziari FactSet dal Databricks Marketplace, inclusi fondamentali sugli utili e stime degli analisti.

Il tuo obiettivo: creare una dashboard di investimento che mostri i tuoi utili previsti, identifichi le posizioni ad alto rischio e raccomandi azioni, il tutto senza esporre i dati del tuo portafoglio al cloud.

Fase 1: Configura l'accesso ai dati di portafoglio e ai dati FactSet

Fase 1a: Configura la connessione federata

La configurazione della federazione è semplice tramite la UI di Databricks. Vai su Catalog → External Data → Connections e crea una nuova connessione al tuo database on-premises.

Dati FactSet

La connessione memorizza in modo sicuro le tue credenziali.

Fase 1b: Crea un catalogo esterno (foreign catalog)

Una volta stabilita la connessione, crea un catalogo esterno che mappa il tuo database on-premises. Questo fa sì che le tue tabelle esterne vengano visualizzate come oggetti nativi di Unity Catalog.

Catalogo esterno

Dopo questo passaggio, i tuoi dati on-premises appaiono come un catalogo, ma non lasciano mai il tuo SQL Server. Ogni query viene eseguita sulla sorgente in tempo reale.

SQL Server

Fase 1c: Abbonati ai dati FactSet dal Marketplace

Il Databricks Marketplace fornisce accesso immediato ai dati finanziari completi di FactSet. Cerca FactSet, esamina i dataset disponibili e richiedi l'accesso. Una volta che il provider approva la tua richiesta, puoi abbonarti ai dataset pertinenti.

Databricks Marketplace per i dati FactSet

Dopo l'iscrizione, i dati sono disponibili come catalogo condiviso nel tuo workspace, organizzato in schemi:

  • fe_v4 - FactSet Estimates: previsioni EPS di consenso degli analisti, proiezioni degli utili e conteggio delle stime
  • ff_v3 - FactSet Fundamentals: rendiconti finanziari annuali che includono ricavi, utile netto, margini di profitto e livelli di debito
  • sym_v1 - Symbology: mappature da ticker a entità che collegano i simboli del tuo portafoglio agli identificatori interni di FactSet

Workspace del catalogo

Queste tabelle compaiono accanto al catalogo del tuo portafoglio federato in Unity Catalog. Puoi esplorarle, visualizzarne l'anteprima e controllare gli schemi, il tutto senza alcuna ingestion o copia dei dati.

Fase 2: Esplora i dati combinati

Fase 2a: Esplora i dati combinati con SQL

Con entrambe le origini dati accessibili tramite Unity Catalog, un gestore patrimoniale può aprire l'editor SQL e scrivere una query che si estende su entrambe: le partecipazioni federate da un lato e le tabelle del marketplace FactSet dall'altro. Per l'autore SQL sembrano due tabelle normali nello stesso warehouse.

Unity Catalog

Non c'è alcuna pipeline da creare, nessuna vista materializzata da pianificare e nessun layer gold da mantenere. Ogni volta che la query viene eseguita, ri-federa la sorgente on-premises in tempo reale e la unisce alla condivisione del marketplace.

Fase 3: Utilizza i dati

Fase 3a: Crea la dashboard di investimento

La dashboard è alimentata dalla stessa query combinata inserita direttamente nel dataset di ciascun widget. Non vengono create viste né salvate tabelle persistenti. Ogni widget ri-federa la sorgente a ogni aggiornamento.

Risponde istantaneamente a domande come:

  • Stato del portafoglio: partecipazioni totali, utili annuali attuali, utili annuali previsti, conteggio ad alto rischio
  • Distribuzione del rischio: quale quota del portafoglio è a rischio alto/medio/basso?
  • Consigli di investimento: quante azioni dovrei acquistare rispetto a quelle da vendere?
  • Top performer: quali partecipazioni stanno generando più utili e come si confrontano gli utili attuali con quelli previsti?
  • Tabella completa delle partecipazioni: utili per azione, % di crescita, % di margine, D/E, rischio e raccomandazione di azione.

Dashboard di investimento

Fase 3b: Abilita le query in linguaggio naturale con Genie

L'ultimo elemento: un agente Genie collegato direttamente alle stesse partecipazioni federate e alle tabelle del marketplace FactSet. Genie riceve nelle sue istruzioni la catena di join e i filtri sulla qualità dei dati. Traduce il linguaggio naturale nelle stesse query eseguite dalla dashboard.

Il risultato: accesso ai dati democratizzato. Gestori di portafoglio, consulenti finanziari e singoli investitori possono ottenere risposte senza scrivere codice SQL e senza che nessuno debba materializzare nulla.

Agente Genie

Il quadro completo

Databricks Lakehouse Federation trasforma radicalmente l'economia dell'analisi dei dati ibridi. Invece del processo costoso, rischioso e dispendioso in termini di tempo di spostare i dati nel cloud, o del processo altrettanto gravoso di creare e mantenere pipeline al di sopra di essi, puoi portare il calcolo dove si trovano i dati e lasciare che sia un'unica query a gestire tutto il flusso successivo.

In questo esempio, la procedura guidata ha creato una soluzione completa di analisi degli investimenti che:

  • Interroga i dati di portafoglio on-premises in tempo reale
  • Li arricchisce con l'intelligence finanziaria FactSet dal Marketplace
  • Combina entrambi in un'unica query SQL, senza oggetti intermedi persistenti
  • Visualizza tutto in una dashboard interattiva
  • Abilita query in linguaggio naturale con Genie

Il tutto senza copiare una sola riga di dati di portafoglio nel cloud.

Il futuro dell'analisi dei dati non consiste nel trasferire tutti i tuoi dati in un unico posto e nemmeno nel creare pipeline elaborate per rimodellarli. Si tratta invece di interrogare i dati ovunque essi si trovino. Sebbene questo blog abbia usato i portafogli di investimento come esempio, questo modello – federare dati proprietari sensibili, iscriversi a dati di terze parti basati su cloud e analizzare senza spostare o copiare nulla – si applica in modo esteso. Le organizzazioni sanitarie possono unire cartelle cliniche protette da HIPAA con database di interazione farmacologica per raccomandazioni sui trattamenti. Le aziende manifatturiere possono federare la telemetria IoT locale con i dati della catena di approvvigionamento basati su cloud. I rivenditori possono combinare i sistemi POS in-store con set di dati demografici di terze parti.Il filo conduttore: i dati proprietari sensibili rimangono protetti consentendo al contempo analisi avanzate con dati di terze parti.

Pronto per iniziare? Esplora i seguenti link:

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Tag correlati:

Soluzioni, Tutorial, Servizi finanziari, Approfondimenti e Clienti

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.