Passa al contenuto principale

I tuoi agenti prendono decisioni su dati non aggiornati — e il motivo è il tuo ODS

Lo specialista Databricks Lakebase/Neon Yanic Motte spiega perché il modello di coerenza dell'operational data store è diventato un rischio aziendale e perché la soluzione non è una pipeline migliore, ma la sua completa eliminazione.

di Staff di Databricks

  • L'operational data store si è sempre basato sulla sincronizzazione di due sistemi, un database transazionale e uno analitico, tramite pipeline CDC e repliche fragili, costose e intrinsecamente soggette a ritardi.
  • Gli agenti AI eliminano la valutazione umana che un tempo assorbiva tale ritardo. Un agente non sa che i suoi dati sono obsoleti; si limita ad agire in base ad essi.
  • LTAP non migliora la sincronizzazione tra i sistemi operativi e analitici, ma ne elimina la necessità, unificando entrambi a livello di storage.

Yanic Motte è entrato in Databricks in seguito all'acquisizione di Neon, portando Postgres serverless al cuore della data platform dell'azienda. Come specialista di Lakebase Postgres, ha trascorso gli ultimi mesi ad aiutare i team a capire dove si colloca il loro operational data store, o dove non si colloca, quando i dati transazionali e analitici smettono di risiedere in sistemi separati. In questa conversazione, spiega perché il classico ODS stia arrivando al capolinea e da cosa viene effettivamente sostituito.

Quando i dati non aggiornati smettono di essere un errore di arrotondamento

Un ritardo di sincronizzazione di venti minuti un tempo era un errore di arrotondamento. Ora è la differenza tra un agente che individua una frode e uno che la approva. Perché?

Yanic Motte: Perché una persona che guarda una dashboard applica automaticamente il proprio giudizio. Vede un numero, sa che potrebbe essere indietro di qualche minuto e adegua il livello di fiducia. Un agente non lo fa. Legge una riga, la considera aggiornata e agisce. Se il flag di rischio di un cliente non si è allineato a qualcosa accaduto novanta secondi fa, l'agente non usa cautela verso quel divario: non sa nemmeno che esiste. È proprio questo il cambiamento. Il ritardo prima era un fastidio di UX. Ora è una decisione presa su informazioni errate, a velocità di macchina, potenzialmente migliaia di volte al minuto.

Che cos'è davvero un ODS

Prima di analizzare cosa sta cambiando, definiamo i termini. Cos'è un operational data store?

Yanic Motte: La definizione classica di operational data store risale a Inmon, Imhoff e Battas: uno store orientato ai soggetti, integrato, corrente e volatile, progettato per il processo decisionale tattico.

In pratica, ciò significa che è organizzato attorno agli elementi rilevanti per il business (un cliente, un ordine, un profilo di rischio), anziché attorno al sistema che genera casualmente i dati. Riunisce tali entità da più sistemi sorgente in un'unica vista risolta e riflette ciò che è vero in questo preciso momento, non la cronologia. La parola chiave è tattico. Un data warehouse risponde a "cosa è successo lo scorso trimestre". Un ODS risponde a "cosa c'è di vero su questo account, in questo momento".

È corretto definirlo semplicemente come un database relazionale normalizzato ottimizzato per query operative?

Yanic Motte: È l'aspetto che ha, ma ne minimizza il ruolo. La maggior parte delle implementazioni ODS è relazionale, certo, indicizzata per la ricerca anziché per le scansioni. Ma la definizione non riguarda lo schema, bensì queste quattro proprietà: orientato ai soggetti, integrato, corrente e volatile. Un ODS non è esplicitamente un data warehouse, non è un'area di staging ETL e non è un database di reporting dipartimentale. Molti team costruiscono qualcosa di strutturalmente corretto per poi lasciarlo trasformare silenziosamente in una di queste cose. È solitamente lì che smette di funzionare.

Perché gli agenti cambiano le carte in tavola

Si tratta davvero di un problema guidato dall'IA, o l'IA è solo il sintomo più visibile di qualcosa che c'è sempre stato?

Yanic Motte: Entrambe le cose, in tutta onestà. Team operativi, agenti di supporto, analisti di frodi e tecnici sul campo hanno sempre avuto bisogno di dati aggiornati al secondo per svolgere al meglio il proprio lavoro. Questo requisito non è nuovo. La novità riguarda chi consuma i dati. Una persona che lavora su un record leggermente obsoleto è inefficiente. Un agente che approva una transazione o sblocca un blocco per frode basandosi su un record obsoleto commette un errore, e lo fa su larga scala. Gli agenti non hanno inventato il problema della freschezza dei dati. Hanno rimosso il giudizio umano che prima si interponeva tra "questi dati sono un po' vecchi" e "è appena successo qualcosa a causa di questo".

Puoi spiegarmi in dettaglio cosa si interrompe nello specifico in un workflow agentico attivo?

Yanic Motte: La frode è l'esempio più chiaro. Le transazioni con carta vengono autorizzate in poche centinaia di millisecondi. Se l'agente che controlla le frodi lavora su una copia batch vecchia di minuti o ore, è strutturalmente troppo lento: la transazione è già stata autorizzata quando l'agente la rileva. Quindi si desidera che l'agente lavori direttamente sul sistema operativo live. Ma quel sistema sta anche assorbendo un flusso costante di scritture e brevi letture; non è stato progettato per gestire anche una pesante query analitica. Se l'agente deve scansionare l'intera cronologia degli acquisti di un cliente per verificare un'anomalia, si tratta di una query onerosa eseguita su un sistema ottimizzato per il lavoro opposto, che può degradare ogni altra transazione in fase di autorizzazione simultanea. Un singolo agente che fa questo è gestibile. Una flotta di agenti che eseguono query simili in modo concorrente può sovraccaricare rapidamente il sistema se nulla governa il carico che possono applicare.

L'ODS che non avevi intenzione di costruire

Oltre alla pipeline di sincronizzazione in sé, cosa va storto quando i team non costruiscono intenzionalmente un ODS?

Yanic Motte: Questo è il pattern che vedo più spesso rispetto alla versione costruita intenzionalmente. Nessuno si siede a un tavolo decidendo di creare un ODS casuale, semplicemente si accumula: dashboard che interrogano direttamente l'OLTP di produzione perché nessuno aveva tempo per realizzare quello vero, una cache Redis dedicata per ogni team, job di sincronizzazione punto-a-punto che si moltiplicano perché ogni nuovo consumer sviluppa il proprio. Nulla di tutto questo è governato, nulla ha un nome ed è solitamente più fragile della versione costruita intenzionalmente perché nessuno è responsabile dell'architettura come sistema. Si finisce per pagare la tassa per l'ODS senza ottenere un ODS.

Quando i team lo costruiscono intenzionalmente, qual è il costo effettivo del mantenere sincronizzati i due stack?

Yanic Motte: Job CDC, pipeline di streaming, read replica: tutto esiste unicamente per copiare i dati da un sistema all'altro. Quella infrastruttura si blocca alle modifiche dello schema, compete per le risorse con il database transazionale da cui legge e ogni passaggio tra la scrittura e la lettura aggiunge latenza. Si paga anche per una seconda copia dei dati, con provisioning e governance separati da tutto il resto. Non è che i team non sappiano come costruirlo. È che la soluzione che stanno realizzando rappresenta intrinsecamente un freno alla freschezza dei dati, indipendentemente da quanto bene venga costruita.

Unificare lo storage invece di sincronizzarlo

Qual è quindi il nuovo modo di concepire i dati operativi?

Yanic Motte: Smettere di cercare di costruire una pipeline più veloce. Unificare invece lo storage. Consentire alle applicazioni operative di scrivere direttamente su una base unica e governata nel lake, in modo da non avere fin dall'inizio una seconda copia da mantenere sincronizzata. La versione schietta di questo concetto è che il settore cerca da anni di risolvere l'analisi in tempo reale con l'HTAP, ovvero un unico motore che prova a svolgere entrambi i compiti, e la soluzione è stata generalmente costosa, macchinosa e poco aperta. Ciò che cambia qui è che non si stanno unendo i motori. Si sta unificando lo storage, mantenendo al di sopra due motori serverless specializzati, uno ottimizzato per letture operative rapide e uno per scansioni analitiche, ognuno con scalabilità indipendente. Lo storage è la parte economica di un data system. Il compute è la parte costosa. Questa è l'intera motivazione per unificare lo storage anziché il motore: si mantiene il motore efficiente e dedicato su ciascun lato e si paga il compute solo dove serve davvero.

Report

Il playbook sull'AI agentiva per l'enterprise

Cosa definisce l'LTAP

Quali sono le proprietà fondamentali di un'architettura LTAP?

Yanic Motte: Sostanzialmente tre elementi. Un'unica copia dei dati, non due. Accesso tramite doppio motore a quella stessa copia, con un percorso orientato alle righe per le letture operative e un percorso colonna per quelle analitiche, senza che nessuna delle due parti necessiti di un proprio duplicato. E un unico modello di governance su tutto, anziché avere la parte operativa come un'eccezione non governata mai raggiunta dal catalogo della parte analitica.

In pratica, in che modo questo elimina il passaggio di sincronizzazione? Ciò che prima richiedeva CDC e reverse-ETL, come avviene ora?

Yanic Motte: Dipende da come è architettato lo storage sottostante. Il compute è stateless e completamente disaccoppiato dallo storage, un aspetto ereditato da Neon. Questa separazione consente al livello di storage durevole di assorbire scritture ad elevato throughput e di trasferirle sullo storage di oggetti indipendentemente dal compute che lo sta interrogando in quel momento. Poiché tali dati arrivano già sul cloud storage, vengono rappresentati nello stesso formato colonna già utilizzato dal lakehouse, consentendo a un motore analitico di leggerli direttamente senza richiedere una seconda copia. La parte difficile è stata garantire che nulla andasse perso nella conversione dei tipi e delle codifiche di Postgres in un formato aperto come Delta o Iceberg, senza modificare un solo bit. Una volta ottenuto questo, il livello di storage esegue due tier sugli stessi dati: un tier in formato riga più caldo per l'accesso operativo e un tier colonna più freddo per le letture analitiche, fornendo a entrambe le parti ciò di cui hanno bisogno dagli stessi byte sottostanti.

Cosa non cambia

L'LTAP elimina del tutto la separazione tra lavoro operativo e analitico, oppure l'isolamento del workload rimane una preoccupazione reale, solo risolta diversamente?

Yanic Motte: L'isolamento del workload è ancora assolutamente fondamentale. Non si desidera che una pesante scansione analitica competa per le risorse con una transazione in fase di autorizzazione. L'LTAP non pretende che questo problema scompaia, ma lo risolve senza duplicazione fisica. Si ottengono due motori, ciascuno ottimizzato per il proprio compito e con scalabilità indipendente, posizionati su un'unica copia logica dei dati anziché due. La governance segue la stessa logica. In passato i dati operativi costituivano un silo a sé stante per impostazione predefinita: una pipeline li inviava altrove e da quel momento nessuno era davvero responsabile di ciò che accadeva. In un modello di storage unificato, sono sotto un unico catalogo fin dall'inizio. Non occorre sperare che la parte operativa ottenga prima o poi gli stessi controlli di accesso di quella analitica: il perimetro è lo stesso per tutto il tempo.

Cosa valutare prima della migrazione

Cosa dovrebbe valutare un team prima di migrare un ODS esistente verso un'architettura LTAP?

Yanic Motte: Inizia a capire quali workload necessitano davvero di una copia separata dei dati e quali invece hanno solo bisogno di un accesso regolamentato e a bassa latenza alla copia già esistente. La maggior parte dei team scopre che l'elenco è più breve di quanto si aspettasse. Oltre a questo, valuta con franchezza cosa stai migrando: se il tuo ODS sta consolidando diversi sistemi sorgente, quel lavoro di integrazione deve comunque avvenire da qualche parte; LTAP non elimina la necessità di riconciliare i dati da più sistemi in un'unica vista, ma elimina la necessità di copiare poi quella vista riconciliata in un secondo archivio. E se il motivo per cui usavi un ODS era davvero il reporting in tempo quasi reale sulle transazioni attive, questa è la motivazione più solida a favore dell'unificazione. Se si trattava di qualcosa di più simile a un reporting batch comunemente definito ODS, l'urgenza di migrare è minore, anche se i costi di gestione di un secondo sistema non scompaiono solo perché il workload ha una priorità inferiore.

L'unica decisione da non rimandare

Se fossi un data architect che oggi sta definendo un nuovo sistema, qual è l'unica cosa che gli raccomanderesti di non rimandare?

Yanic Motte: Smetti di progettare ponendo la sincronizzazione come impostazione predefinita. Il riflesso incondizionato è ancora quello di chiedersi quale sia la strategia CDC o come mantenere aggiornata la replica. Erano buone domande per l'architettura che ci stiamo lasciando alle spalle. Ora la domanda migliore è se questo workload abbia davvero bisogno di una seconda copia dei dati o se gli basti un accesso regolamentato all'unica copia già esistente. Gli agenti hanno reso la questione urgente, ma a essere sinceri, i dati operativi e analitici probabilmente non avrebbero mai dovuto essere separati fin dall'inizio. Non stiamo inventando qualcosa di nuovo, ma piuttosto annullando un compromesso vecchio di quarant'anni che ha smesso di avere senso nel momento in cui a leggere i dati è stato qualcosa di diverso da una persona.

Dalla tassa sulle pipeline allo storage unificato

Per quarant'anni, i dati operativi e analitici hanno vissuto separati perché la fisica dello storage lo imponeva: righe per transazioni veloci, colonne per analisi ad ampio spettro. Gli agenti sono il primo workload che non può permettersi il ritardo creato da questa separazione. LTAP non cancella la differenza tra una transazione e una query analitica, ma elimina il costo extra derivante dall'esecuzione di entrambe sugli stessi dati. Per un data architect che deve decidere se il suo prossimo sistema necessiti effettivamente di questo pattern, il test di Yanic Motte è molto utile: se la decisione successiva di un agente dipende da dati ancora in corso di assestamento, su un sistema progettato per mantenere tali dati vicini e protetti, il vecchio modello basato su pipeline e copie non è più abbastanza veloce. È proprio questo il problema che LTAP è stato creato per risolvere.

Leggi anche: Scopri come Databricks unifica i dati operativi e analitici con Lakebase.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.