In che modo Procore alimenta l'analisi delle costruzioni con OpenSharing

Connettere un settore basato su dati disconnessi

L'edilizia si basa su dati che raramente si trovano in un unico posto. Le informazioni sono sparse tra piattaforme, regioni e team, spesso bloccate nei sistemi di chi le ha generate. Quando i dati di campo non sono connessi al sistema finanziario, questa disconnessione può nascondere rischi finanziari. Quando un project manager, un dirigente edile a migliaia di chilometri di distanza e un capocantiere non riescono a vedere la stessa prospettiva di un progetto, le decisioni vengono prese sulla base di informazioni obsolete o parziali.

Procore, uno dei principali fornitori globali di software di gestione edile al servizio di decine di migliaia di clienti negli Stati Uniti, in Europa, in Medio Oriente, in Asia e in Australia, è nato per colmare queste lacune, connettendo tutti gli attori dell'edilizia su un'unica piattaforma. Ciò significa in particolare tre gruppi: committenti (promotori immobiliari e chiunque possieda e gestisca direttamente la struttura o l'infrastruttura immobiliare), appaltatori generali che gestiscono i progetti end-to-end e appaltatori specializzati come elettricisti e idraulici che eseguono il lavoro sul campo.

Ma connettere i dati all'interno di Procore è solo metà dell'opera. I clienti hanno anche bisogno di quei dati nei loro ambienti, insieme a tutto ciò su cui basano il business (ad esempio, un appaltatore generale che estrae i dati di Procore in Power BI per monitorare le metriche della forza lavoro e del personale nei cantieri attivi, o un cliente che li unisce ai propri sistemi ERP e finanziari per vedere l'esecuzione del progetto e i costi in un unico posto). È questo che offre Procore Analytics: accesso programmatico al dataset connesso di Procore, inserito in qualsiasi strumento il cliente utilizzi già — Power BI, Tableau, Snowflake, BigQuery, il proprio workspace Databricks o SQL Server on-prem — per la reportistica e l'analisi di livello successivo.

Evolversi oltre la prima generazione di Procore Analytics

La prima generazione di Procore Analytics precedeva completamente OpenSharing. Era basata su un backend SQL Server. I dati venivano estratti dalle API pubbliche di Procore e caricati in un database Azure che i clienti potevano interrogare.

L'architettura funzionava, ma aveva un limite invalicabile. Gli aggiornamenti erano limitati a una singola esecuzione giornaliera e persino i clienti che pagavano per aggiornamenti aggiuntivi erano limitati a un massimo di tre al giorno. Per i progetti edili in cui le condizioni cambiano di ora in ora, questo ritardo rappresentava il fattore limitante principale.

Le estrazioni basate su API creavano anche problemi di costo e affidabilità su scala. Estrarre dati per decine di migliaia di clienti tramite API pubbliche significava eseguire chiamate ricorsive profonde, che erano costose, fragili e inclini a timeout o al superamento dei limiti.

Perché OpenSharing

Nel momento in cui Procore ha iniziato a progettare la nuova generazione di Procore Analytics, Databricks stava già alimentando altre parti della piattaforma Procore. Ciò ha reso OpenSharing la scelta ideale anche per il prodotto di estrazione rivolto ai clienti, con numerosi vantaggi specifici rispetto al vecchio percorso API.

Efficienza operativa. La condivisione di file curati sul posto elimina il costo, la fragilità e il rischio di timeout derivanti dall'esecuzione di chiamate API ricorsive profonde per ogni cliente, la stessa pressione che limitava la frequenza degli aggiornamenti in Procore Analytics 1.0.

Scalabilità. Procore ora può condividere centinaia di tabelle curate con ciascun cliente, mantenendo l'accesso partizionato per cliente per gestire centinaia di migliaia di condivisioni di dati distinte su scala. Alcune di queste aziende gestiscono centinaia o migliaia di progetti simultanei e ognuna di esse ha bisogno di una vista aggiornata del lavoro.

Copertura. I clienti di Procore utilizzano ogni cloud principale e qualsiasi stack IT immaginabile, da Excel e Power BI a ambienti Databricks completamente configurati. Il protocollo aperto di OpenSharing si adatta a tutti. Gli strumenti di BI come Power BI e Tableau funzionano subito e i clienti che utilizzano già Databricks ottengono un'esperienza nativa da Databricks a Databricks senza spostare alcun dato. I clienti su altri data warehouse e piattaforme possono consumare le stesse condivisioni utilizzando le librerie client aperte di OpenSharing.

Affidabilità e prestazioni. I clienti utilizzano dati curati e governati che sono già stati puliti, modellati e sottoposti a controlli di qualità, anziché concatenare chiamate API e unire i risultati.

Sicurezza e governance. La condivisione avviene tramite Unity Catalog, quindi ogni tabella è governata in modo centralizzato e l'accesso viene applicato per utente e per progetto. Un appaltatore generale può condividere l'avanzamento del progetto con il committente mantenendo riservati i propri dati finanziari.

L'implementazione

Procore ha costruito Procore Analytics 2.0 su una architettura a medaglione all'interno di Databricks. Gli eventi grezzi dal database dell'applicazione Procore e gli eventi di integrazione arrivano nello strato bronze senza modifiche. Lo strato silver applica pulizia, validazione e controlli di qualità dei dati, producendo i dataset confermati da cui dipende tutto il resto a valle. Lo strato gold è il luogo in cui i dati vengono aggregati, ottimizzati e modellati per l'analisi.

Bronze, silver e gold operano su più regioni in modo che l'elaborazione avvenga vicino ai dati di origine. Le tabelle gold vengono quindi estratte da ciascuna regione in un'unica regione di analisi primaria, dove OpenSharing distribuisce i dati ai clienti.

Due percorsi di ricezione. I clienti senza Databricks generano un token OpenSharing direttamente all'interno dell'applicazione Procore e si connettono utilizzando il protocollo aperto. I clienti che dispongono di Databricks aggiungono il proprio identificatore di workspace per ricevere le condivisioni in modo nativo tramite la condivisione da Databricks a Databricks.

Entitlement automatizzati. Un job pianificato verifica la presenza di nuove condivisioni e modifiche ai permessi, legge i permessi di ciascun utente dall'applicazione Procore e riconcilia di conseguenza gli entitlement di OpenSharing. Il risultato è l'applicazione dei permessi per utente e per progetto senza provisioning manuale, in modo che un appaltatore generale possa condividere l'avanzamento del progetto con il committente mantenendo riservati i propri dati finanziari, o condividere dati specifici di un partner commerciale solo con quel partner.

Granularità e incrementalità. Procore condivide a livello di schema, vista, tabella e partizione. Le tabelle hanno il Change Data Feed abilitato, quindi i destinatari possono scegliere se consumare un dataset completo o solo ciò che è cambiato dall'ultima sincronizzazione, aspetto importante quando le singole tabelle contengono milioni di record.

Un livello semantico comune. Poiché lo stesso strato gold alimenta sia la reportistica in-app di Procore sia l'estrazione per il cliente, gli schemi e le convenzioni di denominazione coincidono tra i prodotti. Un cliente che vede un valore nell'interfaccia utente di Procore ottiene lo stesso valore, con lo stesso nome, nella sua estrazione.

Una cadenza di rilascio prevedibile. Distribuire dati a migliaia di ambienti di clienti a valle significa che le modifiche distruttive devono essere comunicate con attenzione. Una modifica distruttiva è qualsiasi cosa possa interrompere la pipeline a valle di un cliente, come rinominare un campo, modificare il tipo di dato di una colonna o ristrutturare una tabella. Procore ha optato per quattro rilasci con modifiche distruttive all'anno con un preavviso di sei settimane e dodici rilasci senza modifiche distruttive all'anno con un preavviso di tre settimane, in linea con il calendario dei rilasci organizzativi più ampio.

Un team di dati riorganizzato. Il vecchio mondo prevedeva due pipeline parallele, una per l'analisi e una per la reportistica in-app, ciascuna con la propria acquisizione, modellazione e governance. Il nuovo mondo consolida tutto questo in un unico percorso. Un'unica pipeline combinata gestisce acquisizione, caricamento, modellazione e governance, per poi diramarsi verso team di dominio dati allineati ad aree di business come la finanza. Ogni team di dominio gestisce i propri dati end-to-end e collabora con i team di applicazione pertinenti sulle specificità di ogni strumento, anziché duplicare tale conoscenza tra team separati di analisi, reportistica e business intelligence.

Impatto misurabile

Il risultato di business più tangibile è la disponibilità dei dati. Sebbene Procore Analytics 1.0 abbia impiegato diversi anni per costruire il proprio catalogo di base di tabelle e campi disponibili, con OpenSharing Procore Analytics 2.0 ha ampliato tale catalogo a centinaia di tabelle in meno della metà del tempo, raddoppiando di fatto la superficie dei dati che i clienti possono estrarre su scala. Questo è importante perché Procore rilascia costantemente nuove funzionalità e ogni nuova funzionalità produce dati che i clienti desiderano inserire nei propri ambienti. Un catalogo più ampio significa che una maggiore parte di quella nuova funzionalità è disponibile per i clienti a valle senza interventi di integrazione personalizzati.

Per i clienti finali, il passaggio a OpenSharing ha eliminato il limite degli aggiornamenti una volta al giorno e ha ridefinito la giornata lavorativa. Ora i clienti programmano gli aggiornamenti in base al ritmo del proprio business e molti di coloro che effettuano estrazioni giornaliere in realtà le eseguono più volte al giorno, con la cadenza supportata dai loro strumenti a valle. Un project manager che si prepara per un'importante presentazione a un cliente può ricevere una raffica di aggiornamenti dell'ultimo minuto da un dirigente quella mattina e fare in modo che la dashboard in tempo reale li rifletta in tempo per la riunione. Nel vecchio modello, tali dettagli dovevano essere spiegati durante la riunione stessa.

Per i team di prodotto interni, un'unica pipeline condivisa significa che il team di uno strumento può creare una nuova funzionalità e renderne estraibili i dati per i clienti quasi non appena viene rilasciata, invece di attendere mesi affinché una pipeline di analisi parallela si metta al passo. Procore prevede che ogni aumento della disponibilità dei dati degli strumenti si traduca direttamente in nuove esperienze di prodotto per i clienti.

Una base di dati per reportistica, analisi e AI

Oltre ai vantaggi immediati in termini di frequenza di aggiornamento, scalabilità e copertura, l'architettura dei dati creata da Procore su Databricks e OpenSharing offre ai clienti una base governata e sempre disponibile per la reportistica e l'intelligence aziendali. Che un cliente stia standardizzando i report su ogni lavoro attivo, alimentando la BI aziendale con i dati dei progetti o costruendo intelligenza artificiale su di essi, il valore parte sempre dallo stesso punto: dati puliti, modellati, governati e disponibili in ogni sistema che ne ha bisogno.

Questo è esattamente ciò che produce Procore Analytics 2.0. Un unico livello gold multi-regione che alimenta le esperienze applicative di Procore, confluisce nei prodotti che i clienti realizzano sui loro dati Procore e, attraverso OpenSharing e gli altri canali di dati di Procore, raggiunge migliaia di aziende edili su ogni cloud principale. Con questa base solida, la reportistica aziendale, l'analytics e i nuovi casi d'uso dell'IA attingono tutti dalla stessa fonte di verità affidabile e aggiornata, invece di una serie di integrazioni isolate.

L'obiettivo a lungo termine si allinea con la missione di Procore sin dal primo giorno: connettere tutti nel settore edile su una piattaforma globale, offrendo a ogni team di ogni progetto i dati affidabili di cui ha bisogno per costruire in modo più sicuro, rapido e intelligente.

"OpenSharing ci ha aiutato ad aumentare la disponibilità dei dati, il che significa che chiunque lavori nell'edilizia, dai dirigenti ai project manager fino al personale sul campo, ha una migliore visibilità sui lavori che svolge. Li aiuta a consegnare i progetti nei tempi previsti, rispettando il budget e in sicurezza."- Matthew Guptill, Product Manager, Procore Analytics

Stai creando un prodotto di dati che i tuoi clienti utilizzano nei loro strumenti? OpenSharing ti offre un modo aperto e governato per fornire dati in tempo reale su qualsiasi cloud, area geografica e piattaforma da loro utilizzata, senza copie da gestire. Scopri come funziona OpenSharing, quindi esplora il Databricks Marketplace per condividere e scoprire dataset in tempo reale. Scopri OpenSharing 

Metti i tuoi dati al lavoro. Procore Analytics trasforma i dati dei tuoi progetti in business intelligence fruibile, collegando le informazioni di ogni lavoro e inviandole agli strumenti che i tuoi team già utilizzano. Scopri come Procore Analytics ti aiuta a prendere decisioni più rapide e sicure in tutto il tuo portfolio. Scopri Procore Analytics 

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale