Comment Procore propulse ses analyses dans la construction avec OpenSharing

Connecter une industrie bâtie sur des données cloisonnées

Le secteur de la construction repose sur des données qui se trouvent rarement au même endroit. Les informations sont éparpillées sur différentes plates-formes, régions et équipes, et restent souvent bloquées dans les systèmes de la partie qui les a générées. Lorsque les données de terrain ne sont pas connectées au système financier, ce cloisonnement peut masquer des risques financiers. Lorsqu'un chef de projet, un cadre du secteur de la construction situé à des milliers de kilomètres et un directeur de chantier ne partagent pas la même vue d'un projet, les décisions sont prises sur la base d'informations obsolètes ou partielles.

Procore, l'un des principaux fournisseurs mondiaux de logiciels de gestion de la construction desservant des dizaines de milliers de clients aux États-Unis, en Europe, au Moyen-Orient, en Asie et en Australie, a été conçu pour combler ces lacunes, en connectant tous les acteurs de la construction sur une seule et même plate-forme. Cela concerne plus particulièrement trois groupes : les propriétaires (promoteurs immobiliers et toute personne possédant et exploitant elle-même l'infrastructure ou le bien immobilier), les entrepreneurs généraux qui gèrent les projets de bout en bout et les entrepreneurs spécialisés tels que les électriciens et les plombiers qui exécutent le travail sur le terrain.

Mais connecter les données au sein de Procore ne représente que la moitié du chemin. Les clients ont également besoin de ces données dans leurs propres environnements, aux côtés de tout ce qui fait tourner leur entreprise (par exemple, un entrepreneur général qui importe les données de Procore dans Power BI pour suivre les indicateurs de personnel et de main-d'œuvre sur les chantiers actifs, ou un client qui les combine avec son ERP et ses systèmes financiers pour visualiser l'exécution du projet et les coûts en un seul endroit). C'est ce que propose Procore Analytics : un accès programmatique à l'ensemble de données connectées de Procore, importé dans les outils qu'utilise déjà le client (Power BI, Tableau, Snowflake, BigQuery, leur propre espace de travail Databricks ou SQL Server sur site) pour le reporting et l'analyse en aval.

Évoluer au-delà de la première génération de Procore Analytics

La première génération de Procore Analytics datait d'avant OpenSharing. Elle reposait sur un backend SQL Server. Les données étaient extraites des API publiques de Procore et chargées dans une base de données Azure que les clients pouvaient interroger.

Cette architecture fonctionnait, mais elle avait atteint ses limites. Les actualisations se limitaient à une seule exécution quotidienne, et même les clients qui payaient pour des actualisations supplémentaires étaient limités à un maximum de trois par jour. Pour les projets de construction où les conditions changent d'une heure à l'autre, ce décalage constituait le principal facteur limitant.

Les extractions pilotées par API posaient également des problèmes de coût et de fiabilité à grande échelle. L'extraction de données pour des dizaines de milliers de clients par le biais d'API publiques nécessitait l'exécution d'appels récursifs profonds, qui s'avéraient coûteux, fragiles et sujets aux délais d'attente dépassés ou aux dépassements de limites.

Pourquoi OpenSharing

Au moment où Procore a commencé à concevoir la prochaine génération de Procore Analytics, Databricks alimentait déjà d'autres parties de la plate-forme Procore. OpenSharing s'est donc imposé naturellement pour le produit d'extraction destiné aux clients, offrant plusieurs avantages spécifiques par rapport à l'ancienne méthode par API.

Efficacité opérationnelle. Le partage de fichiers préparés sur place élimine le coût, la fragilité et le risque de délai d'attente liés à l'exécution d'appels API récursifs profonds pour chaque client, soit la même contrainte qui limitait la fréquence d'actualisation dans Procore Analytics 1.0.

Évolutivité. Procore peut désormais partager des centaines de tables préparées avec chaque client, tout en maintenant un accès cloisonné par client pour gérer des centaines de milliers de partages de données distincts à grande échelle. Certaines de ces entreprises gèrent des centaines ou des milliers de projets simultanés, et chacune d'entre elles a besoin d'une vue actualisée des travaux.

Portée. Les clients de Procore utilisent tous les principaux clouds et toutes les piles informatiques imaginables, d'Excel et Power BI à des environnements Databricks complets. Le protocole ouvert d'OpenSharing s'adapte à tous. Les outils de BI tels que Power BI et Tableau fonctionnent immédiatement, et les clients qui utilisent déjà Databricks bénéficient d'une expérience native de Databricks à Databricks sans avoir à déplacer de données. Les clients utilisant d'autres entrepôts et plates-formes peuvent consommer les mêmes partages à l'aide des bibliothèques clientes ouvertes OpenSharing.

Fiabilité et performances. Les clients consomment des données régies et préparées qui ont déjà été nettoyées, modélisées et contrôlées au niveau de la qualité, plutôt que d'enchaîner des appels API et d'assembler les résultats.

Sécurité et gouvernance. Le partage s'effectue via Unity Catalog, de sorte que chaque table est régie de manière centralisée et que l'accès est appliqué par utilisateur et par projet. Un entrepreneur général peut partager l'avancement du projet avec le propriétaire tout en gardant ses propres données financières confidentielles.

L'implémentation

Procore a bâti Procore Analytics 2.0 sur une architecture médaillon au sein de Databricks. Les événements bruts provenant de la base de données de l'application Procore et les événements d'intégration arrivent intacts dans la couche bronze. La couche silver applique des processus de nettoyage, de validation et des contrôles de qualité des données, produisant ainsi les ensembles de données confirmés dont dépendent tous les éléments en aval. La couche gold est celle où les données sont agrégées, optimisées et modélisées à des fins d'analyse.

Les couches bronze, silver et gold s'exécutent toutes dans plusieurs régions afin que le traitement s'effectue à proximité des données sources. Les tables gold sont ensuite extraites de chaque région vers une région d'analyse principale unique, à partir de laquelle OpenSharing distribue les données aux clients.

Deux voies de réception. Les clients n'utilisant pas Databricks génèrent un jeton OpenSharing directement dans l'application Procore et se connectent à l'aide du protocole ouvert. Les clients qui utilisent Databricks ajoutent leur identifiant d'espace de travail pour recevoir les partages de manière native via le partage de Databricks à Databricks.

Droits automatisés. Une tâche planifiée surveille les nouveaux partages et les modifications de permissions, lit les permissions de chaque utilisateur à partir de l'application Procore et réconcilie les droits OpenSharing en conséquence. Il en résulte une application des règles par utilisateur et par projet sans provisionnement manuel, ce qui permet à un entrepreneur général de partager l'avancement d'un projet avec le propriétaire tout en préservant la confidentialité de ses propres données financières, ou de ne partager des données concernant un partenaire commercial qu'avec ce dernier.

Granularité et incrémentation. Procore effectue les partages au niveau du schéma, de la vue, de la table et de la partition. Les tables disposent de la fonction Change Data Feed activée, ce qui permet aux destinataires de choisir entre consommer un ensemble de données complet ou uniquement ce qui a changé depuis la dernière synchronisation, ce qui est particulièrement important lorsque des tables individuelles contiennent des millions d'enregistrements.

Une couche sémantique commune. Étant donné que la même couche gold alimente à la fois les rapports intégrés de Procore et l'extraction des clients, les schémas et les conventions de nommage concordent d'un produit à l'autre. Un client qui consulte une valeur dans l'interface utilisateur de Procore obtient la même valeur, avec le même nom, dans son extraction.

Un rythme de modification prévisible. Fournir des données à des milliers d'environnements clients en aval signifie que les modifications cassantes doivent être communiquées avec précaution. Une modification cassante est tout ce qui peut perturber le pipeline en aval d'un client, comme le renommage d'un champ, la modification du type de données d'une colonne ou la restructuration d'une table. Procore a opté pour quatre versions comportant des modifications cassantes par an avec un préavis de six semaines, et douze versions sans modifications cassantes par an avec un préavis de trois semaines, en phase avec le calendrier organisationnel global.

Une équipe de données réorganisée. L'ancien monde comprenait deux pipelines parallèles, l'un pour l'analyse, l'autre pour les rapports intégrés, chacun avec ses propres processus d'ingestion, de modélisation et de gouvernance. Le nouveau monde regroupe le tout en un seul parcours. Un pipeline unique combiné gère l'ingestion, le chargement, la modélisation et la gouvernance, puis s'oriente vers des équipes de domaine de données alignées sur des secteurs d'activité tels que la finance. Chaque équipe de domaine gère ses données de bout en bout et collabore avec les équipes d'application concernées sur les subtilités de chaque outil, plutôt que de dupliquer ces connaissances au sein d'équipes distinctes d'analyse, de reporting et d'intelligence.

Impact mesurable

Le résultat commercial le plus tangible est la disponibilité des données. Alors qu'il a fallu plusieurs années à Procore Analytics 1.0 pour constituer son catalogue de base de tables et de champs disponibles avec OpenSharing, Procore Analytics 2.0 a étendu ce catalogue à des centaines de tables en moins de la moitié de ce temps, doublant ainsi la surface de données que les clients peuvent extraire à grande échelle. C'est important car Procore lance constamment de nouvelles fonctionnalités, et chaque nouvelle fonctionnalité génère des données que les clients souhaitent importer dans leurs propres environnements. Un catalogue plus vaste signifie qu'une plus grande partie de cette nouvelle fonctionnalité est accessible aux clients en aval sans nécessiter de travail d'intégration ponctuel.

Pour les clients finaux, le passage à OpenSharing a supprimé la limite d'une actualisation par jour et a transformé la journée de travail. Les clients planifient désormais les actualisations en fonction du rythme de leur activité, et beaucoup de ceux qui effectuaient une mise à jour quotidienne le font désormais plusieurs fois par jour, selon la cadence prise en charge par leurs outils en aval. Un chef de projet qui se prépare pour une présentation client importante peut intégrer une série de dernières modifications de la part d'un cadre ce matin-là et faire en sorte que le tableau de bord en direct les reflète à temps pour la réunion. Dans l'ancien modèle, ces subtilités devaient être expliquées pendant la réunion elle-même.

Pour les équipes produit internes, un pipeline partagé unique signifie qu'une équipe d'outils peut créer une nouvelle fonctionnalité et rendre ses données extractibles pour les clients presque dès son lancement, au lieu d'attendre des mois qu'un pipeline d'analyse parallèle se mette à niveau. Procore s'attend à ce que chaque gain de disponibilité des données d'outils se traduise directement par de nouvelles expériences produit pour les clients.

Une base de données pour le reporting, l'analyse et l'IA

Au-delà des avantages immédiats en matière de fréquence de rafraîchissement, d'échelle et de portée, l'architecture de données créée par Procore sur Databricks et OpenSharing offre aux clients une base gouvernée et disponible en permanence pour le reporting et l'intelligence à l'échelle de l'entreprise. Qu'il s'agisse de standardiser le reporting pour chaque chantier actif, d'alimenter les outils de BI de l'entreprise avec des données de projet ou de créer des projets d'IA par-dessus, la valeur commence toujours de la même manière : avec des données propres, modélisées, gouvernées et accessibles dans tous les systèmes qui en ont besoin.

C'est exactement ce que propose Procore Analytics 2.0. Une unique couche gold multi-région qui alimente les propres applications de Procore, s'intègre dans les produits que les clients développent à partir de leurs données Procore, et qui, grâce à OpenSharing et aux autres canaux de données de Procore, dessert des milliers d'entreprises de construction sur tous les principaux cloud. Grâce à cette base solide, le reporting d'entreprise, l'analytique et les nouveaux cas d'usage de l'IA s'appuient tous sur la même source de vérité fiable et actualisée, plutôt que sur une série d'intégrations ponctuelles.

L'objectif à long terme s'inscrit dans la mission de Procore dès le premier jour : connecter tous les acteurs de la construction sur une plateforme mondiale, afin de donner à chaque équipe sur chaque projet les données de confiance dont elle a besoin pour bâtir de manière plus sûre, plus rapide et plus intelligente.

"OpenSharing nous a aidés à accroître la disponibilité des données, ce qui signifie que tout le monde dans le secteur de la construction, des dirigeants aux chefs de projet en passant par les équipes sur le terrain, dispose d'une meilleure visibilité sur les chantiers qu'ils réalisent. Cela les aide à livrer leurs projets dans les temps, dans le respect du budget et en toute sécurité."- Matthew Guptill, Product Manager, Procore Analytics

Vous créez un produit de données que vos clients utilisent directement dans leurs propres outils ? OpenSharing vous offre une solution ouverte et gouvernée pour diffuser des données en direct sur tous les cloud, régions et plateformes qu'ils utilisent, sans avoir à multiplier les copies. Découvrez le fonctionnement d'OpenSharing, puis explorez Databricks Marketplace pour partager et découvrir des ensembles de données en direct. Explore OpenSharing 

Mettez vos données au travail. Procore Analytics transforme les données de vos projets en indicateurs clés exploitables, en connectant les informations de chaque chantier et en les transmettant aux outils que vos équipes utilisent déjà. Découvrez comment Procore Analytics vous aide à prendre des décisions plus rapides et plus sûres pour l'ensemble de votre portefeuille. Explore Procore Analytics 

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original