Wie Procore Bau-Analytik mit OpenSharing vorantreibt

Verbindung einer Branche, die auf isolierten Daten basiert

Die Baubranche stützt sich auf Daten, die selten an einem Ort zusammenlaufen. Informationen sind über verschiedene Plattformen, Regionen und Teams hinweg verstreut und oft in den Systemen der jeweiligen Partei eingeschlossen, die sie generiert hat. Wenn Felddaten nicht mit dem Finanzsystem verbunden sind, kann diese Trennung finanzielle Risiken verbergen. Wenn ein Projektmanager, ein Bauleiter, der sich Hunderte Meilen entfernt befindet, und ein Vorarbeiter auf der Baustelle nicht denselben Projektstand einsehen können, basieren Entscheidungen auf veralteten oder unvollständigen Informationen.

Procore, ein führender globaler Anbieter von Baumanagement-Software, der Zehntausende von Kunden in den USA, Europa, dem Nahen Osten, Asien und Australien betreut, wurde entwickelt, um diese Lücken zu schließen und alle Beteiligten im Bauwesen auf einer einzigen Plattform zu vernetzen. Das betrifft insbesondere drei Gruppen: Bauherren (Immobilienentwickler sowie alle, die die Immobilien oder die Infrastruktur selbst besitzen und betreiben), Generalunternehmer, die Projekte von Anfang bis Ende verwalten, sowie Fachunternehmer wie Elektriker und Installateure, die die Arbeit vor Ort ausführen.

Aber die Verbindung von Daten innerhalb von Procore ist nur die halbe Miete. Kunden benötigen diese Daten auch in ihren eigenen Umgebungen, zusammen mit allem anderen, worauf sie ihr Geschäft stützen (z. B. ein Generalunternehmer, der Procore-Daten in Power BI zieht, um Belegschafts- und Personalmetriken über aktive Aufträge hinweg zu verfolgen, oder ein Kunde, der sie mit seinem ERP- und Finanzsystem verknüpft, um Projektausführung und Kosten an einem Ort zu sehen). Genau das bietet Procore Analytics: programmatischen Zugriff auf den verbundenen Procore-Datensatz, der in das geladen wird, was der Kunde ohnehin schon nutzt – Power BI, Tableau, Snowflake, BigQuery, den eigenen Databricks-Workspace oder einen lokalen SQL Server –, für Berichte und Downstream-Analysen.

Die Weiterentwicklung über die erste Generation von Procore Analytics hinaus

Die erste Generation von Procore Analytics entstand lange vor OpenSharing. Sie basierte auf einem SQL-Server-Backend. Daten wurden aus den öffentlichen APIs von Procore extrahiert und in eine Azure-Datenbank geladen, die Kunden abfragen konnten.

Diese Architektur funktionierte, hatte aber eine harte Obergrenze. Aktualisierungen waren auf einen einzigen täglichen Durchlauf beschränkt, und selbst Kunden, die für zusätzliche Aktualisierungen bezahlten, waren auf maximal drei pro Tag gedeckelt. Bei Bauprojekten, bei denen sich die Bedingungen stündlich ändern, war diese Verzögerung der größte limitierende Faktor.

API-gesteuerte Extraktionen führten zudem zu Kosten- und Zuverlässigkeitsproblemen bei großen Datenmengen. Das Abrufen von Daten für Zehntausende von Kunden über öffentliche APIs erforderte tiefe rekursive Aufrufe, die teuer und fehleranfällig waren und dazu neigten, Zeitüberschreitungen zu verursachen oder Limits zu überschreiten.

Warum OpenSharing

Als Procore mit der Konzeption der nächsten Generation von Procore Analytics begann, trieb Databricks bereits andere Teile der Procore-Plattform an. Das machte OpenSharing zu einer nahtlosen Passform für das kundenorientierte Extraktprodukt, mit mehreren spezifischen Vorteilen gegenüber dem alten API-Weg.

Operative Effizienz. Das gemeinsame Nutzen von kuratierten Dateien direkt am Ort des Geschehens eliminiert die Kosten, die Fehleranfälligkeit und das Risiko von Zeitüberschreitungen beim Ausführen tiefer rekursiver API-Aufrufe für jeden einzelnen Kunden – genau der Druck, der die Aktualisierungshäufigkeit in Procore Analytics 1.0 begrenzte.

Skalierbarkeit. Procore kann jetzt Hunderte von kuratierten Tabellen für jeden Kunden freigeben und dabei einen partitionierten Zugriff pro Kunde aufrechterhalten, um Hunderttausende von verschiedenen Datenfreigaben in großem Maßstab zu verwalten. Einige dieser Unternehmen führen Hunderte oder Tausende von gleichzeitigen Projekten durch, und jedes einzelne davon benötigt eine aktuelle Ansicht der Arbeit.

Reichweite. Die Kunden von Procore nutzen jede gängige Cloud und jeden erdenklichen IT-Stack, von Excel und Power BI bis hin zu vollständig eingerichteten Databricks-Umgebungen. Das offene Protokoll von OpenSharing unterstützt sie alle. BI-Tools wie Power BI und Tableau funktionieren sofort, und Kunden, die bereits auf Databricks laufen, erhalten eine native Databricks-zu-Databricks-Erfahrung, ohne Daten verschieben zu müssen. Kunden auf anderen Data Warehouses und Plattformen können dieselben Freigaben über die offenen OpenSharing-Client-Bibliotheken nutzen.

Zuverlässigkeit und Leistung. Kunden konsumieren kuratierte, governierte Daten, die bereits bereinigt, modelliert und auf Qualität geprüft wurden, anstatt API-Aufrufe aneinanderzuhängen und die Ergebnisse zusammenzusetzen.

Sicherheit und Governance. Die Freigabe erfolgt über Unity Catalog, sodass jede Tabelle zentral gesteuert und der Zugriff pro Benutzer und Projekt durchgesetzt wird. Ein Generalunternehmer kann den Projektfortschritt mit dem Bauherrn teilen und gleichzeitig seine eigenen Finanzdaten privat halten.

Die Implementierung

Procore hat Procore Analytics 2.0 auf einer Medallion-Architektur innerhalb von Databricks aufgebaut. Rohe Ereignisse aus der Procore-Anwendungsdatenbank und Integrationsereignisse landen unberührt in der Bronze-Schicht. Silver wendet Bereinigungen, Validierungen und Datenqualitätsprüfungen an und erzeugt die bestätigten Datensätze, von denen alles nachfolgende abhängt. In Gold werden die Daten für Analysen aggregiert, optimiert und modelliert.

Bronze, Silver und Gold laufen über mehrere Regionen hinweg, sodass die Verarbeitung in der Nähe der Quelldaten stattfindet. Gold-Tabellen werden dann aus jeder Region in eine einzige primäre Analyseregion gezogen, von wo aus OpenSharing die Daten an die Kunden verteilt.

Zwei Empfängerpfade. Kunden ohne Databricks generieren direkt in der Procore-Anwendung ein OpenSharing-Token und stellen über das offene Protokoll eine Verbindung her. Kunden, die über Databricks verfügen, fügen ihre Workspace-Kennung hinzu, um Freigaben nativ über die Databricks-zu-Databricks-Freigabe zu erhalten.

Automatisierte Berechtigungen. Ein geplanter Job überwacht neue Freigaben und Berechtigungsänderungen, liest die Berechtigungen jedes Benutzers aus der Procore-Anwendung aus und gleicht die OpenSharing-Berechtigungen entsprechend ab. Das Ergebnis ist eine benutzer- und projektspezifische Durchsetzung ohne manuelle Bereitstellung, sodass ein Generalunternehmer den Projektfortschritt mit dem Bauherrn teilen und gleichzeitig seine eigenen Finanzdaten privat halten kann oder datenbasierte Einblicke nur für diesen Handelspartner freigibt.

Granularität und Inkrementalität. Procore gibt Daten auf Schema-, Ansichts-, Tabellen- und Partitionsebene frei. Tabellen haben Change Data Feed aktiviert, sodass Empfänger wählen können, ob sie einen vollständigen Datensatz oder nur die Änderungen seit der letzten Synchronisierung konsumieren möchten, was wichtig ist, wenn einzelne Tabellen Millionen von Datensätzen enthalten.

Eine gemeinsame semantische Schicht. Da dieselbe Gold-Schicht sowohl die Berichterstellung in der Procore-App als auch den Kundenextrakt antreibt, stimmen die Schemas und Namenskonventionen über alle Produkte hinweg überein. Ein Kunde, der einen Wert in der Procore-Benutzeroberfläche sieht, erhält denselben Wert mit demselben Namen in seinem Extrakt.

Ein vorhersehbarer Änderungsrhythmus. Die Bereitstellung von Daten für Tausende von nachgelagerten Kundenumgebungen bedeutet, dass bahnbrechende Änderungen sorgfältig angekündigt werden müssen. Eine bahnbrechende Änderung ist alles, was die nachgelagerte Pipeline eines Kunden stören kann, wie das Umbenennen eines Feldes, das Ändern des Datentyps einer Spalte oder die Umstrukturierung einer Tabelle. Procore hat sich auf vier Releases mit bahnbrechenden Änderungen pro Jahr mit sechs Wochen Vorankündigung und zwölf Releases ohne bahnbrechende Änderungen pro Jahr mit drei Wochen Vorankündigung geeinigt, abgestimmt auf den breiteren organisatorischen Release-Kalender.

Ein neu organisiertes Datenteam. Die alte Welt hatte zwei parallele Pipelines – eine für Analysen, eine für Berichte in der App –, jede mit eigener Erfassung, Modellierung und Governance. Die neue Welt konsolidiert dies zu einem einzigen Pfad. Eine einzige kombinierte Pipeline übernimmt Erfassung, Bereitstellung, Modellierung und Governance und verteilt die Daten dann an Datendomänenteams, die an Geschäftsbereichen wie Finanzen ausgerichtet sind. Jedes Domänenteam verantwortet seine Daten von Anfang bis Ende und arbeitet mit den relevanten Anwendungsteams an den Nuancen jedes Tools, anstatt dieses Wissen über separate Analyse-, Berichts- und Intelligenz-Teams hinweg zu duplizieren.

Messbare Auswirkungen

Das greifbarste Geschäftsergebnis ist die Datenverfügbarkeit. Während Procore Analytics 1.0 mehrere Jahre brauchte, um seinen Basiskatalog an verfügbaren Tabellen und Feldern mit OpenSharing aufzubauen, hat Procore Analytics 2.0 diesen Katalog in weniger als der halben Zeit auf Hunderte von Tabellen erweitert und damit die Datenoberfläche, die Kunden in großem Maßstab extrahieren können, effektiv verdoppelt. Das ist wichtig, weil Procore ständig neue Funktionen ausliefert und jede neue Funktion Daten erzeugt, die Kunden in ihre eigenen Umgebungen holen möchten. Ein größerer Katalog bedeutet, dass Kunden mehr dieser neuen Funktionen im nachgelagerten Bereich zur Verfügung stehen, ohne dass einmalige Integrationsarbeiten erforderlich sind.

Für Endkunden hat der Wechsel zu OpenSharing die einstige Obergrenze für tägliche Aktualisierungen aufgehoben und den Arbeitstag neu gestaltet. Kunden planen Aktualisierungen nun so, dass sie zum Rhythmus ihres Unternehmens passen, und viele, die zuvor tägliche Abrufe hatten, führen diese nun mehrmals täglich durch, ganz nach dem Takt, den ihre nachgelagerten Tools unterstützen. Ein Projektmanager, der sich auf eine wichtige Kundenpräsentation vorbereitet, kann am selben Morgen noch eine Flut von Last-Minute-Aktualisierungen von einer Führungskraft entgegennehmen und dafür sorgen, dass das Live-Dashboard diese rechtzeitig für das Meeting widerspiegelt. Im alten Modell mussten diese Nuancen im Meeting selbst erklärt werden.

Für interne Produktteams bedeutet eine einzige gemeinsame Pipeline, dass ein Tool-Team ein neues Feature entwickeln und dessen Daten für Kunden fast direkt nach der Veröffentlichung extrahierbar machen kann, anstatt Monate darauf zu warten, dass eine parallele Analyse-Pipeline aufholt. Procore erwartet, dass jeder Gewinn an Tool-Datenverfügbarkeit direkt in neue Produkterlebnisse für Kunden übersetzt wird.

Eine Datengrundlage für Berichte, Analysen und KI

Über die unmittelbaren Vorteile bei Aktualisierungshäufigkeit, Skalierung und Reichweite hinaus bietet die von Procore auf Databricks und OpenSharing errichtete Datenarchitektur Kunden ein kontrolliertes, durchgehend verfügbares Fundament für unternehmensweites Reporting und Intelligence. Ganz gleich, ob ein Kunde Berichte über alle aktiven Aufträge hinweg standardisiert, Projektdaten in Enterprise BI einspeist oder KI darauf aufbaut – der Mehrwert beginnt immer auf dieselbe Weise: mit sauberen, modellierten, kontrollierten Daten, die in jedem System verfügbar sind, das sie benötigt.

Genau das liefert Procore Analytics 2.0. Eine einzige, multiregionale Gold-Schicht, die die eigenen Anwendungserlebnisse von Procore unterstützt, in die Produkte einfließt, die Kunden auf Basis ihrer Procore-Daten entwickeln, und über OpenSharing sowie weitere Datenwege von Procore Tausende von Bauunternehmen auf jeder gängigen Cloud erreicht. Mit diesem Fundament greifen Unternehmensberichte, Analysen und neue KI-Anwendungsfälle alle auf dieselbe vertrauenswürdige, aktuelle Quelle der Wahrheit zurück anstelle einer Reihe von Einzellösungen.

Das langfristige Ziel deckt sich mit der Mission von Procore vom ersten Tag an: alle Beteiligten im Bauwesen auf einer globalen Plattform zu vernetzen – damit jedes Team bei jedem Projekt die verlässlichen Daten erhält, die es für ein sichereres, schnelleres und intelligenteres Bauen benötigt.

"OpenSharing hat uns geholfen, die Datenverfügbarkeit zu erhöhen. Das bedeutet, dass jeder im Bauwesen, von der Geschäftsführung über die Projektmanager bis hin zu den Leuten auf der Baustelle, einen besseren Einblick in seine Arbeit hat. Das hilft dabei, Projekte termingerecht, im Budget und sicher abzuwickeln."- Matthew Guptill, Product Manager, Procore Analytics

Sie entwickeln ein Datenprodukt, das Ihre Kunden in ihren eigenen Tools nutzen? OpenSharing bietet Ihnen einen offenen, kontrollierten Weg, um Live-Daten bereitzustellen – über alle Clouds, Regionen und Plattformen hinweg, auf denen sie laufen, ganz ohne zu pflegende Kopien. Erfahren Sie, wie OpenSharing funktioniert, und entdecken Sie im Databricks Marketplace Live-Datensätze zum Teilen und Entdecken. OpenSharing entdecken 

Machen Sie Ihre Daten produktiv. Procore Analytics verwandelt Ihre Projektdaten in umsetzbare Business Intelligence, verknüpft Informationen über jeden Auftrag hinweg und stellt sie in den Tools bereit, die Ihre Teams bereits nutzen. Finden Sie heraus, wie Procore Analytics Ihnen dabei hilft, in Ihrem gesamten Portfolio schneller und fundierter zu entscheiden. Procore Analytics entdecken 

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag