Procore が OpenSharing を活用して建設業界の分析をどのように推進しているか

分断されたデータに基づく業界をつなぐ

建設業界は、一箇所にまとまることがめったにないデータに基づいて動いています。情報はプラットフォーム、地域、チーム全体に散らばっており、多くの場合、それを生成した当事者のシステム内にロックされています。現場のデータが財務システムと接続されていない場合、その分断によって財務リスクが隠れてしまうことがあります。プロジェクトマネージャー、何千マイルも離れた場所にいる建設担当役員、そして現場のスーパーインテンデントがプロジェクトの同じビューを確認できない場合、意思決定は古くなった、または不完全な情報に基づいて行われることになります。

Procoreは、米国、ヨーロッパ、中東、アジア、オーストラリアにわたる数万社の顧客にサービスを提供する世界有数の建設管理ソフトウェアプロバイダーであり、そうしたギャップを埋めるために構築されました。建設に関わるすべての人を単一のプラットフォームでつなぎます。それは具体的に、オーナー（不動産開発業者、および不動産施設やインフラストラクチャを所有し自ら運営するすべての人）、プロジェクトをエンドツーエンドで管理する元請業者、そして現場で作業を実行する電気工事士や配管工などの専門工事業者の3つのグループを意味します。

しかし、Procore内のデータを接続することは、全体の一部にすぎません。顧客はまた、ビジネスを実行する他のすべての要素と並行して、自身の環境でそのデータを必要としています（例：元請業者がProcoreデータをPower BIに取り込んで稼働中の現場全体の人員と要員のメトリクスを追跡する、または顧客がERPや財務システムと統合してプロジェクトの実行とコストをひと目で確認できるようにする）。それがProcore Analyticsが提供するものです。接続されたProcoreデータセットへのプログラムによるアクセスであり、顧客がすでに使用しているもの（Power BI、Tableau、Snowflake、BigQuery、独自のDatabricksワークスペース、またはオンプレミスのSQL Server）に取り込んで、レポート作成やダウンストリームの分析に活用できます。

第1世代のProcore Analyticsからの進化

第1世代のProcore Analyticsは、OpenSharingが登場するよりも前のものでした。SQL Serverのバックエンド上に構築されていました。データはProcoreの公開APIから抽出され、顧客がクエリを実行できるAzureデータベースに読み込まれていました。

このアーキテクチャは機能しましたが、厳しい制限がありました。データ更新は1日1回に制限されており、追加の更新に対して費用を支払った顧客であっても、1日あたり最大3回までに上限が設定されていました。刻々と状況が変化する建設プロジェクトにおいて、そのラグが最大の制約要因となっていました。

また、API駆動型の抽出は、スケール時にコストと信頼性の問題を引き起こしました。数万社の顧客のデータを公開API経由で取得するということは、深くて再帰的な呼び出しを実行することを意味し、コストがかかり、脆弱であり、タイムアウトや制限に達しやすいという問題がありました。

なぜOpenSharingなのか

Procoreが次世代のProcore Analyticsの設計を始めたとき、DatabricksはすでにProcoreプラットフォームの他の部分を動かしていました。そのため、OpenSharingは、古いAPIのパスに比べていくつかの明確な利点を持ちながら、顧客向けの抽出プロダクトにとっても自然な選択となりました。

運用の効率性。 整理されたファイルをインプレースで共有することで、すべての顧客に対して深い再帰的API呼び出しを実行する際のコスト、脆弱性、タイムアウトのリスクがなくなります。これは、Procore Analytics 1.0で更新頻度に上限を設けていた原因と同じプレッシャーを取り除くものです。

スケール。 Procoreは現在、数百の整理されたテーブルを各顧客と共有できるようになっており、顧客ごとにパーティション分割されたアクセスを維持して、何十万もの個別のデータシェアを大規模に管理しています。それらの企業の中には、何百または何千もの並行プロジェクトを実行しているところもあり、そのすべてが作業の最新のビューを必要としています。

リーチ。 Procoreの顧客は、ExcelやPower BIから完全に構築されたDatabricks環境まで、あらゆる主要なクラウドおよびあらゆるITスタック上で稼働しています。OpenSharingのオープンプロトコルは、そのすべてに対応します。Power BIやTableauなどのBIツールはそのまま動作し、すでにDatabricksで稼働している顧客は、データを移動することなくネイティブなDatabricks-to-Databricksのエクスペリエンスを得ることができます。他のウェアハウスやプラットフォームを使用している顧客は、オープンなOpenSharingクライアントライブラリを使用して同じシェアを利用できます。

信頼性とパフォーマンス。 顧客は、API呼び出しを連鎖させたり結果をつなぎ合わせたりするのではなく、すでにクレンジング、モデリング、および品質チェックが行われた、整理され、ガバナンスが効いたデータを消費します。

セキュリティとガバナンス。 共有はUnity Catalogを通じて行われるため、すべてのテーブルが一元的にガバナンスされ、ユーザーごと、プロジェクトごとにアクセスが強制されます。元請業者は、自社の財務情報を非公開にしたまま、プロジェクトの進捗をオーナーと共有できます。

実装

Procoreは、Databricks内のメダリオンアーキテクチャ上にProcore Analytics 2.0を構築しました。Procoreアプリケーションデータベースからの生イベントと統合イベントは、手付かずのままブロンズレイヤーに格納されます。シルバーレイヤーでは、クレンジング、検証、データ品質チェックが適用され、すべてのダウンストリームが依存する信頼性の高いデータセットが生成されます。ゴールドレイヤーは、分析のためにデータが集約、最適化、モデリングされる場所です。

ブロンズ、シルバー、ゴールドはすべて複数のリージョンにわたって実行され、処理がソースデータの近くで行われるようになっています。その後、ゴールドテーブルは各リージョンから単一のプライマリ分析リージョンにプルされ、そこでOpenSharingがデータを顧客に向けてファンアウトします。

2つの受信パス。 Databricksを使用していない顧客は、Procoreアプリケーション内で直接OpenSharingトークンを生成し、オープンプロトコルを使用して接続します。Databricksを使用している顧客は、ワークスペース識別子を追加して、Databricks-to-Databricksの共有を通じてネイティブにシェアを受信します。

自動化されたエンタイトルメント。 スケジュールされたジョブが新しいシェアと権限の変更を監視し、Procoreアプリケーションから各ユーザーの権限を読み取り、それに応じてOpenSharingのエンタイトルメントを調整します。その結果、手動プロ provisioningなしでユーザーごと、プロジェクトごとの強制が実現され、元請業者は自社の財務情報を非公開にしながらプロジェクトの進捗をオーナーと共有したり、取引先スコープのデータをその取引先だけに共有したりできるようになります。

粒度とインクリメンタル性。 Procoreは、スキーマ、ビュー、テーブル、パーティションのレベルで共有します。テーブルにはChange Data Feedが有効になっているため、受信者は完全なデータセットを消費するか、最後の同期以降に変更された部分のみを消費するかを選択できます。個別のテーブルに何百万ものレコードが格納されている場合、これは非常に重要です。

共通のセマンティックレイヤー。 同じゴールドレイヤーがProcoreのアプリ内レポートと顧客抽出の両方を動かしているため、スキーマと命名規則がプロダクト間で一致します。Procore UIで値を確認した顧客は、抽出データでも同じ名前で同じ値を取得できます。

予測可能な変更のケイデンス。 数千のダウンストリームの顧客環境にデータを配信するということは、破壊的な変更（ブレーキングチェンジ）を慎重に通知する必要があることを意味します。破壊的な変更とは、フィールドの名前変更、列のデータ型の変更、テーブルの再構築など、顧客のダウンストリームパイプラインを中断させる可能性のあるすべてのものです。Procoreは、組織全体のリリーススケジュールに合わせて、6週間の事前通知を伴う年4回の破壊的変更リリースと、3週間の通知を伴う年12回の非破壊的変更リリースを採用することにしました。

再編成されたデータチーム。 旧体制には、分析用とアプリ内レポート用の2つの並行パイプラインがあり、それぞれに独自のインジェスト、モデリング、ガバナンスがありました。新体制では、それが1つのパスに統合されます。単一の統合パイプラインがインジェスト、ランディング、モデリング、ガバナンスを処理し、財務などのビジネスエリアに合わせたデータドメインチームにファンアウトします。各ドメインチームは、別々の分析、レポート、インテリジェンスチーム間でその知識を重複させるのではなく、自身のデータをエンドツーエンドで所有し、各ツールのニュアンスについて関連するアプリケーションチームと協力します。

測定可能なインパクト

最も具体的なビジネス成果はデータの可用性です。Procore Analytics 1.0が利用可能なテーブルとフィールドのベースラインカタログを構築するのに数年かかったのに対し、OpenSharingを備えたProcore Analytics 2.0はそのカタログを半分の期間で何百ものテーブルに拡大し、顧客が大規模に抽出できるデータの表面積を実質的に倍増させました。これが重要な理由は、Procoreが常に新しい機能を提供しており、すべての新機能が顧客自身の環境に取り込みたいと思うデータを生成するからです。カタログが広がるということは、一回限りの統合作業を行わずに、そうした新しい機能の多くがダウンストリームの顧客に利用可能になることを意味します。

エンドユーザーにとって、OpenSharingへの移行は1日1回の更新制限を解除し、一日の働き方を変えました。顧客はビジネスのペースに合わせて更新をスケジュールできるようになり、毎日データを取得していた多くの顧客が、ダウンストリームツールがサポートするあらゆるケイデンスで、実際に1日に何度もデータを取得するようになりました。重要なクライアントプレゼンテーションの準備をしているプロジェクトマネージャーは、その日の朝に役員から土壇場の変更の嵐を受け取り、会議に間に合うようにライブダッシュボードに反映させることができます。古いモデルでは、そうしたニュアンスを会議自体の中で説明しなければなりませんでした。

内部のプロダクトチームにとって、単一の共有パイプラインとは、ツールチームが新機能を構築し、並行する分析パイプラインが追いつくのを何ヶ月も待つことなく、ほぼリリースと同時に顧客がそのデータを抽出できるようにできることを意味します。Procoreは、ツールデータの可用性のあらゆる向上が、顧客向けの新しいプロダクト体験に直接つながると期待しています。

レポート、分析、AIのためのデータ基盤

更新頻度、スケール、リーチにおける直接的な成果にとどまらず、ProcoreがDatabricksとOpenSharing上に構築したデータアーキテクチャにより、お客様は全社的なレポート作成とインテリジェンスのための、ガバナンスが効いた、常時利用可能な基盤を手に入れることができます。お客様がすべての稼働中の現場でレポート作成を標準化している場合でも、プロジェクトデータをエンタープライズBIにフィードしている場合でも、あるいはその上にAIを構築している場合でも、価値は常に同じ方法、つまりクリーンで、モデル化され、ガバナンスが効き、それを必要とするすべてのシステムで利用できるデータから始まります。

それこそが、Procore Analytics 2.0が生み出すものです。Procore自身のアプリケーションエクスペリエンスを支え、お客様がProcoreデータの上に構築する製品へと流れ込み、OpenSharingやProcoreのその他のデータ経路を通じて、主要なクラウド上の何千もの建設会社に届く、単一のマルチリージョンゴールド層です。その基盤が整うことで、場当たり的な一連の連携ではなく、エンタープライズレポート、アナリティクス、そして新進のAIユースケースのすべてが、信頼できる最新の単一の真実のソースを活用できるようになります。

長期的な目標は、初日からのProcoreのミッション、つまり建設業に関わるすべての人をグローバルプラットフォームで繋ぎ、すべてのプロジェクトのすべてのチームに必要な信頼できるデータを提供して、より安全に、より速く、よりスマートに建設できるようにするという目標と一致しています。

「OpenSharingのおかげでデータの可用性が向上しました。つまり、経営陣からプロジェクトマネージャー、現場の方々まで、建設に関わる誰もが自分の仕事の状況をよりよく把握できるようになっています。プロジェクトを予定通りに、予算内で、そして安全に納品するのに役立っています。」- Matthew Guptill氏（Procore Analytics、プロダクトマネージャー）

顧客が自身のツールで利用するデータ製品を構築していますか？OpenSharingを使用すると、コピーを維持することなく、顧客が実行するすべてのクラウド、リージョン、プラットフォームにライブデータを配信するための、オープンでガバナンスの効いた単一の方法が手に入ります。OpenSharingの仕組みを確認し、Databricks Marketplaceを探索してライブデータセットを共有・発見しましょう。OpenSharingを探索 

データを活用しましょう。Procore Analyticsは、プロジェクトデータを実用的なビジネスインテリジェンスに変換し、すべての仕事の情報を繋いで、チームがすでに使用しているツールに届けます。Procore Analyticsがポートフォリオ全体でより速く、より確実な意思決定を行うのにどのように役立つかをご覧ください。Procore Analyticsを探索 

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事