Procore가 OpenSharing을 통해 건설 분석을 구동하는 방법

단절된 데이터로 구축된 산업을 연결하기

건설 업계는 한곳에 모여 있지 않고 분산된 데이터를 바탕으로 움직입니다. 정보는 플랫폼, 지역, 팀 전반에 흩어져 있으며, 흔히 데이터를 생성한 주체의 시스템 안에 갇혀 있습니다. 현장 데이터가 재무 시스템과 연결되어 있지 않으면 이러한 단절로 인해 재무적 리스크가 숨겨질 수 있습니다. 현장 관리자, 수천 마일 떨어진 곳에 있는 건설 임원, 그리고 현장의 감리자가 프로젝트에 대해 동일한 뷰를 공유하지 못하면, 오래되거나 불완전한 정보를 바탕으로 의사결정이 내려지게 됩니다.

미국, 유럽, 중동, 아시아, 호주 전역의 수만 개 고객을 지원하는 선도적인 글로벌 건설 관리 소프트웨어 제공업체인 Procore는 이러한 격차를 해소하고 건설 업계의 모든 이들을 단일 플랫폼으로 연결하기 위해 만들어졌습니다. 이는 소유자(부동산 개발업체 및 부동산 시설이나 인프라를 직접 소유하고 운영하는 모든 주체), 프로젝트를 처음부터 끝까지 관리하는 종합 건설업체, 그리고 현장에서 작업을 수행하는 전기 기사 및 배관공 같은 전문 건설업체 등 세 그룹을 의미합니다.

하지만 Procore 내부의 데이터를 연결하는 것은 절반의 성공에 불과합니다. 고객들은 비즈니스를 운영하는 데 사용하는 다른 모든 도구와 함께 자신들의 환경에서도 해당 데이터를 필요로 합니다(예: 종합 건설업체가 활성화된 작업 전반의 인력 및 직원 지표를 추적하기 위해 Procore 데이터를 Power BI로 가져오거나, 고객이 프로젝트 실행 및 비용을 한눈에 파악하기 위해 ERP 및 재무 시스템과 데이터를 결합하는 경우). 이것이 바로 Procore Analytics가 제공하는 기능입니다. 즉, 보고 및 다운스트림 분석을 위해 Power BI, Tableau, Snowflake, BigQuery, 고객 자신의 Databricks workspace 또는 온프레미스 SQL Server 등 고객이 이미 사용하는 도구로 가져올 수 있는, 연결된 Procore 데이터셋에 대한 프로그래밍 방식의 액세스입니다.

1세대 Procore Analytics를 넘어선 진화

1세대 Procore Analytics는 OpenSharing이 도입되기 훨씬 이전에 만들어졌으며, SQL Server 백엔드를 기반으로 구축되었습니다. 데이터는 Procore의 공개 API에서 추출되어 고객이 쿼리할 수 있는 Azure 데이터베이스로 로드되었습니다.

이 아키텍처는 작동했지만 명확한 한계가 있었습니다. 데이터 새로 고침은 하루에 한 번 실행되는 것으로 제한되었으며, 추가 새로 고침 비용을 지불한 고객조차도 하루 최대 세 번으로 제한되었습니다. 상황이 매시간 바뀌는 건설 프로젝트에서 이러한 지연은 가장 큰 제약 요소였습니다.

API 기반 추출은 또한 대규모 환경에서 비용 및 안정성 문제를 야기했습니다. 공개 API를 통해 수만 개 고객의 데이터를 가져오는 것은 깊은 재귀 호출을 실행해야 함을 의미했으며, 이는 비용이 많이 들고 불안정하며 시간 초과나 제한 도달이 발생하기 쉬웠습니다.

OpenSharing을 선택한 이유

Procore가 다음 세대 Procore Analytics 설계를 시작할 때쯤, Databricks는 이미 Procore 플랫폼의 다른 영역을 구동하고 있었습니다. 이로 인해 OpenSharing은 기존 API 방식에 비해 몇 가지 구체적인 이점을 제공하면서, 고객 대면 추출 제품에도 자연스럽게 부합하는 솔루션이 되었습니다.

운영 효율성. 큐레이션된 파일을 제자리에서 공유하면 모든 고객에 대해 깊은 재귀 API 호출을 실행할 때 발생하는 비용, 불안정성, 시간 초과 리스크가 제거됩니다. 이는 Procore Analytics 1.0에서 새로 고침 빈도를 제한했던 것과 정확히 같은 문제입니다.

규모. 이제 Procore는 수십만 개의 고유한 데이터 공유를 대규모로 관리하기 위해 고객별 파티션 액세스를 유지하면서, 각 고객에게 수백 개의 큐레이션된 테이블을 공유할 수 있습니다. 이러한 기업 중 일부는 수백 또는 수천 개의 동시 프로젝트를 운영하고 있으며, 그중 모든 프로젝트가 작업에 대한 최신 뷰를 필요로 합니다.

확장성. Procore의 고객들은 Excel 및 Power BI부터 완전히 구축된 Databricks 환경에 이르기까지 상상할 수 있는 모든 주요 클라우드와 IT 스택을 기반으로 운영됩니다. OpenSharing의 개방형 프로토콜은 이 모두를 지원합니다. Power BI 및 Tableau 같은 BI 도구는 기본적으로 작동하며, 이미 Databricks를 사용 중인 고객은 데이터를 이동하지 않고도 네이티브 Databricks-to-Databricks 경험을 누릴 수 있습니다. 다른 웨어하우스와 플랫폼을 사용하는 고객은 개방형 OpenSharing 클라이언트 라이브러리를 사용하여 동일한 공유를 소비할 수 있습니다.

신뢰성과 성능. 고객은 API 호출을 연결하고 결과를 조합하는 대신, 이미 정제, 모델링, 품질 검증이 완료된 큐레이션 및 거버넌스 적용 데이터를 소비합니다.

보안과 거버넌스. 공유는 Unity Catalog을 통해 이루어지므로 모든 테이블이 중앙에서 거버넌스 관리되고 사용자와 프로젝트별로 액세스가 제어됩니다. 종합 건설업체는 자체 재무 정보를 비공개로 유지하면서 프로젝트 진행 상황을 소유자와 공유할 수 있습니다.

구현

Procore는 Databricks 내부의 medallion architecture를 기반으로 Procore Analytics 2.0을 구축했습니다. Procore 애플리케이션 데이터베이스의 원본 이벤트와 통합 이벤트는 브론즈 레이어에 수정 없이 저장됩니다. 실버 레이어에서는 정제, 유효성 검사, 데이터 품질 검사가 적용되어 모든 다운스트림의 기반이 되는 확정된 데이터셋을 생성합니다. 골드 레이어는 분석을 위해 데이터가 집계, 최적화, 모델링되는 곳입니다.

브론즈, 실버, 골드는 여러 리전에 걸쳐 실행되므로 소스 데이터와 가까운 곳에서 처리가 이루어집니다. 그런 다음 골드 테이블은 각 리전에서 단일 기본 분석 리전으로 가져와지며, 여기서 OpenSharing을 통해 고객에게 데이터가 배포됩니다.

두 가지 수신 경로. Databricks를 사용하지 않는 고객은 Procore 애플리케이션 내에서 직접 OpenSharing 토큰을 생성하고 개방형 프로토콜을 사용하여 연결합니다. Databricks를 사용하는 고객은 workspace 식별자를 추가하여 Databricks-to-Databricks 공유를 통해 네이티브로 공유를 받습니다.

자동화된 권한 부여. 예약된 작업이 새로운 공유와 권한 변경 사항을 모니터링하고, Procore 애플리케이션에서 각 사용자의 권한을 읽어온 후 그에 따라 OpenSharing 권한을 조정합니다. 그 결과 수동 프로비저닝 없이 사용자별, 프로젝트별 제어가 가능해지므로, 종합 건설업체는 자체 재무 정보를 비공개로 유지하면서 프로젝트 진행 상황을 소유자와 공유하거나, 특정 협력 업체 범위의 데이터는 해당 협력 업체에만 공유할 수 있습니다.

세분성과 증분성. Procore는 스키마, 뷰, 테이블, 파티션 수준에서 공유합니다. 테이블에는 Change Data Feed가 활성화되어 있어, 수백만 개의 레코드가 포함된 개별 테이블을 다룰 때 수신자는 전체 데이터셋을 소비할지 혹은 마지막 동기화 이후 변경된 내용만 소비할지 선택할 수 있습니다.

공통 시맨틱 레이어. 동일한 골드 레이어가 Procore의 앱 내 보고와 고객 추출 기능을 모두 구동하므로, 제품 간에 스키마와 명명 규칙이 일치합니다. Procore UI에서 값을 확인한 고객은 추출 결과에서도 동일한 이름으로 동일한 값을 얻게 됩니다.

예측 가능한 변경 주기. 수천 개의 다운스트림 고객 환경으로 데이터를 전송한다는 것은 주요 변경 사항을 신중하게 사전에 알려야 함을 의미합니다. 주요 변경 사항이란 필드 이름 변경, 열 데이터 형식 변경, 테이블 구조 재조정 등 고객의 다운스트림 파이프라인을 중단시킬 수 있는 모든 변경을 말합니다. Procore는 광범위한 조직의 릴리스 캘린더에 맞춰, 6주 전에 사전 공지하는 연 4회의 주요 변경 릴리스와 3주 전에 공지하는 연 12회의 비주요 변경 릴리스를 확정했습니다.

재조직된 데이터 팀. 과거에는 분석용과 앱 내 보고용으로 각각 고유한 수집, 모델링, 거버넌스를 갖춘 두 개의 병렬 파이프라인이 존재했습니다. 새로운 환경에서는 이를 단일 경로로 통합합니다. 단일 통합 파이프라인이 수집, 랜딩, 모델링, 거버넌스를 처리한 후 재무와 같은 비즈니스 영역에 맞춰진 데이터 도메인 팀에 배포합니다. 각 도메인 팀은 별도의 분석, 보고, 인텔리전스 팀에 걸쳐 지식을 중복하는 대신, 처음부터 끝까지 자체 데이터를 소유하고 각 도구의 세부 사항에 대해 관련 애플리케이션 팀과 협력합니다.

측정 가능한 영향

가장 가시적인 비즈니스 성과는 데이터 가용성입니다. Procore Analytics 1.0은 사용 가능한 테이블과 필드의 기본 카탈로그를 구축하는 데 수년이 걸렸지만, OpenSharing을 도입한 Procore Analytics 2.0은 절반도 안 되는 시간에 카탈로그를 수백 개의 테이블로 확장하여 고객이 대규모로 추출할 수 있는 데이터 표면적을 사실상 두 배로 늘렸습니다. 이는 Procore가 지속적으로 새로운 기능을 출시하고 있으며, 모든 새로운 기능이 고객이 자신의 환경으로 가져오고 싶어하는 데이터를 생성하기 때문에 중요합니다. 더 넓어진 카탈로그는 일회성 통합 작업 없이도 이러한 새로운 기능 중 더 많은 부분을 다운스트림 고객이 사용할 수 있음을 의미합니다.

최종 고객의 경우, OpenSharing으로의 전환은 하루에 한 번이라는 새로 고침의 한계를 없애고 업무 방식을 재편했습니다. 이제 고객은 비즈니스 리듬에 맞춰 새로 고침을 예약하며, 매일 데이터를 가져오는 많은 사용자는 다운스트림 도구가 지원하는 주기에 따라 실제로 하루에 여러 번 데이터를 가져옵니다. 중요한 클라이언트 프레젠테이션을 준비하는 프로젝트 관리자는 그날 아침 임원으로부터 급작스러운 최종 수정 사항을 전달받아도 회의 시간에 맞춰 실시간 대시보드에 반영할 수 있습니다. 기존 모델에서는 그러한 세부 사항을 회의 중에 직접 설명해야 했습니다.

내부 제품 팀의 경우, 단일 공유 파이프라인은 도구 팀이 새로운 기능을 구축한 후 병렬 분석 파이프라인이 따라잡기를 몇 달 동안 기다릴 필요 없이, 기능이 출시되는 거의 동시에 고객이 데이터를 추출할 수 있게 됨을 의미합니다. Procore는 도구 데이터 가용성의 모든 향상이 고객을 위한 새로운 제품 경험으로 직접 이어질 것으로 기대합니다.

보고, 분석, AI를 위한 데이터 기반

데이터 갱신 주기, 규모, 도달 범위에서의 즉각적인 이점 외에도, Procore가 Databricks와 OpenSharing을 기반으로 구축한 데이터 아키텍처는 고객에게 전사적인 보고 및 인텔리전스를 위한 거버넌스가 적용되고 지속적으로 가용한 기반을 제공합니다. 고객이 모든 활성 작업에서 보고를 표준화하든, 프로젝트 데이터를 엔터프라이즈 BI에 공급하든, 그 위에 AI를 구축하든, 가치는 동일한 방식으로 시작됩니다. 바로 깨끗하고, 모델링되고, 거버넌스가 적용되었으며, 필요한 모든 시스템에서 사용할 수 있는 데이터에서 시작됩니다.

그것이 바로 Procore Analytics 2.0이 만들어내는 결과입니다. Procore 자체 애플리케이션 환경에 전력을 공급하고, 고객이 Procore 데이터 위에 구축한 제품으로 흘러 들어가며, OpenSharing 및 Procore의 다른 데이터 경로를 통해 주요 클라우드의 수많은 건설 회사에 도달하는 단일 멀티 리전 골드 레이어입니다. 이러한 기반이 마련되면 일회성 통합 방식 대신 신뢰할 수 있는 최신의 단일 진실 공급원을 통해 전사적 보고, 분석, 신흥 AI 사용 사례 모두를 지원할 수 있습니다.

장기적인 목표는 첫날부터 시작된 Procore의 사명과 일치합니다. 건설 업계의 모든 사람을 글로벌 플랫폼으로 연결하여 모든 프로젝트의 모든 팀이 더 안전하고 빠르며 스마트하게 건설하는 데 필요한 신뢰할 수 있는 데이터를 제공하는 것입니다.

"OpenSharing은 데이터 가용성을 높이는 데 도움을 주었습니다. 즉, 임원부터 프로젝트 관리자, 현장 작업자에 이르기까지 건설 업계의 모든 사람이 수행하는 작업을 더 잘 파악할 수 있게 되었습니다. 이를 통해 프로젝트를 제때에, 예산에 맞춰, 안전하게 완수할 수 있도록 돕고 있습니다."- Matthew Guptill, Procore Analytics 제품 관리자

고객이 자신의 도구에서 사용하는 데이터 제품을 구축하고 계신가요? OpenSharing을 사용하면 유지 관리할 복사본 없이 모든 클라우드, 리전, 플랫폼에서 실시간 데이터를 제공할 수 있는 개방되고 거버넌스가 적용된 단일 방식을 이용할 수 있습니다. OpenSharing의 작동 방식을 확인한 다음 Databricks Marketplace를 탐색하여 실시간 데이터 세트를 공유하고 찾아보세요. OpenSharing 살펴보기 

데이터를 활용해 보세요. Procore Analytics는 프로젝트 데이터를 실행 가능한 비즈니스 인텔리전스로 전환하여 모든 작업의 정보를 연결하고 팀이 이미 사용 중인 도구로 전달합니다. Procore Analytics가 포트폴리오 전반에서 더 빠르고 확실한 결정을 내리는 데 어떻게 도움이 되는지 확인해 보세요. Procore Analytics 살펴보기 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)