Cómo Procore impulsa el análisis de la construcción con OpenSharing

Conectando una industria basada en datos desconectados

La construcción se basa en datos que rara vez se encuentran en un solo lugar. La información está dispersa entre plataformas, regiones y equipos, a menudo bloqueada dentro de los sistemas de la parte que la generó. Cuando los datos de campo no están conectados al sistema financiero, esa desconexión puede ocultar riesgos financieros. Cuando un gestor de proyectos, un ejecutivo de construcción a miles de kilómetros de distancia y un superintendente en la obra no pueden ver la misma perspectiva de un proyecto, las decisiones se toman basándose en información obsoleta o parcial.

Procore, un proveedor líder mundial de software de gestión de la construcción que atiende a decenas de miles de clientes en EE. UU., Europa, Oriente Medio, Asia y Australia, se creó para cerrar esas brechas, conectando a todos los actores de la construcción en una sola plataforma. Eso significa tres grupos en particular: propietarios (promotores inmobiliarios y cualquier persona que sea propietaria y opere la instalación o infraestructura inmobiliaria por sí misma), contratistas generales que gestionan los proyectos de principio a fin y contratistas especializados como electricistas y fontaneros que ejecutan el trabajo en el campo.

Pero conectar los datos dentro de Procore es solo la mitad de la historia. Los clientes también necesitan esos datos en sus propios entornos, junto con todo lo demás en lo que ejecutan su negocio (por ejemplo, un contratista general que extrae datos de Procore en Power BI para realizar un seguimiento de las métricas de la fuerza laboral y el personal en los trabajos activos, o un cliente que los combina con sus sistemas financieros y de ERP para ver la ejecución del proyecto y los costos en un solo lugar). Eso es lo que ofrece Procore Analytics: acceso programático al conjunto de datos conectados de Procore, integrado en lo que el cliente ya utiliza —Power BI, Tableau, Snowflake, BigQuery, su propio espacio de trabajo de Databricks o SQL Server local— para la elaboración de informes y análisis posteriores.

Evolucionando más allá de la primera generación de Procore Analytics

La primera generación de Procore Analytics era anterior a OpenSharing por completo. Se construyó sobre un backend de SQL Server. Los datos se extraían de las API públicas de Procore y se cargaban en una base de datos de Azure que los clientes podían consultar.

La arquitectura funcionaba, pero tenía un límite estricto. Las actualizaciones selimitaban a una sola ejecución diaria, e incluso los clientes que pagaban por actualizaciones adicionales tenían un tope máximo de tres por día. Para los proyectos de construcción donde las condiciones cambian hora a hora, ese retraso era el mayor factor limitante.

Las extracciones basadas en API también generaban problemas de costo y confiabilidad a escala. Extraer datos para decenas de miles de clientes a través de API públicas significaba ejecutar llamadas recursivas profundas, las cuales eran costosas, frágiles y propensas a tiempos de espera agotados o a alcanzar límites.

Por qué OpenSharing

Para cuando Procore comenzó a diseñar la siguiente generación de Procore Analytics, Databricks ya impulsaba otras partes de la plataforma de Procore. Eso hizo que OpenSharing encajara perfectamente también para el producto de extracción enfocado en el cliente, con varias ventajas específicas sobre la antigua ruta de la API.

Eficiencia operativa. Compartir archivos curados en el lugar elimina el costo, la fragilidad y el riesgo de tiempo de espera agotado de ejecutar llamadas recursivas profundas de API para cada cliente, la misma presión que limitaba la frecuencia de actualización en Procore Analytics 1.0.

Escala. Ahora Procore puede compartir cientos de tablas curadas con cada cliente, manteniendo el acceso particionado por cliente para gestionar cientos de miles de recursos compartidos de datos distintos a escala. Algunas de estas empresas ejecutan cientos o miles de proyectos simultáneos, y cada una de ellas necesita una vista actualizada del trabajo.

Alcance. Los clientes de Procore operan en todas las nubes principales y en cualquier pila de TI imaginable, desde Excel y Power BI hasta entornos de Databricks completamente desarrollados. El protocolo abierto de OpenSharing se adapta a todos ellos. Las herramientas de BI como Power BI y Tableau funcionan de inmediato, y los clientes que ya usan Databricks obtienen una experiencia nativa de Databricks a Databricks sin mover ningún dato. Los clientes en otros almacenes y plataformas pueden consumir los mismos recursos compartidos utilizando las bibliotecas de cliente abiertas de OpenSharing.

Confiabilidad y rendimiento. Los clientes consumen datos curados y gobernados que ya han sido limpiados, modelados y verificados en cuanto a calidad, en lugar de encadenar llamadas a la API y unir los resultados.

Seguridad y gobernanza. El uso compartido se realiza a través de Unity Catalog, por lo que cada tabla se gobierna de forma centralizada y el acceso se aplica por usuario y por proyecto. Un contratista general puede compartir el progreso del proyecto con el propietario manteniendo privadas sus propias finanzas.

La implementación

Procore construyó Procore Analytics 2.0 sobre una arquitectura de medallón dentro de Databricks. Los eventos sin procesar de la base de datos de la aplicación Procore y los eventos de integración llegan a la capa de bronce sin modificar. La capa de plata aplica limpieza, validación y controles de calidad de datos, produciendo los conjuntos de datos confirmados de los cuales depende todo lo posterior. La capa de oro es donde los datos se agregan, optimizan y modelan para el análisis.

Bronce, plata y oro se ejecutan en múltiples regiones para que el procesamiento ocurra cerca de los datos de origen. Las tablas de oro se extraen luego de cada región a una única región analítica principal, que es donde OpenSharing distribuye los datos a los clientes.

Dos rutas de destinatarios. Los clientes sin Databricks generan un token de OpenSharing directamente dentro de la aplicación Procore y se conectan utilizando el protocolo abierto. Los clientes que sí tienen Databricks agregan su identificador de espacio de trabajo para recibir recursos compartidos de forma nativa a través del uso compartido de Databricks a Databricks.

Derechos automatizados. Un trabajo programado supervisa los nuevos recursos compartidos y los cambios de permisos, lee los permisos de cada usuario de la aplicación Procore y reconcilia los derechos de OpenSharing en consecuencia. El resultado es la aplicación de políticas por usuario y por proyecto sin aprovisionamiento manual, por lo que un contratista general puede compartir el progreso del proyecto con el propietario manteniendo privadas sus propias finanzas, o compartir datos específicos de socios comerciales únicamente con ese socio comercial.

Granularidad e incrementalidad. Procore comparte a nivel de esquema, vista, tabla y partición. Las tablas tienen habilitado Change Data Feed, por lo que los destinatarios pueden elegir entre consumir un conjunto de datos completo o solo lo que ha cambiado desde la última sincronización, lo cual importa cuando las tablas individuales contienen millones de registros.

Una capa semántica común. Debido a que la misma capa de oro impulsa tanto los informes integrados de Procore como la extracción del cliente, los esquemas y las convenciones de nombres se alinean en todos los productos. Un cliente que ve un valor en la interfaz de usuario de Procore obtiene el mismo valor, con el mismo nombre, en su extracción.

Un ritmo de cambios predecible. Enviar datos a miles de entornos de clientes posteriores significa que los cambios incompatibles deben comunicarse con mucho cuidado. Un cambio incompatible es cualquier cosa que pueda interrumpir la canalización posterior de un cliente, como cambiar el nombre de un campo, cambiar el tipo de datos de una columna o reestructurar una tabla. Procore estableció cuatro lanzamientos con cambios incompatibles por año con seis semanas de aviso previo, y doce lanzamientos compatibles por año con tres semanas de aviso, alineados con el calendario de lanzamientos general de la organización.

Un equipo de datos reorganizado. El mundo anterior tenía dos canalizaciones paralelas, una para análisis y otra para informes en la aplicación, cada una con su propia ingesta, modelado y gobernanza. El nuevo mundo consolida eso en una sola ruta. Una única canalización combinada maneja la ingesta, el almacenamiento provisional, el modelado y la gobernanza, y luego se distribuye a equipos de dominios de datos alineados con áreas de negocio como finanzas. Cada equipo de dominio es propietario de sus datos de principio a fin y trabaja con los equipos de aplicaciones relevantes en los matices de cada herramienta, en lugar de duplicar ese conocimiento en equipos separados de análisis, informes e inteligencia.

Impacto mensurable

El resultado comercial más tangible es la disponibilidad de datos. Mientras que Procore Analytics 1.0 tardó varios años en desarrollar su catálogo base de tablas y campos disponibles con OpenSharing, Procore Analytics 2.0 amplió ese catálogo a cientos de tablas en menos de la mitad del tiempo, duplicando efectivamente el área de superficie de datos que los clientes pueden extraer a escala. Eso importa porque Procore lanza constantemente nuevas capacidades, y cada nueva capacidad produce datos que los clientes quieren extraer en sus propios entornos. Un catálogo más amplio significa que una mayor parte de esa nueva funcionalidad está disponible para los clientes en las fases posteriores sin necesidad de un trabajo de integración personalizado.

Para los clientes finales, el cambio a OpenSharing eliminó el límite de actualización de una vez al día y transformó la jornada laboral. Ahora los clientes programan las actualizaciones para que coincidan con el ritmo de su negocio, y muchos de los que realizan actualizaciones diarias en realidad lo hacen varias veces al día, según la frecuencia que admitan sus herramientas posteriores. Un gestor de proyectos que se prepara para una presentación importante con un cliente puede recibir una avalancha de actualizaciones de última hora de un ejecutivo esa mañana y hacer que el panel en vivo las refleje a tiempo para la reunión. En el modelo anterior, esos matices debían explicarse en la propia reunión.

Para los equipos de productos internos, una única canalización compartida significa que el equipo de una herramienta puede crear una nueva característica y hacer que sus datos sean extraíbles para los clientes casi tan pronto como se lanza, en lugar de esperar meses a que una canalización analítica paralela se ponga al día. Procore espera que cada mejora en la disponibilidad de datos de las herramientas se traduzca directamente en nuevas experiencias de producto para los clientes.

Una base de datos para informes, análisis e IA

Más allá de las ventajas inmediatas en frecuencia de actualización, escala y alcance, la arquitectura de datos que Procore construyó en Databricks y OpenSharing ofrece a los clientes una base regulada y disponible de forma continua para la inteligencia y los informes en toda la empresa. Ya sea que un cliente esté estandarizando informes en cada trabajo activo, alimentando datos de proyectos en BI empresarial o construyendo IA sobre ellos, el valor comienza de la misma manera: con datos limpios, modelados, regulados y disponibles en todos los sistemas que los necesiten.

Eso es exactamente lo que produce Procore Analytics 2.0. Una capa gold única y multirregión que potencia las experiencias de las propias aplicaciones de Procore, fluye hacia los productos que los clientes construyen sobre sus datos de Procore y, a través de OpenSharing y otras rutas de datos de Procore, llega a miles de empresas de construcción en todas las principales nubes. Con esa base implementada, los informes empresariales, la analítica y los casos de uso de IA emergentes se basan en la misma fuente de confianza y actualizada, en lugar de una serie de integraciones únicas.

El objetivo a largo plazo se alinea con la misión de Procore desde el primer día: conectar a todos en la construcción en una plataforma global, brindando a cada equipo en cada proyecto los datos de confianza que necesitan para construir de manera más segura, rápida y inteligente.

\"OpenSharing nos ha ayudado a aumentar la disponibilidad de datos, lo que significa que todos en la construcción, desde los ejecutivos hasta los gerentes de proyectos y el personal en el campo, tienen una mejor visibilidad de los trabajos que realizan. Les está ayudando a entregar proyectos a tiempo, dentro del presupuesto y de forma segura.\"- Matthew Guptill, Product Manager, Procore Analytics

¿Estás construyendo un producto de datos que tus clientes consumen en sus propias herramientas? OpenSharing te ofrece una forma abierta y regulada de entregar datos en vivo en cada nube, región y plataforma en la que operan, sin copias que mantener. Descubre cómo funciona OpenSharing y luego explora Databricks Marketplace para compartir y descubrir conjuntos de datos en vivo. Explorar OpenSharing 

Pon tus datos a trabajar. Procore Analytics convierte los datos de tus proyectos en inteligencia de negocios procesable, conectando información en cada trabajo y entregándola a las herramientas que tus equipos ya usan. Descubre cómo Procore Analytics te ayuda a tomar decisiones más rápidas y seguras en toda tu cartera. Explorar Procore Analytics 

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original