Como a Procore está impulsionando a análise de dados na construção civil com o OpenSharing

Conectando um setor baseado em dados desconectados

A construção civil funciona com base em dados que raramente ficam em um único lugar. As informações estão espalhadas por plataformas, regiões e equipes, frequentemente bloqueadas nos sistemas de quem as gerou. Quando os dados de campo não estão conectados ao sistema financeiro, essa desconexão pode ocultar riscos financeiros. Quando um gerente de projeto, um executivo de construção a milhares de quilômetros de distância e um superintendente no canteiro de obras não conseguem ver a mesma perspectiva de um projeto, as decisões são tomadas com base em informações desatualizadas ou parciais.

A Procore, uma das principais fornecedoras globais de software de gestão de construção que atende azenhas de milhares de clientes nos EUA, Europa, Oriente Médio, Ásia e Austrália, foi criada para eliminar essas lacunas, conectando todos os envolvidos na construção civil em uma única plataforma. Isso significa três grupos em particular: proprietários (incorporadores imobiliários e qualquer pessoa que possua e opere o próprio empreendimento imobiliário ou infraestrutura), empreiteiros gerais que gerenciam projetos do início ao fim e empreiteiros especializados, como eletricistas e encanadores, que executam o trabalho no campo.

Mas conectar dados dentro do Procore é apenas metade da história. Os clientes também precisam desses dados em seus próprios ambientes, junto com tudo o mais que usam para administrar o negócio (por exemplo, um empreiteiro geral que puxa dados do Procore para o Power BI para acompanhar métricas de força de trabalho e pessoal em obras ativas, ou um cliente que os integra ao seu ERP e sistemas financeiros para ver a execução do projeto e os custos em um só lugar). É isso que o Procore Analytics oferece: acesso programático ao conjunto de dados conectado do Procore, integrado ao que o cliente já usa — Power BI, Tableau, Snowflake, BigQuery, seu próprio workspace do Databricks ou SQL Server local — para relatórios e análises posteriores.

Evoluindo além da primeira geração do Procore Analytics

A primeira geração do Procore Analytics era anterior ao OpenSharing. Ela foi construída em um backend de SQL Server. Os dados eram extraídos das APIs públicas do Procore e carregados em um banco de dados do Azure que os clientes podiam consultar.

A arquitetura funcionava, mas tinha um limite rígido. As atualizações eram limitadas a uma única execução diária, e mesmo os clientes que pagavam por atualizações adicionais tinham um teto máximo de três por dia. Para projetos de construção onde as condições mudam hora a hora, esse atraso era o maior fator limitante.

As extrações orientadas por API também geravam problemas de custo e confiabilidade em escala. Extrair dados para dezenas de milhares de clientes por meio de APIs públicas exigia a execução de chamadas recursivas profundas, que eram caras, frágeis e propensas a tempos limite ou a atingir limites.

Por que o OpenSharing

Quando a Procore começou a projetar a próxima geração do Procore Analytics, o Databricks já alimentava outras partes da plataforma Procore. Isso tornou o OpenSharing uma escolha natural também para o produto de extração voltado para o cliente, com várias vantagens específicas em relação ao caminho antigo da API.

Eficiência operacional. Compartilhar arquivos curados no local remove o custo, a fragilidade e o risco de tempo limite de executar chamadas de API recursivas profundas para cada cliente, a mesma pressão que limitava a frequência de atualização no Procore Analytics 1.0.

Escala. Agora a Procore pode compartilhar centenas de tabelas curadas com cada cliente, mantendo o acesso particionado por cliente para gerenciar centenas de milhares de compartilhamentos de dados distintos em escala. Algumas dessas empresas estão executando centenas ou milhares de projetos simultâneos, e cada um deles precisa de uma visão atualizada do trabalho.

Alcance. Os clientes da Procore rodam em todas as principais nuvens e em todas as pilhas de TI imagináveis, desde Excel e Power BI até ambientes do Databricks totalmente estruturados. O protocolo aberto do OpenSharing atende a todos eles. Ferramentas de BI como Power BI e Tableau funcionam prontas para uso, e os clientes que já rodam no Databricks obtêm uma experiência nativa de Databricks para Databricks sem mover nenhum dado. Clientes em outros data warehouses e plataformas podem consumir os mesmos compartilhamentos usando as bibliotecas de cliente abertas do OpenSharing.

Confiabilidade e desempenho. Os clientes consomem dados curados e governados que já foram limpos, modelados e verificados quanto à qualidade, em vez de encadear chamadas de API e juntar os resultados.

Segurança e governança. O compartilhamento é feito por meio do Unity Catalog, portanto, cada tabela é governada centralmente e o acesso é aplicado por usuário e por projeto. Um empreiteiro geral pode compartilhar o andamento do projeto com o proprietário, mantendo suas próprias finanças privadas.

A implementação

A Procore construiu o Procore Analytics 2.0 em uma medallion architecture dentro do Databricks. Eventos brutos do banco de dados do aplicativo Procore e eventos de integração chegam à camada bronze sem alterações. A prata aplica limpeza, validação e verificações de qualidade de dados, produzindo os conjuntos de dados confirmados dos quais tudo o mais depende. O ouro é onde os dados são agregados, otimizados e modelados para análise.

Bronze, prata e ouro rodam em várias regiões para que o processamento aconteça perto dos dados de origem. As tabelas de ouro são então puxadas de cada região para uma única região analítica primária, que é onde o OpenSharing distribui os dados para os clientes.

Dois caminhos de destinatários. Clientes sem o Databricks geram um token do OpenSharing diretamente no aplicativo Procore e se conectam usando o protocolo aberto. Clientes que possuem o Databricks adicionam seu identificador de workspace para receber compartilhamentos nativamente por meio do compartilhamento de Databricks para Databricks.

Entitlements automatizados. Um job agendado monitora novos compartilhamentos e alterações de permissão, lê as permissões de cada usuário no aplicativo Procore e reconcilia os entitlements do OpenSharing de acordo. O resultado é a aplicação de políticas por usuário e por projeto, sem provisionamento manual, para que um empreiteiro geral possa compartilhar o andamento do projeto com o proprietário mantendo suas próprias finanças privadas, ou compartilhar dados de parceiros comerciais apenas com esse parceiro.

Granularidade e incrementalidade. A Procore compartilha no nível de esquema, visualização, tabela e partição. As tabelas têm o Change Data Feed ativado, permitindo que os destinatários escolham entre consumir um conjunto de dados completo ou apenas o que foi alterado desde a última sincronização, o que é importante quando tabelas individuais contêm milhões de registros.

Uma camada semântica comum. Como a mesma camada de ouro alimenta tanto os relatórios no aplicativo da Procore quanto a extração do cliente, os esquemas e convenções de nomenclatura se alinham em todos os produtos. Um cliente que vê um valor na interface do Procore obtém o mesmo valor, com o mesmo nome, em sua extração.

Um ritmo previsível de alterações. Enviar dados para milhares de ambientes de clientes finais significa que alterações que quebram a compatibilidade devem ser comunicadas com cuidado. Uma alteração que quebra a compatibilidade é qualquer coisa que possa interromper o pipeline de um cliente, como renomear um campo, alterar o tipo de dados de uma coluna ou reestruturar uma tabela. A Procore definiu quatro lançamentos com alterações que quebram a compatibilidade por ano, com seis semanas de antecedência, e doze lançamentos sem quebras por ano, com três semanas de antecedência, alinhados com o calendário organizacional geral de lançamentos.

Uma equipe de dados reorganizada. O mundo antigo tinha dois pipelines paralelos, um para análises e outro para relatórios no aplicativo, cada um com sua própria ingestão, modelagem e governança. O mundo novo consolida isso em um único caminho. Um único pipeline combinado lida com ingestão, aterrissagem, modelagem e governança, e depois distribui para equipes de domínio de dados alinhadas a áreas de negócios como finanças. Cada equipe de domínio gerencia seus dados do início ao fim e trabalha com as equipes de aplicativos relevantes nas nuances de cada ferramenta, em vez de duplicar esse conhecimento em equipes separadas de análise, relatórios e inteligência.

Impacto mensurável

O resultado de negócios mais tangível é a disponibilidade de dados. Enquanto o Procore Analytics 1.0 levou vários anos para criar seu catálogo base de tabelas e campos disponíveis com o OpenSharing, o Procore Analytics 2.0 expandiu esse catálogo para centenas de tabelas em menos da metade do tempo, dobrando efetivamente a área de superfície de dados que os clientes podem extrair em escala. Isso importa porque a Procore está constantemente lançando novos recursos, e cada novo recurso produz dados que os clientes desejam puxar para seus próprios ambientes. Um catálogo mais amplo significa que mais dessa nova funcionalidade fica disponível para os clientes downstream sem necessidade de trabalho de integração sob medida.

Para os clientes finais, a mudança para o OpenSharing eliminou o limite de atualização diária e remodelou o dia de trabalho. Agora, os clientes agendam atualizações para corresponder ao ritmo de seus negócios, e muitos que faziam isso uma vez por dia agora atualizam várias vezes ao dia, no ritmo que suas ferramentas downstream suportarem. Um gerente de projeto que se prepara para uma grande apresentação para um cliente pode receber uma enxurrada de atualizações de última hora de um executivo naquela manhã e fazer com que o painel ao vivo as reflita a tempo para a reunião. No modelo antigo, essas nuances precisavam ser explicadas na própria reunião.

Para as equipes internas de produtos, um único pipeline compartilhado significa que uma equipe de ferramentas pode criar um novo recurso e disponibilizar seus dados para extração pelos clientes quase assim que ele é lançado, em vez de esperar meses para que um pipeline analítico paralelo alcance esse ponto. A Procore espera que cada ganho na disponibilidade de dados de ferramentas se traduza diretamente em novas experiências de produto para os clientes.

Uma fundação de dados para relatórios, análises e IA

Além dos ganhos imediatos em frequência de atualização, escala e alcance, a arquitetura de dados construída pela Procore no Databricks e no OpenSharing oferece aos clientes uma base governada e continuamente disponível para relatórios e inteligência em toda a empresa. Seja padronizando relatórios em cada trabalho ativo, alimentando dados de projetos em BI corporativo ou construindo IA sobre eles, o valor começa da mesma forma: com dados limpos, modelados, governados e disponíveis em todos os sistemas que precisam deles.

É exatamente isso que o Procore Analytics 2.0 produz. Uma única camada gold multi-região que alimenta as experiências de aplicativos da própria Procore, flui para os produtos que os clientes constroem sobre seus dados da Procore e, por meio do OpenSharing e de outros caminhos de dados da Procore, alcança milhares de empresas de construção em todas as principais clouds. Com essa base estabelecida, relatórios corporativos, análises e novos casos de uso de IA recorrem à mesma fonte de verdade confiável e atual, em vez de uma série de integrações avulsas.

O objetivo de longo prazo alinha-se à missão da Procore desde o primeiro dia: conectar todos na construção em uma plataforma global, dando a todas as equipes em cada projeto os dados confiáveis de que precisam para construir com mais segurança, rapidez e inteligência.

"O OpenSharing nos ajudou a aumentar a disponibilidade de dados, o que significa que todos na construção, desde os executivos até os gerentes de projeto e o pessoal de campo, têm melhor visibilidade sobre os trabalhos que realizam. Isso está ajudando a entregar projetos no prazo, dentro do orçamento e com segurança."- Matthew Guptill, Product Manager, Procore Analytics

Está construindo um produto de dados que seus clientes consomem nas ferramentas deles? O OpenSharing oferece uma maneira aberta e governada de entregar dados ativos em qualquer cloud, região e plataforma em que eles operam, sem cópias para manter. Veja como o OpenSharing funciona e explore o Databricks Marketplace para compartilhar e descobrir conjuntos de dados ativos. Explore o OpenSharing 

Coloque seus dados para trabalhar. O Procore Analytics transforma os dados dos seus projetos em business intelligence acionável, conectando informações em cada trabalho e entregando-as às ferramentas que suas equipes já usam. Veja como o Procore Analytics ajuda você a tomar decisões mais rápidas e seguras em todo o seu portfólio. Explore o Procore Analytics 

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original