Arquitetura de Referência de Sustentabilidade e Eficiência de Recursos para Manufatura - Clonado

Fluxos de dados e de plataforma

1. Fábricas, instalações de geração de energia e data centers buscam integrar dados de várias fontes ao Lakehouse para entender o consumo de recursos, como eletricidade, água e materiais. Grandes volumes de dados de eventos de streaming de fontes como sistemas de IoT de infraestrutura ou sistemas SCADA podem ser processados por meio de serviços padrão como Kafka e Event Grid, ou carregados diretamente no Databricks via Zerobus. Em ambos os casos, o Structured Streaming ou o Lakeflow Spark Declarative Pipelines são aproveitados para ingerir incrementalmente esses dados em tabelas Bronze, oferecendo TCO, desempenho e escala líderes do setor. Outros dados operacionais, como registros de manutenção ou documentos regulatórios de sistemas ERP, podem ser ingeridos via Lakeflow Connect, enquanto os dados do SAP podem ser expostos por meio do SAP BDC Connector for Databricks. Para aumentar ou complementar os dados proprietários, o Databricks Marketplace é usado para acessar fontes de dados de terceiros, como dados meteorológicos e financeiros públicos, e um grande ecossistema de parceiros está disponível para aproveitar ferramentas de integração de terceiros e conectores para outros softwares empresariais comuns.
2. À medida que os dados são ingeridos de diferentes fontes, a Arquitetura de Medalhão é usada para melhorar de forma incremental e progressiva a estrutura e a qualidade dos dados. Os formatos brutos e os metadados correspondentes chegam à camada bronze para manter um arquivo histórico da origem, o que é especialmente relevante para dados de telemetria ou streaming de IoT. Lakeflow Spark Declarative Pipelines são implementados para limpar, mesclar e modelar dados com lógica adicional, como reamostragem e interpolação de telemetria. Os dados avançam para a camada prata, que geralmente representa conjuntos de dados limpos, transacionais e de fonte única. Por fim, uma camada ouro pode ser desenvolvida para unir conjuntos de dados, agregar dados ao longo de dimensões importantes e calcular métricas de sustentabilidade cruciais, como Eficiência no Uso de Energia ou Capacidade de Consumo. A camada ouro simplifica os relatórios e acelera o tempo para obter insights, permitindo soluções analíticas importantes, como monitoramento de KPI ou benchmarking de ESG.
3. Com os dados agora integrados e transformados, as equipes de operações contam com uma visão unificada e holística das informações necessárias para executar análises avançadas. Aqui, o Databricks SQL é aproveitado para monitorar o consumo de recursos em várias instalações e linhas, ao mesmo tempo em que realiza o benchmarking de ESG em relação a empresas do mesmo setor, e a IA e machine learning é aproveitada para incorporar modelos preditivos para manutenção preditiva de equipamentos e previsão de demanda de energia. Esses modelos de IA e ML se beneficiam imensamente do acesso aos dados limpos e confiáveis do Lakehouse, viabilizados pelas etapas anteriores. Sem isso, a qualidade e a consistência das previsões não seriam tão robustas.
4. As equipes de operações agora buscam fornecer insights para diversas partes interessadas. O mais importante é que a plataforma Databricks é aberta a todos os perfis de usuários, sejam eles técnicos ou não. Databricks AI/BI dashboards podem ser criados por especialistas em SQL ou usuários de negócios usando linguagem natural para visualizar KPIs em relação a metas de eficiência energética ou sustentabilidade, e os Genie Spaces permitem que os usuários finais interajam com os dados em linguagem natural. Databricks Apps são desenvolvidos para monitorar as emissões de carbono para avaliar as metas de sustentabilidade, ou para monitorar o uso de energia para reduzir o desperdício de recursos, fornecendo um front-end personalizável para que qualquer persona ou colaborador aproveite o poder do Lakehouse. Usando o Agent Bricks, as partes interessadas de todos os níveis de habilidade técnica podem criar agentes para atender às suas necessidades, por exemplo, para recuperar informações atualizadas e oportunas sobre mudanças nos requisitos regulatórios ou para automatizar cronogramas de manutenção preventiva.