Como construir Gêmeos Digitais para eficiência operacional

Em operações industriais e de manufatura, as organizações estão adotando Digital Twins para melhorar a eficiência, prever falhas de equipamentos e otimizar a produção em tempo real. 

Este novo Digital Twin Solution Accelerator fornece uma estrutura de ponta a ponta para construir, visualizar e analisar esses sistemas usando AI e analítica em tempo real, ajudando as equipes a reduzir o tempo de inatividade, melhorar a qualidade do produto e impulsionar a tomada de decisões mais inteligentes. Você pode implantar soluções de Digital Twin escaláveis no Databricks usando o Zerobus Ingest, parte do Lakeflow Connect, um serviço gerenciado que envia dados de eventos diretamente para o lakehouse, você pode implantar sua própria solução de Digital Twin em escala com o Databricks. 

O que são Gêmeos Digitais?

Na nossa implementação, um digital Twin combina dois ingredientes key:

1. Uma representação virtual de um ativo físico, sistema ou processo
2. Dados contextuais em tempo real de sensores e outras fontes

Com esta réplica digital ativa, podemos monitorar equipamentos físicos ou processos abstratos em tempo real, simular e validar alterações e realizar manutenção preditiva avançada sem alterar o próprio sistema.

No contexto da manufatura, os Digital Twins são essenciais para impulsionar a revolução da Indústria 4.0. Ao integrar IoT, AI e analítica em tempo real, eles não apenas reduzem o tempo de inatividade e aumentam a produtividade, mas também permitem segurança contínua.

Esses conceitos também são muito promissores em outras áreas, como modelagem de dinâmicas organizacionais e na compreensão dos processos que impulsionam a tomada de decisões. Neste blog, vamos nos concentrar na aplicação de Digital Twins na manufatura.

Cenário de exemplo: Fabricação de rolamentos de esferas

Nosso cenário de exemplo é um processo simplificado de fabricação de rolamentos de esferas. 

Rolamentos de esferas são componentes mecânicos que minimizam o atrito entre as peças móveis usando esferas de aço ou cerâmica posicionadas entre dois anéis (externo e interno). Eles são essenciais para as operações eficientes de motores, propulsores e maquinário industrial e, portanto, são fundamentais para grande parte da tecnología que usamos todos os dias.

O processo de fabricação (veja o vídeo) começa com a moldagem e o tratamento térmico dos anéis interno e externo, sua modelagem e polimento para maior resistência e precisão e a montagem com um retentor que mantém um espaçamento uniforme. Cada etapa, usinagem, tratamento térmico e montagem, depende de equipamentos ajustados com precisão e monitoramento contínuo para atender a rigorosos padrões de qualidade. 

Em indústrias de alto volume e baixa margem, como a fabricação de rolamentos de esferas, a otimização contínua do desempenho da máquina, a previsão das necessidades de manutenção e a garantia de qualidade consistente são essenciais. Os Digital Twins, alimentados por dados de sensores em tempo real de várias máquinas e linhas de produção, são um key facilitador para esses objetivos.

Este digital Twin capturará os detalhes de todos esses os passos de forma estruturada, mas flexível.

Uma solução Databricks de ponta a ponta

O Gêmeo Digital tem dois componentes principais:

1. O modelo de gêmeo, que especifica as entidades no sistema e como elas se relacionam
2. O gráfico gêmeo, que hidrata o modelo adicionando dados tempo-real relacionados às entidades (por exemplo, dados de sensores ou predições relevantes de modelos de ML)

O modelo twin é criado usando RDF, um padrão aberto e amplamente adotado para definir gráficos de conhecimento e ontologias. Oferecemos uma seleção de predicados integrados que você pode estender para descrever os relacionamentos e as dependências entre as diferentes partes do sistema. Cada entidade no modelo de gêmeo tem um IRI, um identificador com namespace que identifica a entidade de forma única e a conecta aos dados de telemetria no gráfico gêmeo.
 

Acelerador de Solução de Gêmeos Digitais

Embora este Acelerador de Soluções se concentre em um cenário de fabricação específico, nossa abordagem é flexível e pode modelar quase qualquer tipo de sistema. Os principais componentes são representados no diagrama abaixo:

1. Ingestão de dados
2. Mapeamento de dados
3. Serviço de dados
4. App de Digital Twin

Diagrama de arquitetura do Acelerador de Soluções de Gêmeos Digitais

As seções a seguir fornecerão uma explicação detalhada desses os passos.

O passo 1: ingestão de dados

Para preencher o gráfico gêmeo com dados tempo-real, começamos ingerindo dados por meio do Zerobus Ingest, uma abordagem inovadora para enviar dados de eventos diretamente para o lakehouse sem um barramento de mensagens de coletor único como o Kafka. O Zerobus Ingest oferece gravações diretas de alto throughput com baixa latência. Ele oferece suporte à ingestão registro por registro em qualquer escala e opera em um ambiente serverless.

Isso garante um fluxo de dados de manufatura eficiente e escalável, dando suporte à experimentação, analítica robusta e implantação em operações ativas antes de passar para o hardware conectado.

No nosso cenário, os dados de telemetria são gerados continuamente para simular a ingestão de dados de sensores da linha de produção. Os dados brutos são então armazenados como uma tabela no lakehouse em formato Delta usando o Zerobus Ingest.

O passo 2: Mapeamento de dados

Depois de inserir os dados brutos do sensor na camada bronze, ainda temos duas tarefas a concluir antes que estejam prontos para uso no gráfico twin. 

Primeiro, precisamos garantir que as medições sejam rótulo com o IRI da entidade que elas representam no modelo de gêmeo. No nosso exemplo, usamos o identificador da máquina e adicionamos um namespace para formar o IRI, mas qualquer opção é válida desde que esteja alinhada com os IRIs no modelo twin.

Em seguida, precisamos transformar as colunas dos dados tabulares ou as keys dos dados aninhados na estrutura tripla universal usada pelo RDF. Uma descrição completa do RDF está fora do escopo deste blog, portanto, os leitores interessados devem conferir o manual oficial para uma introdução abrangente. Nesse caso, o resultado tem três componentes: o IRI da entidade (sujeito), a coluna a que se refere (predicado) e o valor real (objeto).

Para ambas as tarefas, podemos usar a biblioteca spark-r2r, uma DSL simples para descrever o processo de mapeamento no Spark que segue a abordagem usada no padrão R2RML. Graças ao modo Spark em tempo real, o resultado é um pipeline da tecnologia Lakeflow Spark Declarative Pipelines que pode lidar com grandes volumes de dados de forma econômica e com baixa latência.

Mapeamento de um formato baseado em linha para uma tripla RDF com Timestamp. Observação: a tripla resultante é uma estrutura consistente que é independente da estrutura da tabela de origem.

Um ponto crucial é que também adicionamos um timestamp a cada tripla com base em quando essa medição foi feita. Isso nos permite ver o estado do sistema em um determinado momento, permitindo assim uma grande variedade de análises que examinam o estado do sistema ao longo do tempo.

O passo 3: Sincronização de dados

Para fornecer acesso de baixa latência aos dados de sensores no gráfico do digital twin, usamos o recurso Synced Table do Lakebase. O Lakebase é um mecanismo OLTP Postgres totalmente gerenciado que faz parte da Databricks Platform e foi projetado para integração perfeita com o lakehouse. Com o Synced Tables, mantemos automaticamente uma cópia somente leitura do Postgres sincronizada com os dados mais recentes em uma tabela do Unity Catalog Delta Lake. Esse fluxo é normalmente chamado de Reverse ETL, que é o processo de tornar acionáveis os dados selecionados do lakehouse, disponibilizando-os para apps, dashboards e outros sistemas.

Depois que os dados são armazenados no Lakebase, os aplicativos podem executar query de baixa latência em leituras de sensores em tempo real, enquanto as versões históricas permanecem armazenadas como registros com Timestamp no formato Delta Lake para analítica ou auditorias. 

Ao combinar o Lakebase com o formato Delta Lake, obtemos desempenho em tempo real e histórico econômico sem o transtorno de um ETL complexo ou de manter bancos de dados duplicados.

O passo 4: Aplicativo de Gêmeo digital

Para tornar o digital twin acessível para as operações diárias, criamos uma aplicação usando o Databricks Apps que permite a criação, visualização e análise completas e integradas de modelos de digital twin. O backend da aplicação é desenvolvido em Python, enquanto o frontend é implementado usando React.js. Graças aos recursos de implantação serverless do Databricks Apps, o processo de lançamento foi muito fácil. O fluxo de trabalho começa com a definição do modelo, seguido pela visualização do seu estado e pela execução de queries avançadas para identificar a propagação de falhas pelo sistema.

Criando o modelo de Gêmeo Digital com RDF

O aplicativo inclui um editor visual de modelos RDF para criar e editar modelos RDF com facilidade. Os modelos podem ser salvos, recuperados e gerenciados para dar suporte a vários gêmeos digitais.

Aplicação de Gêmeos Digitais: RDF

Visualização do Digital Twin

Um Visualizador de Digital Twin dedicado permite que os usuários explorem o sistema que seu digital twin representa. Ela permite inspecionar os estados da linha de montagem em momentos diferentes para identificar problemas ou analisar como as falhas se propagam.

Aplicativo de Gêmeos Digitais: Linha de Produção do Anel Externo

Análise e query

Além disso, oferecemos aos usuários a opção de consultar o gráfico gêmeo com a poderosa linguagem SPARQL, um padrão aberto para query de gráfico de conhecimento. Isso permite análise ad hoc na UI, mas também torna os dados acessíveis a outras ferramentas que queiram trabalhar com o gráfico twin para fornecer simulações ou outras análises. Isso contrasta com outras ferramentas que geralmente oferecem apenas uma linguagem de query proprietária limitada ou uma extensão incompleta do SQL para acessar o gráfico twin.

Desenvolvimento futuro

Após a implantação inicial, o acelerador pode servir como base para aplicações de Digital Twin mais avançadas:

• Crie e implante modelos avançados de AI/ML para manutenção preditiva e detecção de anomalia
• Exponha seus Digital Twins por meio de Dashboards e Genie Rooms com AI/BI
• Mova sua carga de trabalho para o Mode de tempo real do Spark Structured Streaming para desbloquear o desempenho em escala de microssegundos
• Integre seus Twins digitais com seu sistema de comando para aproveitar a analítica em tempo real da sua plataforma de dados e tomar medidas com base em padrões no gráfico de gêmeo

O Acelerador de Soluções de Gêmeos Digitais é altamente adaptável, permitindo a personalização em uma ampla gama de cenários industriais e analíticos. O diagrama abaixo ilustra alguns exemplos onde essa estrutura pode ser estendida e aplicada.

Seja para otimizar sistemas de manufatura, monitoramento de ativos industriais ou desenvolver analítica em tempo real para dispositivos conectados, este acelerador oferece um ponto de partida robusto para experimentação e escala. 

Experimente o Digital Twins Solution Accelerator

Tudo pronto para começar? Download do Databricks Solution Accelerator para Gêmeos digitais na manufatura. Siga as instruções passo a passo fornecidas para criar seus próprios gêmeos digitais de ponta a ponta, de alto desempenho e escaláveis.

Você tem interesse em criar seu próprio Digital Twin e gostaria de saber mais? Entre em contato com seu representante de account da Databricks para que possamos ajudar você a adaptar esta solução às suas necessidades exatas.

(This blog post has been translated using AI-powered tools) Original Post