Modelos de dados de negócios do Lakehouse para energia e recursos

Modelos de Dados de Negócios do Databricks Lakehouse

Onde se enquadram

Um modelo de dados de negócios do Lakehouse é a camada Silver. A camada Bronze lida com a ingestão de dados brutos (Lakeflow, Auto Loader). A camada Silver é o modelo analítico normalizado e em conformidade do qual todo analista, ferramenta de BI e carga de trabalho de ML faz a leitura. A camada Ouro é derivada de percepções (tabelas de KPI, tabelas de recursos, agregados) computadas sobre a camada Silver.

O que acompanha cada modelo

Cada modelo é publicado como um pacote completo.

`model.json` é o modelo lógico que captura cada domínio, subdomínio, produto, atributo, chave estrangeira, tag de classificação e definição de view de métricas. É a unidade de moeda. Registre no Git, compare as diferenças entre versões e compartilhe entre os ambientes.

Uma implantação do Unity Catalog de esquemas, tabelas Delta, restrições de chave primária, restrições de chave estrangeira (informativas) e tags de classificação. Os nomes exatos do catálogo e do esquema dependem do estilo de catalogação escolhido durante a instalação.

Views de métricas são definições de KPI reutilizáveis instaladas sobre as tabelas físicas, prontas para painéis AI/BI e AI/BI Genie.

Um gráfico de conhecimento RDFS (ontology/) expressa o mesmo modelo que um gráfico semântico para integração de ferramentas semânticas e fundamentação de agentes de AI.

Um diagrama DBML (diagram/) para exploração visual no dbdiagram.io ou em qualquer visualizador compatível com DBML.

DDL SQL (schemas/) para toda a implantação, organizado por esquema.

A documentação de Excel e Markdown foi gerada juntamente com o modelo.

Dados de exemplo sintéticos opcionais. As linhas baseadas em pool respeitam todas as chaves estrangeiras, restrições de regex e tags de classificação.

Hierarquia

Cada modelo segue a mesma hierarquia. A organização é o negócio como um todo. Ela contém três divisões: Operações (o que o negócio faz fisicamente), Negócios (a quem serve e como lucra) e Corporativo (o back office de suporte). Cada divisão contém um ou mais domínios (contextos delimitados por palavra única, em minúsculo e no singular). Cada domínio contém dois ou mais subdomínios (agrupamentos semânticos de duas palavras). Cada subdomínio contém produtos (as tabelas Delta). Cada produto contém atributos (as colunas), com tipos de dados e tags de classificação atribuídos antecipadamente.

As operações e os negócios combinados sempre detêm pelo menos 80% dos domínios; o corporativo é limitado a 20%. Essa proporção mantém cada modelo centrado no que realmente executa o negócio, em vez de seu back office administrativo.

Todo modelo também é um Gráfico Acíclico Dirigido por construção. Chaves estrangeiras sempre apontam de filho para pai (order.customer_id, nunca customer.latest_order_id); ciclos são quebrados antes da publicação; cada domínio se conecta a pelo menos um outro por meio de chaves estrangeiras, portanto, a analítica entre domínios é sempre possível.

Dois escopos: MVM e ECM

O Modelo Mínimo Viável (MVM) responde por 30 a 50 por cento do total de tabelas do ECM e engloba apenas funções de negócios essenciais, sendo dimensionado para PMEs, projetos-piloto e ambientes de desenvolvimento e teste.

O Modelo de Cobertura Expandida (ECM) possui alcance empresarial total, englobando domínios corporativos de apoio, projetado para implementações em empresas da Fortune 100. A profundidade de atributos é idêntica em ambos os escopos. O MVM não é um esqueleto, apenas uma área de superfície menor.

Vamos comparar o MVM e o ECM em mais detalhes.

O que está disponível para Energia e Recursos

Como ponto de partida, atualmente temos 4 modelos disponíveis como MVM ou ECM. Esses modelos são:

Mineração ~ um exemplo

Ao analisar o repo para a indústria de mineração, é possível ver uma comparação dos tipos de modelo MVM e ECM, para que você possa tomar uma decisão fundamentada sobre qual escopo de modelo é de seu interesse.

Isso inclui uma análise detalhada dos domínios e produtos disponíveis.

Você pode obter detalhes sobre o que faz parte do escopo do modelo selecionado. Isso inclui instruções, amostras, documentação e notas sobre a versão.

Se estiver pronto para implantar o modelo em seu ambiente, consulte o arquivo readme no repo principal para seguir os passos. Em linhas gerais, basta executar o notebook de instalação apontando para a indústria e o escopo do modelo do seu interesse.

Comece agora

A biblioteca reside no repo de Soluções da indústria: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Escolha um modelo, um escopo (MVM ou ECM), um estilo de catalogação, um catálogo de implantação e execute o notebook de instalação. Uma instalação típica de MVM é concluída em dezenas de minutos, em comparação com o Databricks Serverless, que leva menos de duas horas. Ambos produzem uma camada Silver totalmente implantada no Unity Catalog com views de métricas prontas para painéis AI/BI e AI/BI Genie.

Todo modelo é um ponto de partida. Os clientes que precisam adaptar um modelo à sua organização (renomear domínios, fazer merge ou dividir produtos, adicionar um domínio ausente, alterar convenções de nomenclatura) podem fazê-lo usando o Modeling Agent, que itera o modelo por meio de diretrizes em linguagem natural.

Recursos relacionados

Para obter mais informações, confira a primeira parte do nosso lançamento de blog sobre Modelagem de dados ~ Impulsione a sua Modelagem de dados com os Modelos de dados da indústria do Databricks