Modelos de Dados de Negócios Lakehouse para Comunicações, Mídia e Entretenimento

Modelos de Dados de Negócios do Databricks Lakehouse

Uma biblioteca de quarenta modelos de dados de negócios da camada Silver, prontos para produção, um por setor, que são implantados diretamente no Unity Catalog como a base analítica de um Databricks lakehouse.

Cada modelo é completo, governado e internamente consistente desde o primeiro dia. Cada domínio, tabela, coluna, chave estrangeira, tag de classificação e visualização de métrica já está definido. Modelos genéricos da indústria representam a média de cada negócio em um setor, deixando os clientes com meses de trabalho de ajuste. Um Modelo de Dados de Negócios do Lakehouse é moldado como uma única organização em seu setor, com a terminologia e as divisões que ela realmente utiliza.

Cada modelo é entregue em dois escopos, MVM (Modelo Mínimo Viável) e ECM (Modelo de Cobertura Expandida), suporta três layouts do Unity Catalog (estilos de catalogação) e inclui o mesmo pacote completo de artefatos.

Onde se localiza

Um Modelo de Dados de Negócios do Lakehouse é a camada Silver. Bronze lida com a ingestão bruta (Lakeflow, Auto Loader). Silver é o modelo analítico padronizado e normalizado do qual todo analista, ferramenta de BI e carga de trabalho de ML lê. Gold é derivado de insights (tabelas de KPI, tabelas de recursos, agregados) calculados sobre Silver.

O que acompanha cada modelo

Cada modelo é publicado como um pacote completo.

`model.json` é o modelo lógico que captura cada domínio, subdomínio, produto, atributo, chave estrangeira, tag de classificação e definição de visualização de métrica. É a unidade de referência. Faça o commit no git, compare entre versões e compartilhe entre ambientes.

Uma implantação do Unity Catalog de esquemas, tabelas Delta, restrições de chave primária, restrições de chave estrangeira (informativas) e tags de classificação. Os nomes exatos do catálogo e do esquema dependem do estilo de catalogação escolhido durante a instalação.

As visualizações de métricas são definições de KPI reutilizáveis instaladas sobre as tabelas físicas, prontas para dashboards de AI/BI e AI/BI Genie.

Um grafo de conhecimento RDFS (ontology/) expressa o mesmo modelo como um grafo semântico para integração de ferramentas semânticas e fundamentação de agentes de IA.

Um diagrama DBML (diagram/) para exploração visual em dbdiagram.io ou qualquer visualizador compatível com DBML.

DDL SQL (schemas/) para toda a implantação, organizada por esquema.

Documentação em Excel e Markdown foram geradas junto com o modelo.

Dados de amostra sintéticos opcionais. Linhas baseadas em pool respeitam todas as chaves estrangeiras, restrições de regex e tags de classificação.

Hierarquia

Cada modelo segue a mesma hierarquia. A organização é o negócio como um todo. Ela contém três divisões: Operações (o que o negócio faz fisicamente), Negócios (quem ele atende e como gera receita) e Corporativo (o suporte administrativo). Cada divisão contém um ou mais domínios (contextos delimitados de uma palavra, minúsculos, singulares). Cada domínio contém dois ou mais subdomínios (agrupamentos semânticos de duas palavras). Cada subdomínio contém produtos (as tabelas Delta). Cada produto contém atributos (as colunas), com tipos de dados e tags de classificação atribuídos antecipadamente.

Operações e Negócios combinados sempre detêm pelo menos 80% dos domínios; Corporativo é limitado a 20%. Essa proporção mantém cada modelo focado no que realmente impulsiona o negócio, em vez de em seu suporte administrativo.

Cada modelo também é um Grafo Acíclico Direcionado por construção. Chaves estrangeiras sempre apontam de filho para pai (order.customer_id, nunca customer.latest_order_id); ciclos são quebrados antes da publicação; cada domínio se conecta a pelo menos um outro através de chaves estrangeiras, de modo que a análise entre domínios é sempre possível.

Dois escopos: MVM e ECM

MVM (Modelo Mínimo Viável) representa de 30 a 50 por cento da contagem de tabelas ECM e cobre apenas funções de negócios essenciais, dimensionado para engajamentos de SMB, pilotos e ambientes de desenvolvimento/teste.

ECM (Modelo de Cobertura Expandida) abrange toda a amplitude empresarial, incluindo domínios Corporativos de suporte, dimensionado para implantações Fortune 100. A profundidade dos atributos é idêntica em ambos os escopos. MVM não é um esqueleto, apenas uma área de superfície menor.

Vamos comparar o MVM e o ECM em mais detalhes.

O que está disponível para as Indústrias de Comunicações, Mídia e Entretenimento

Como ponto de partida, atualmente temos 4 modelos disponíveis como MVM ou ECM. Estes modelos são:

Publicidade ~ um Exemplo

Ao analisar o repositório, você pode ver uma comparação dos tipos de Modelo MVM e ECM para tomar uma boa decisão sobre qual escopo de modelo você está interessado.

Isso inclui uma revisão detalhada dos Domínios e Produtos disponíveis.

Você pode obter detalhes sobre o que faz parte do escopo do modelo selecionado. Isso inclui instruções, exemplos, documentação e notas de lançamento.

Se você estiver pronto para implantar o modelo em seu ambiente, consulte o readme no repositório principal para seguir os passos. Em alto nível, tudo o que você precisa é executar o notebook do instalador apontado para o setor e o escopo do modelo de seu interesse.

Primeiros passos

A biblioteca está no repositório de Soluções da Indústria: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Escolha um modelo, um escopo (MVM ou ECM), um estilo de catalogação, um catálogo de implantação e execute o notebook de instalação. Uma instalação MVM típica é concluída em dezenas de minutos, em comparação com o Databricks Serverless, que leva menos de duas horas. Ambos produzem uma camada Silver totalmente implantada no Unity Catalog com visualizações de métricas prontas para dashboards de AI/BI e AI/BI Genie.

Cada modelo é um ponto de partida. Clientes que precisam adaptar um modelo à sua organização (renomear domínios, mesclar ou dividir produtos, adicionar um domínio ausente, alterar convenções de nomenclatura) podem fazê-lo usando o Modeling Agent, que itera o modelo por meio de diretivas de linguagem natural.

Recursos relacionados

Para mais informações, confira a primeira parte do lançamento do nosso blog sobre Modelagem de Dados ~ Acelere sua Modelagem de Dados com os Modelos de Dados da Indústria Databricks
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models