Modelos de Dados de Negócios Lakehouse para Viagens e Logística

Modelos de dados de negócios do Databricks Lakehouse

Onde fica

Um Modelo de Dados de Negócios de Lakehouse é a camada Silver. A camada Bronze lida com a ingestão de dados brutos (Lakeflow, Auto Loader). A camada Silver é o modelo analítico conformado e normalizado do qual todo analista, ferramenta de BI e workload de ML faz a leitura. A camada Ouro é derivada de percepções (tabelas de KPI, tabelas de recursos, agregados) computados com base na camada Silver.

O que acompanha cada modelo

Cada modelo é publicado como um pacote completo.

`model.json` é o modelo lógico que captura cada definição de domínio, subdomínio, produto, atributo, chave estrangeira, tag de classificação e métrica view. É a unidade padrão. Faça o check-in no git, compare as versões e compartilhe entre ambientes.

Uma implantação do Unity Catalog de esquemas, tabelas Delta, restrições de chave primária, restrições de chave estrangeira (informativas) e tags de classificação. Os nomes exatos do catálogo e do esquema dependem do estilo de catalogação escolhido durante a instalação.

Visualizações de métricas são definições de KPI reutilizáveis instaladas sobre as tabelas físicas, prontas para painéis de AI/BI e para o AI/BI Genie.

Um gráfico de conhecimento RDFS (ontology/) expressa o mesmo modelo como um gráfico semântico para integração com ferramentas semânticas e grounding de agentes de IA.

Um diagrama DBML (diagram/) para exploração visual em dbdiagram.io ou em qualquer visualizador compatível com DBML.

SQL DDL (schemas/) para toda a implantação, organizado por esquema.

A documentação em Excel e Markdown foi gerada junto com o modelo.

Dados de amostra sintéticos opcionais. As linhas baseadas em pool respeitam todas as chaves estrangeiras, restrições de regex e tags de classificação.

Hierarquia

Cada modelo segue a mesma hierarquia. A organização é a empresa inteira. Ela contém três divisões: Operações (o que a empresa faz fisicamente), Negócios (a quem ela atende e como gera receita) e Corporativo (o back-office de suporte). Cada divisão contém um ou mais domínios (contextos delimitados de palavra única, em minúsculas e no singular). Cada domínio contém dois ou mais subdomínios (agrupamentos semânticos de duas palavras). Cada subdomínio contém produtos (as tabelas Delta). Cada produto contém atributos (as colunas), com tipos de dados e tags de classificação atribuídos previamente.

Operações e Negócios juntos sempre detêm pelo menos 80% dos domínios; Corporativo está limitado a 20%. Essa proporção mantém cada modelo centrado no que realmente move o negócio, em vez de em seu back office administrativo.

Todo modelo também é um Grafo Acíclico Dirigido por construção. Chaves estrangeiras sempre apontam do filho para o pai (order.customer_id, nunca customer.latest_order_id); os ciclos são quebrados antes da publicação; cada domínio se conecta a pelo menos um outro por meio de chaves estrangeiras, portanto, a analítica entre domínios é sempre possível.

Dois escopos: MVM e ECM

MVM (Minimum Viable Model) representa de 30 a 50 por cento da contagem de tabelas do ECM e cobre apenas as funções de negócios essenciais, dimensionado para projetos de SMB, projetos-piloto e ambientes de desenvolvimento/teste.

ECM (Modelo de Cobertura Expandida) tem uma abrangência empresarial completa, incluindo suporte a domínios Corporativos, e é dimensionado para implantações da Fortune 100. A profundidade dos atributos é idêntica em ambos os escopos. O MVM não é um esqueleto, apenas uma área de superfície menor.

Vamos comparar o MVM e o ECM com mais detalhes.

O que está disponível para as indústrias de Viagens e Logística

Como ponto de partida, atualmente temos 4 modelos disponíveis como MVM ou ECM. Estes modelos são:

Viagens e Hospitalidade ~ um Exemplo

No repo, você pode ver uma comparação dos tipos de modelo MVM e ECM para tomar uma boa decisão sobre o escopo de modelo em que você tem interesse.

Isso inclui uma análise detalhada dos Domínios e Produtos disponíveis.

Você pode obter detalhes sobre o que faz parte do escopo do modelo selecionado. Isso inclui instruções, amostras, documentação e notas sobre a versão.

Se você estiver pronto para implantar o modelo no seu ambiente, confira o readme no repo principal para seguir as etapas. De modo geral, tudo o que você precisa fazer é executar o notebook do instalador direcionado ao setor e ao escopo do modelo de seu interesse.

Comece agora

A biblioteca fica no repositório Industry Solutions: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Escolha um modelo, um escopo (MVM ou ECM), um estilo de catalogação, um catálogo de implantação e execute o notebook de instalação. Uma instalação MVM típica é concluída em dezenas de minutos, em comparação com o Databricks Serverless, que leva menos de duas horas. Ambos produzem uma camada Silver totalmente implantada no Unity Catalog com visualizações de métricas prontas para dashboards de AI/BI e para o AI/BI Genie.

Todo modelo é um ponto de partida. Clientes que precisam adaptar um modelo à sua organização (renomear domínios, merge ou dividir produtos, adicionar um domínio ausente, alterar convenções de nomenclatura) podem fazer isso usando o Modeling Agent, que itera o modelo por meio de diretivas de linguagem natural.

Recursos relacionados

Para mais informações, confira a primeira parte do lançamento do nosso blog sobre Modelagem de Dados ~ Acelere sua Modelagem de Dados com os Modelos de Dados por Setor da Databricks

Obtenha os Modelos de Dados da Indústria do Databricks Lakehouse no GitHub ~ Lakehouse Industry Data Models on GitHub