Modelos de datos empresariales Lakehouse para comercio minorista y bienes de consumo

Modelos de datos empresariales Databricks Lakehouse

Una biblioteca de cuarenta modelos de datos empresariales de capa de plata listos para la producción, uno por industria, que se implementan directo en Unity Catalog como la base analítica de un lakehouse de Databricks.

Cada modelo es completo, gobernado e internamente consistente desde el primer día. Cada dominio, tabla, columna, clave externa, etiqueta de clasificación y vista de métrica, ya están definidos. Las plantillas genéricas de la industria promedian a todas las empresas de un sector, lo que deja a los clientes meses de trabajo de depuración. Un modelo de datos empresariales Lakehouse está estructurado como una única organización en su industria, con la terminología y las divisiones que realmente utiliza.

Cada modelo se entrega en dos ámbitos, MVM (modelo mínimamente viable) y ECM (modelo de cobertura ampliada), los cuales admiten tres diseños de Unity Catalog (estilos de catalogación) e incluyen el mismo paquete completo de artefactos.

Dónde se ubica

Qué incluye cada modelo

Cada modelo se publica como un paquete completo.

"model.json" es el modelo lógico que captura cada dominio, subdominio, producto, atributo, clave foránea, etiqueta de clasificación y definición de vista de métricas. Es la moneda de cambio. Regístralo en git, compara las diferencias entre versiones y compártelo en todos los entornos.

Una implementación de Unity Catalog de esquemas, tablas Delta, restricciones de clave primaria, restricciones de clave extranjera (informativas) y etiquetas de clasificación. Los nombres exactos del catálogo y del esquema dependen del estilo de catalogación elegido durante la instalación.

Las vistas de métricas son definiciones reutilizables de KPI instaladas sobre las tablas físicas, listas para los paneles de AI/BI y AI/BI Genie.

Un gráfico de conocimiento RDFS (ontología/) expresa el mismo modelo que un gráfico semántico para la integración de herramientas semánticas y la fundamentación de agentes de IA.

Un diagrama DBML (diagram/) para la exploración visual en dbdiagram.io o cualquier visor compatible con DBML.

SQL DDL (esquemas/) para toda la implementación, organizado por esquema.

La documentación de Excel y Markdown se generó junto con el modelo.

Datos de muestra sintéticos opcionales. Las filas basadas en grupos respetan todas las claves externas, las restricciones de regex y las etiquetas de clasificación.
 

Jerarquía

Cada modelo sigue la misma jerarquía. La organización es todo el negocio. Contiene tres divisiones: operaciones (lo que hace físicamente el negocio), negocio (a quién sirve y cómo obtiene ingresos) y corporativo (el back office de soporte). Cada división contiene uno o más dominios (contextos delimitados en singular, en minúsculas y de una sola palabra). Cada dominio contiene dos o más subdominios (agrupaciones semánticas de dos palabras). Cada subdominio contiene productos (las tablas Delta). Cada producto contiene atributos (las columnas), con tipos de datos y etiquetas de clasificación asignados de antemano.

Las operaciones y el negocio combinados siempre ocupan al menos el 80 % de los dominios; el área corporativa tiene un límite del 20 %. Esta proporción mantiene a cada modelo centrado en lo que realmente dirige el negocio en lugar de en su back office administrativo.

Cada modelo es también un grafo acíclico dirigido por construcción. Las claves externas siempre apuntan de elemento secundario a elemento principal (order.customer_id, nunca customer.latest_order_id); los ciclos se rompen antes de la publicación; cada dominio se conecta al menos con otro a través de claves externas, por lo que el análisis entre dominios siempre es posible.

Dos alcances: MVM y ECM

MVM (modelo viable mínimo) representa del 30 al 50 % del recuento de tablas de ECM y cubre solo las funciones empresariales esenciales, dimensionadas para compromisos de pymes, pilotos y entornos de desarrollo/pruebas.

ECM (modelo de cobertura ampliada) ofrece una cobertura completa para toda la empresa, incluida la compatibilidad con dominios corporativos, y está dimensionado para implementaciones de Fortune 100. La profundidad de los atributos es idéntica en ambos ámbitos de aplicación. MVM no es un esqueleto, solo tiene un ámbito de aplicación más reducido.

Veamos con más detalle el MVM y el ECM.

¿Qué está disponible para el comercio minorista y los bienes de consumo?

Como punto de partida, actualmente tenemos 7 modelos disponibles como MVM o ECM. Estos modelos son:

Industria	Dominios ECM	Productos ECM	Dominios MVM	Productos MVM
Venta minorista	19	401	15	154
Supermercado	19	374	14	175
Comercio electrónico	18	369	14	148
Bienes de consumo	19	403	14	184
[nombre de la industria]	[??]	400	12	163
Alimentos y bebidas	19	376	14	157
Restaurantes	14	292	13	153

Abarrotes ~ un ejemplo

Al revisar el repositorio, puedes ver una comparación de los tipos de modelos MVM y ECM para que puedas tomar una buena decisión sobre qué ámbito de modelo te interesa.

Esto incluye una revisión detallada de los dominios y productos disponibles.

Puedes obtener detalles sobre qué es parte del ámbito del modelo seleccionado.  Esto incluye instrucciones, muestras, documentación y notas de la versión.

Si estás listo para desplegar el modelo en tu entorno, consulta el archivo readme en el repositorio principal para seguir los pasos. A nivel general, todo lo que necesitas es ejecutar el notebook del instalador que apunta a la industria y al alcance del modelo que te interesan.

Empieza ahora

La biblioteca se encuentra en el repositorio de Soluciones de la industria. Elija un modelo, un alcance (MVM o ECM), un estilo de catalogación, un catálogo de implementación y ejecute el notebook de instalación. Una instalación típica de MVM se completa en decenas de minutos, en comparación con Databricks Serverless, que tarda menos de dos horas. Ambos producen una capa Silver totalmente implementada en Unity Catalog con vistas de métricas listas para los paneles de AI/BI y AI/BI Genie.

Cada modelo es un punto de partida. Los clientes que necesiten adaptar un modelo a su organización (cambiar el nombre de dominios, fusionar o dividir productos, añadir un dominio faltante, cambiar convenciones de nomenclatura) pueden hacerlo mediante el Modeling Agent, que itera el modelo a través de directivas en lenguaje natural.

Recursos relacionados

Para obtener más información, consulta la primera parte de nuestra publicación del blog sobre modelado de datos. Inicia tu modelado de datos con los modelos de datos industriales de Databricks.