Modelos de datos empresariales de Lakehouse para comunicaciones, medios y entretenimiento

Modelos de datos de negocio de Databricks Lakehouse

Una biblioteca de cuarenta modelos de datos de negocio de capa Silver listos para producción, uno por industria, que se despliegan directamente en Unity Catalog como la base analítica de un lakehouse de Databricks.

Cada modelo está completo, gobernado y es internamente consistente desde el primer día. Cada dominio, tabla, columna, clave externa, etiqueta de clasificación y vista de métricas ya está definido. Las plantillas genéricas de la industria promedian todos los negocios de un sector, lo que les ahorra a los clientes meses de trabajo de depuración. Un modelo de datos de negocio de Lakehouse tiene la forma de una sola organización en su industria, con la terminología y las divisiones que realmente utiliza.

Cada modelo se entrega en dos alcances, MVM (Minimum Viable Model) y ECM (Expanded Coverage Model), admite tres diseños de Unity Catalog (estilos de catalogación) e incluye el mismo paquete completo de artefactos.

Dónde se ubica

Un modelo de datos de negocio de Lakehouse es la capa Silver. Bronze se encarga de la ingesta de datos brutos (Lakeflow, Auto Loader). Silver es el modelo analítico conformado y normalizado del que leen todos los analistas, herramientas de BI y cargas de trabajo de ML. Gold se deriva de la información de valor (tablas de KPI, tablas de características, agregados) calculada sobre Silver.

Qué se incluye con cada modelo

Cada modelo se publica como un paquete completo.

`model.json` es el modelo lógico que captura cada definición de dominio, subdominio, producto, atributo, clave externa, etiqueta de clasificación y vista de métricas. Es la unidad de valor. Regístrelo en git, compare diferencias entre versiones y compártalo en diferentes entornos.

Un despliegue de Unity Catalog de esquemas, tablas Delta, restricciones de clave primaria, restricciones de clave externa (informativas) y etiquetas de clasificación. Los nombres exactos de catálogo y esquema dependen del estilo de catalogación elegido durante la instalación.

Vistas de métricas son definiciones de KPI reutilizables instaladas sobre las tablas físicas, listas para paneles de AI/BI y AI/BI Genie.

Un grafo de conocimiento RDFS (ontology/) expresa el mismo modelo como un grafo semántico para la integración de herramientas semánticas y la fundamentación de agentes de IA.

Un diagrama DBML (diagram/) para la exploración visual en dbdiagram.io o cualquier visor compatible con DBML.

SQL DDL (schemas/) para todo el despliegue, organizado por esquema.

Documentación en Excel y Markdown generada junto con el modelo.

Datos de muestra sintéticos opcionales. Las filas basadas en grupos respetan todas las claves externas, restricciones de regex y etiquetas de clasificación.

Jerarquía

Cada modelo sigue la misma jerarquía. La organización es todo el negocio. Contiene tres divisiones: Operaciones (lo que hace físicamente el negocio), Negocios (a quién sirve y cómo genera ingresos) y Corporativo (el área de soporte administrativo). Cada división contiene uno o más dominios (contextos delimitados singulares, en minúsculas y de una sola palabra). Cada dominio contiene dos o más subdominios (agrupaciones semánticas de dos palabras). Cada subdominio contiene productos (las tablas Delta). Cada producto contiene atributos (las columnas), con tipos de datos y etiquetas de clasificación asignados de antemano.

Operaciones y Negocios combinados siempre contienen al menos el 80% de los dominios; Corporativo está limitado al 20%. Esta proporción mantiene cada modelo centrado en lo que realmente hace funcionar al negocio, en lugar de en su soporte administrativo.

Cada modelo es también un grafo acíclico dirigido por diseño. Las claves externas siempre apuntan de hijo a padre (order.customer_id, nunca customer.latest_order_id); los ciclos se rompen antes de la publicación; cada dominio se conecta al menos con otro a través de claves externas, por lo que el análisis entre dominios siempre es posible.

Dos alcances: MVM y ECM

MVM (Minimum Viable Model) representa entre el 30 y el 50 por ciento del recuento de tablas de ECM y cubre solo las funciones comerciales esenciales, dimensionado para proyectos de SMB, pilotos y entornos de desarrollo y prueba.

ECM (Expanded Coverage Model) ofrece una amplitud empresarial completa, incluidos los dominios corporativos de soporte, dimensionado para despliegues de Fortune 100. La profundidad de los atributos es idéntica en ambos alcances. MVM no es un esqueleto, solo un área de superficie más pequeña.

Comparemos el MVM y el ECM con más detalle.

Qué está disponible para las industrias de telecomunicaciones, medios y entretenimiento

Como punto de partida, actualmente tenemos 4 modelos disponibles como MVM o ECM. Estos modelos son:

Publicidad ~ un ejemplo

Al consultar el repositorio, podrá ver una comparación de los tipos de modelo MVM y ECM para que pueda tomar una decisión informada sobre el alcance del modelo que le interesa.

Esto incluye una revisión detallada de los dominios y productos disponibles.

Puede obtener detalles sobre lo que forma parte del alcance del modelo seleccionado. Esto incluye instrucciones, muestras, documentación y notas de la versión.

Si está listo para implementar el modelo en su entorno, consulte el archivo readme en el repositorio principal para seguir los pasos. A grandes rasgos, todo lo que necesita es ejecutar el notebook de instalación apuntando al sector y al alcance del modelo que le interese.

Primeros pasos

La biblioteca se encuentra en el repositorio de Industry Solutions: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Elija un modelo, un alcance (MVM o ECM), un estilo de catalogación, un catálogo de implementación y ejecute el notebook de instalación. Una instalación típica de MVM se completa en decenas de minutos, en comparación con Databricks Serverless, que tarda menos de dos horas. Ambos producen una capa Silver completamente implementada en Unity Catalog con vistas de métricas listas para los paneles de AI/BI y AI/BI Genie.

Cada modelo es un punto de partida. Los clientes que necesiten adaptar un modelo a su organización (cambiar el nombre de los dominios, fusionar o dividir productos, agregar un dominio faltante, cambiar las convenciones de nomenclatura) pueden hacerlo utilizando el Modeling Agent, que realiza iteraciones en el modelo a través de directivas en lenguaje natural.

Recursos relacionados

Para obtener más información, consulte la primera parte del lanzamiento de nuestro blog de modelado de datos ~ Impulse su modelado de datos con Databricks Industry Data Models
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models