Modelos de datos empresariales de Lakehouse para viajes y logística

Modelos de datos de negocios de Databricks Lakehouse

Dónde se ubica

Un modelo de datos de negocio de Lakehouse es la capa Silver. Bronze se encarga de la ingesta de datos sin procesar (Lakeflow, Auto Loader). La capa Silver es el modelo analítico conformado y normalizado del que leen todos los analistas, las herramientas de BI y las cargas de trabajo de ML. El oro se deriva de la información valiosa (tablas de KPI, tablas de características, agregados) calculada sobre la plata.

Qué se incluye con cada modelo

Cada modelo se publica como un paquete completo.

`model.json` es el modelo lógico que captura cada dominio, subdominio, producto, atributo, clave foránea, etiqueta de clasificación y definición de vista de métrica. Es la unidad de referencia. Regístrelo en Git, compare las diferencias entre versiones y compártalo entre entornos.

Una implementación de Unity Catalog de esquemas, tablas Delta, restricciones de clave primaria, restricciones de clave externa (informativas) y etiquetas de clasificación. Los nombres exactos del catálogo y el esquema dependen del estilo de catalogación elegido durante la instalación.

Las vistas de métricas son definiciones de KPI reutilizables instaladas sobre las tablas físicas, listas para los paneles de AI/BI y AI/BI Genie.

Un grafo de conocimiento RDFS (ontology/) expresa el mismo modelo que un grafo semántico para la integración de herramientas semánticas y el anclaje de agentes de IA.

Un diagrama DBML (diagram/) para la exploración visual en dbdiagram.io o cualquier visor compatible con DBML.

SQL DDL (schemas/) para todo el despliegue, organizado por esquema.

La documentación de Excel y Markdown se generó junto con el modelo.

Datos de muestra sintéticos opcionales. Las filas basadas en pools respetan todas las claves foráneas, las restricciones de regex y las etiquetas de clasificación.

Jerarquía

Cada modelo sigue la misma jerarquía. La organización es toda la empresa. Contiene tres divisiones: Operaciones (lo que la empresa hace físicamente), Negocios (a quién sirve y cómo genera ingresos) y Corporativo (el área de soporte administrativo). Cada división contiene uno o más dominios (contextos delimitados singulares, de una sola palabra, en minúsculas). Cada dominio contiene dos o más subdominios (agrupaciones semánticas de dos palabras). Cada subdominio contiene productos (las tablas Delta). Cada producto contiene atributos (las columnas), con tipos de datos y etiquetas de clasificación asignados desde el principio.

Operaciones y Negocios combinados siempre representan al menos el 80 % de los dominios; Corporativo tiene un tope del 20 %. Esta proporción mantiene cada modelo centrado en lo que realmente impulsa el negocio en lugar de en su back office administrativo.

Cada modelo es también un grafo acíclico dirigido por construcción. Las claves foráneas siempre apuntan de hijo a padre (order.customer_id), nunca customer.latest_order_id); los ciclos se rompen antes de la publicación; cada dominio se conecta al menos con otro a través de claves foráneas, de modo que el análisis entre dominios siempre es posible.

Dos alcances: MVM y ECM

MVM (Modelo Mínimo Viable) representa del 30 al 50 por ciento del recuento de tablas de ECM y cubre solo las funciones comerciales esenciales, dimensionado para compromisos de SMB, pilotos y entornos de desarrollo/prueba.

ECM (modelo de cobertura ampliada) es un modelo de alcance empresarial completo, que incluye dominios corporativos de soporte, diseñado para implementaciones de Fortune 100. La profundidad de los atributos es idéntica en ambos alcances. MVM no es un esqueleto, sino un área de superficie más pequeña.

Comparemos el MVM y el ECM con más detalle.

Qué hay disponible para las industrias de viajes y logística

Como punto de partida, actualmente tenemos 4 modelos disponibles como MVM o ECM. Estos modelos son:

Viajes y hotelería: un ejemplo

Al mirar el repo, puedes ver una comparación de los tipos de modelos MVM y ECM para que puedas tomar una buena decisión sobre el alcance del modelo que te interesa.

Esto incluye una revisión detallada de los dominios y productos disponibles.

Puedes obtener detalles sobre lo que forma parte del alcance del modelo seleccionado. Esto incluye instrucciones, ejemplos, documentación y notas de la versión.

Si estás listo para implementar el modelo en tu entorno, consulta el archivo readme en el repo principal para seguir los pasos. A grandes rasgos, todo lo que necesitas es ejecutar el notebook instalador dirigido a la industria y al alcance del modelo que te interesa.

Empieza ahora

La biblioteca se encuentra en el repositorio de Industry Solutions: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Elija un modelo, un alcance (MVM o ECM), un estilo de catalogación, un catálogo de implementación y ejecute el notebook de instalación. Una instalación típica de MVM se completa en decenas de minutos, en comparación con Databricks Serverless, que tarda menos de dos horas. Ambos producen una capa Silver completamente implementada en Unity Catalog con vistas de métricas listas para los dashboards de IA/BI y AI/BI Genie.

Cada modelo es un punto de partida. Los clientes que necesiten adaptar un modelo a su organización (cambiar el nombre de los dominios, fusionar o dividir productos, agregar un dominio faltante, cambiar las convenciones de nomenclatura) pueden hacerlo con el Agente de Modelado, que itera el modelo a través de directivas de lenguaje natural.

Recursos relacionados

Para obtener más información, consulta la primera parte de nuestra publicación de blog sobre modelado de datos ~ Impulsa tu modelado de datos con los modelos de datos de la industria de Databricks

Obtén Databricks Lakehouse Industry Data Models en GitHub ~ Lakehouse Industry Data Models on GitHub