Anuncio de disponibilidad general y código abierto de Semántica de Negocio de Unity Catalog

A medida que los datos y la IA se vuelven centrales para todas las empresas, es esencial una comprensión coherente de los conceptos de negocio. Los analistas, ingenieros, ejecutivos y ahora los agentes de IA a menudo interpretan los mismos datos de manera diferente, lo que resulta en desviaciones métricas, informes contradictorios y una disminución de la confianza.

Durante años, estos conceptos de negocio vivieron dentro de herramientas de BI y paneles. En la era de la IA agéntica, donde los agentes razonan sobre los datos y actúan de forma autónoma, las definiciones fragmentadas no solo crean confusión, sino que la amplifican. Las empresas necesitan una base semántica unificada definida en el núcleo de la plataforma de datos e IA, gobernada una vez y aplicada en todas partes. Y debe ser abierta. La semántica empresarial define cómo las organizaciones miden los ingresos, el crecimiento, el valor del cliente y el riesgo. Estas definiciones son activos estratégicos que no pueden quedar atrapados en sistemas propietarios ni limitarse a una sola capa de aplicación.

Hoy, estamos cambiando esto con la Disponibilidad General de Unity Catalog Business Semantics, una base semántica unificada y abierta que ofrece un contexto coherente y confiable en paneles de BI, flujos de trabajo de desarrolladores y agentes de IA. Para hacer que esta base sea verdaderamente portátil, también estamos lanzando como código abierto su implementación principal en Apache Spark, con soporte en Unity Catalog OSS v0.5 próximamente.

Por qué los enfoques tradicionales de la semántica empresarial se quedan cortos

Los clientes han utilizado durante mucho tiempo capas semánticas específicas de herramientas de BI que brindan coherencia dentro de esa herramienta, pero ese enfoque tiene limitaciones:

• Propietarias y fragmentadas: En un mundo multi-herramienta y multi-agente, cada modelo de BI habla su propio idioma. Como resultado, las definiciones quedan atrapadas dentro de paneles, modelos y hojas de cálculo, lo que hace casi imposible gobernar, aplicar políticas de acceso o rastrear el linaje en toda la organización.
• Definiciones demasiado lejanas: Dado que estas capas se encuentran en el nivel de presentación en lugar de en la base de datos, los equipos redefinen repetidamente las mismas métricas para diferentes paneles e informes. Este enfoque descendente hace que la semántica sea frágil, inconsistente y difícil de escalar.
• Infle xible para IA: Las capas tradicionales dependen de modelos pesados y previos que no pueden seguir el ritmo de las preguntas de negocio que cambian rápidamente o las indicaciones abiertas de los agentes de IA. Cada cambio requiere la intervención de expertos, lo que ralentiza la respuesta y erosiona la confianza.

Estas limitaciones han frustrado durante mucho tiempo a los equipos de datos e IA. En el panorama actual impulsado por la IA, donde la agilidad y las respuestas confiables son innegociables, se han convertido en una barrera crítica para el progreso.

Unity Catalog Business Semantics: Un enfoque unificado y abierto para la semántica empresarial

Unity Catalog Business Semantics representa un cambio fundamental, ya que la semántica ahora está unificada y gobernada en el núcleo de la Plataforma de Inteligencia de Datos de Databricks. Integradas directamente en Unity Catalog, extienden la misma gobernanza, seguridad y linaje en los que ya confía y hacen que esas definiciones estén disponibles dondequiera que trabaje.

Este enfoque ofrece tres beneficios clave:

1. Abierto y reutilizable: Accesible a través de SQL y API, la semántica empresarial se puede consultar en paneles, cuadernos, aplicaciones y agentes de IA. Almacenadas en un formato abierto, son totalmente portátiles y no se limitan a herramientas propietarias.
2. Gobernado en el núcleo: Hereda las mismas políticas de gobernanza que los datos subyacentes. Este enfoque ascendente garantiza un uso, gobernanza, linaje y control de acceso coherentes para proporcionar una única fuente de verdad tanto para los datos como para el significado empresarial.
3. Diseñado para IA: Los metadatos semánticos enriquecidos proporcionan el contexto que los agentes necesitan para responder nuevas preguntas con precisión y adaptarse a medida que evolucionan los conceptos de negocio, sin una modelización previa intensiva.

Metric Views nos ayudó a estandarizar nuestras métricas y a reducir drásticamente la carga de trabajo empresarial de reconciliar números. Las consultas son significativamente más rápidas, en algunos casos hasta 10 veces más, los paneles son más fáciles de construir y hemos visto mejoras significativas en la precisión de Genie gracias a datos más coherentes y preagregados. — Pedro Alves, Gerente de Datos, Tech Growth, iFood

Unity Catalog Business Semantics presenta una oportunidad emocionante para establecer coherencia, confianza y control en la forma en que se definen y consumen las métricas de negocio en Zalando. Es una contribución prometedora para tomar decisiones alineadas y basadas en datos en nuestros paneles de BI, cuadernos y otras herramientas. — Timur Yüre, Gerente de Ingeniería, Zalando

Base de código abierto para la semántica empresarial

Uno de los objetivos clave con Unity Catalog Business Semantics es garantizar que los clientes puedan definir el significado empresarial de una manera abierta, portátil y diseñada para funcionar en su ecosistema existente, sin bloqueos. Las definiciones semánticas deben integrarse perfectamente con las herramientas de BI, las cargas de trabajo de SQL y los agentes de IA, y permanecer duraderas a medida que evolucionan las plataformas y los patrones de consumo.

Para lograr esto, estamos lanzando como código abierto la implementación principal de Metric View en Apache Spark OSS, apuntando a la próxima versión de Apache Spark (puede seguir el progreso en SPARK-54119), con soporte en Unity Catalog OSS v0.5 próximamente. Esto permite a los clientes definir la semántica empresarial utilizando SQL estándar en sistemas abiertos, gobernados en la base de datos en lugar de incrustados en herramientas posteriores, y reutilizados de manera coherente en superficies de análisis e IA.

Databricks también apoya esfuerzos más amplios de la industria para mejorar la interoperabilidad en torno a la semántica empresarial. La empresa se ha unido a la iniciativa Open Semantic Interchange (OSI) y está contribuyendo activamente a ella. Vemos iniciativas como OSI como un paso importante hacia la alineación del ecosistema y contribuiremos en consecuencia, mientras continuamos enfocándonos en construir una base semántica abierta y gobernada en la que los clientes puedan confiar a escala.

Desglosando las novedades del lanzamiento de GA

Metric Views: KPIs confiables y coherentes

En el corazón de este lanzamiento de GA se encuentran Metric Views, que establecen definiciones confiables y coherentes de KPIs empresariales con metadatos semánticos como nombres para mostrar, formatos y sinónimos que ayudan tanto a humanos como a IA a interpretar y aplicar esas definiciones con confianza. Metric Views le permite definir mapeos de datos, medidas y dimensiones centralmente en SQL y gobernarlos directamente en Unity Catalog. Las definiciones se vuelven portátiles en todas las superficies: paneles de IA/BI, Genie, cuadernos, aplicaciones SQL y herramientas de terceros conectadas a Databricks. Dado que cada métrica se define de forma declarativa, el motor compila y ejecuta el SQL subyacente de forma determinista en el momento de la consulta, lo que garantiza que cada consumidor, ya sea humano o agente de IA, obtenga el mismo resultado de la misma definición, independientemente de cómo o dónde acceda a ella.

Novedades:

Materialización para el rendimiento de las consultas:  Unity Catalog Business Semantics combina definiciones gobernadas con rendimiento a escala a través de materializaciones. En lugar de obligar a los equipos a decidir qué tabla de agregación utilizar, duplicar la lógica para diferentes niveles de rendimiento o crear canalizaciones separadas para diferentes cargas de trabajo, la capa semántica maneja el rendimiento automáticamente. Así es como funciona:

• Preagregación automática: Al definir materializaciones para una métrica, la plataforma mantiene resultados preagregados y optimizados sin intervención manual
• Actualización incremental: Los resultados materializados se mantienen actualizados mediante actualizaciones incrementales, por lo que las métricas nunca quedan obsoletas y rara vez se necesita una recomputación completa
• Reescritura inteligente de consultas: En el momento de la consulta, el motor reescribe las consultas para aprovechar la mejor materialización disponible
• Enrutamiento transparente: Los usuarios consultan métricas de la misma manera que siempre lo hacen, mientras que el sistema dirige cada solicitud a la ruta más rápida entre bastidores

La materialización está en versión preliminar y para obtener más información, consulte la documentación (AWS, Azure, GCP).

Creación con la nueva interfaz de usuario y experiencias de IA agentiva: Ahora, en versión preliminar pública, puede crear y administrar Vistas de Métricas a través de una nueva interfaz de usuario de apuntar y hacer clic en Unity Catalog Explorer, lo que hace que la modelización semántica sea accesible tanto para usuarios técnicos como no técnicos sin necesidad de SQL complejo o experiencia profunda en modelización de datos. La interfaz de usuario le permite definir relaciones entre tablas visualmente, graficar métricas en línea y probar todo de extremo a extremo antes de publicar, todo sin salir del navegador. Para obtener más información sobre la creación basada en interfaz de usuario, consulte la documentación (AWS, Azure, GCP).

Genie Code acelera aún más el proceso de creación al integrar IA agentiva directamente en el flujo de trabajo de creación. En lugar de empezar desde una página en blanco, Genie Code puede:

• Acelerar el arranque de modelos semánticos: Sugerir medidas, dimensiones, sinónimos y documentación para que los equipos comiencen en minutos en lugar de semanas
• Refinar y refactorizar: Identificar problemas en definiciones existentes y recomendar mejoras a medida que evoluciona la lógica de negocio
• Validar cambios: Probar las ediciones propuestas con datos reales para poder detectar errores antes de que se propaguen
• Permitir la gestión granular de cambios: Revisar y aprobar cambios individuales de métricas con visibilidad completa de lo que cambió y por qué

Las Vistas de Métricas van más allá de la definición de KPIs. Cada vista de métricas contiene metadatos semánticos enriquecidos, nombres para mostrar, formatos y sinónimos, lo que la hace comprensible y utilizable tanto por humanos como por IA, garantizando una presentación coherente en paneles y interfaces de usuario conversacionales, al tiempo que ayuda a la IA a interpretar correctamente la terminología empresarial y las consultas en lenguaje natural.

Cómo la semántica empresarial potencia la IA/BI de Databricks

Con esta versión GA, los paneles de IA/BI y Genie ahora están completamente integrados con la semántica empresarial de Unity Catalog. En la práctica, esto desbloquea tres beneficios clave:

En la práctica, esto desbloquea tres beneficios clave:

1. Paneles de IA/BI impulsados por métricas gobernadas: Ahora puede crear paneles directamente sobre Vistas de Métricas en Unity Catalog. Cada visualización, filtro, desglose y comparación utiliza el mismo conjunto certificado de medidas y dimensiones, lo que garantiza números coherentes en todos los equipos y herramientas.
2. Genie anclado en su lenguaje empresarial: Se pueden crear espacios de Genie directamente sobre Vistas de Métricas, lo que significa que cada consulta en lenguaje natural que Genie responde se basa en definiciones gobernadas y deterministas, no en lógica inferida. Dado que las Vistas de Métricas se compilan en consultas lógicas en tiempo de ejecución, los usuarios siempre obtienen resultados correctos y coherentes. Genie ya no está inventando métricas; las está resolviendo a partir de una única fuente de verdad.
3. Promover la lógica del panel a su capa semántica: Al crear un nuevo panel de IA/BI sin una Vista de Métricas existente, las uniones de tablas, filtros o campos calculados que cree ahora se pueden promover a una nueva Vista de Métricas en Unity Catalog con una sola acción. Se convierte instantáneamente en parte de la capa semántica de su organización, disponible en Genie, SQL, cuadernos y herramientas de BI externas. Además, su panel se beneficiará automáticamente de la materialización de Vistas de Métricas, lo que mejorará significativamente el rendimiento de sus consultas subyacentes.

Extienda sus semánticas a sus herramientas favoritas

Una base semántica sólida se vuelve aún más valiosa cuando viaja más allá de una sola plataforma. Es por eso que trabajamos en estrecha colaboración con un rico ecosistema de socios tecnológicos que se integran directamente con la semántica empresarial de Unity Catalog.

• Tableau: Tableau planea agregar soporte para semánticas delegadas de proveedores de métricas externos, incluida la semántica empresarial de Unity Catalog de Databricks, dentro de su modelo de datos relacionales. Esto garantizará que los analistas puedan confiar en que las métricas se definen de manera coherente y se agregan con precisión por la capa semántica subyacente. Se espera la integración a finales de 2026.

  Tableau se complace en incorporar la semántica empresarial de Unity Catalog en nuestro modelo de datos relacionales, lo que brinda a los analistas y organizaciones la capacidad de definir métricas y metadatos una vez y que Tableau aplique automáticamente la semántica correcta para obtener información coherente y confiable. — Nicolas Brisoux, Director Principal de Gestión de Producto, Tableau

• Sigma Computing: Sigma se integra directamente con la semántica empresarial de Unity Catalog de Databricks consultando Vistas de Métricas en tiempo real, lo que garantiza que las definiciones más actuales se reflejen instantáneamente sin movimiento de datos. Esta arquitectura permite que Sigma funcione como una extensión transparente de su Lakehouse, heredando estrictamente los protocolos de seguridad y gobernanza de Unity Catalog en el punto de ejecución.

  En Sigma, trabajamos arduamente para integrarnos con la semántica empresarial de Unity Catalog porque permite a nuestros clientes combinar la experiencia similar a una hoja de cálculo de Sigma con definiciones empresariales gobernadas, lo que garantiza análisis rápidos, coherentes y confiables para todos. — Jordan Stein, Gerente de Producto, Sigma

• ThoughtSpot: A finales de este año, ThoughtSpot agregará soporte nativo para Vistas de Métricas de Unity Catalog, lo que permitirá a los usuarios de Spotter consultar instantáneamente métricas gobernadas de Databricks en lenguaje natural. Esto elimina el SQL personalizado y brinda a las organizaciones acceso flexible, preciso y rápido a métricas empresariales confiables en toda su pila de datos.

  ThoughtSpot está encantado de profundizar nuestra asociación con Databricks a través de la semántica empresarial de Unity Catalog, brindando a los clientes mucha más flexibilidad en cómo y dónde administran sus semánticas empresariales. — Francois Lopitaux, Vicepresidente Senior de Producto, ThoughtSpot

• Hex: Las Vistas de Métricas de Unity Catalog ahora están completamente integradas en Hex. Los usuarios pueden explorar Vistas de Métricas directamente desde sus conexiones de Databricks, consultarlas con SQL en notebooks de Hex y crear aplicaciones de datos respaldadas por definiciones gobernadas. Esto facilita pasar de la exploración a las aplicaciones de producción sin redefinir métricas.

Con las Vistas de Métricas de Unity Catalog de Databricks en Hex, los equipos trabajan con métricas confiables y gobernadas, lo que reduce inconsistencias y acelera el trabajo con información confiable. — Armin Efendic, Partner Engineer, Hex

• Omni: Con Omni, los equipos pueden analizar Vistas de Métricas a través de experiencias familiares como hojas de cálculo, SQL o chat impulsado por IA.  Omni también permite a los usuarios de negocio definir nuevas métricas y dimensiones mientras exploran datos, y luego enviar esas actualizaciones de vuelta a Unity Catalog a través de API. Esto crea una única fuente de verdad en Unity Catalog, al tiempo que permite a los expertos de negocio contribuir directamente al modelo semántico de la organización. Esto permite que tanto los equipos de datos como los expertos de negocio contribuyan directamente al modelo semántico.

  Basar la IA en el contexto empresarial es la única forma de hacerla confiable. Nuestra integración con las Vistas de Métricas de Unity Catalog lleva las definiciones gobernadas a todas las interfaces: IA, hojas de cálculo, paneles y SQL. Con la sincronización bidireccional entre Omni y Databricks, los equipos pueden definir y actualizar métricas en cualquiera de los sistemas, manteniendo todo alineado. Esa consistencia ayuda a los clientes a escalar el autoservicio, acelerar la adopción de IA y potenciar productos de datos confiables orientados al cliente. — Jamie Davidson, Co-fundador, Omni

• Atlan: La integración nativa de Atlan con UC Metrics lleva sus métricas más críticas directamente al Context Graph de Atlan, vinculándolas con linaje, propietarios y definiciones de negocio sin agregar ninguna sobrecarga de permisos nueva. Esto brinda a los equipos una vista única y confiable de las métricas en el flujo de trabajo, lo que permite una resolución de problemas más rápida, una mejor toma de decisiones y datos listos para IA a escala.

  Las métricas son el pulso de la plataforma de Datos e IA de cada empresa. Al llevar UC Metrics al Context Graph de Atlan, con linaje, contexto de negocio y cero permisos adicionales, nuestros clientes obtienen inteligencia operativa que antes estaba fuera de su alcance. Este es un paso significativo hacia datos listos para IA a escala. — Chandru, Product Leader, Atlan

• Monte Carlo: Monte Carlo ahora admite Vistas de Métricas en Unity Catalog, lo que le brinda observabilidad de extremo a extremo en sus métricas de negocio estandarizadas y los pipelines que las impulsan.

  Los datos y la IA confiables comienzan con métricas de negocio gobernadas. Unity Catalog Metrics facilita la estandarización de KPIs a escala, y con Monte Carlo, los líderes de datos pueden confiar en esas métricas para impulsar un impacto empresarial real. — Lior Gavish, Co-fundador y CTO, Monte Carlo

• Collibra: Collibra brinda visibilidad confiable de sus métricas de Databricks para que tanto humanos como agentes de IA puedan descubrirlas y usarlas fácilmente para tomar decisiones de negocio. La integración mejorada mejora la visualización de métricas, permite que las métricas aprobadas por Collibra fluyan directamente a Databricks y agrega sincronización bidireccional para garantizar métricas consistentes y confiables en todo su patrimonio de datos.

  Las métricas gobernadas y consistentes son necesarias para que los agentes de IA y los usuarios de datos comprendan, confíen y automaticen flujos de trabajo. Nuestros clientes conjuntos continúan queriendo una estrecha colaboración entre Databricks y Collibra. — Tom Dejonghe, VP, Product Management, Data Governance, Collibra

• Domo: Ahora se integra con las Vistas de Métricas de Unity Catalog, lo que permite que las métricas gobernadas de Databricks fluyan directamente a los paneles, análisis y flujos de trabajo impulsados por IA de Domo. Esto reduce la duplicación, fortalece la gobernanza y acelera el tiempo de obtención de información sobre KPIs confiables.

  La integración de las métricas gobernadas de Databricks con Domo ayuda a los clientes a reducir la duplicación, mejorar la gobernanza y acelerar la obtención de información sobre KPIs confiables. — Matthew Payne, VP Engineering, Domo

• Anomalo: Anomalo se une como socio de lanzamiento para las Métricas Gobernadas de Unity Catalog, emparejando la capa semántica unificada de Databricks con el monitoreo automatizado de métricas de Anomalo. Esta integración ayuda a las empresas a detectar la deriva y los problemas de calidad de datos de manera temprana, garantizando métricas precisas y confiables para decisiones críticas.

  Al combinar la capa semántica unificada de Databricks con el monitoreo de métricas de Anomalo, ayudamos a los clientes a detectar la deriva de manera temprana y a mantener sus métricas precisas y confiables a escala. — Amy Reams, Vicepresidenta de Desarrollo de Negocios y Marketing, Anomalo

En conjunto, estas integraciones y las próximas garantizan que la semántica consistente y gobernada fluya a través del ecosistema más amplio de análisis e IA, yendo mucho más allá de Databricks.

Comenzando con la Semántica de Negocio de Unity Catalog

Estamos increíblemente entusiasmados con este lanzamiento. Con la semántica ahora como parte central de su plataforma de datos, el contexto empresarial fluye a todas partes, desde paneles y agentes de IA hasta notebooks y herramientas de BI externas, eliminando silos de métricas, dependencia de proveedores e inconsistencias entre herramientas. Construida sobre una base abierta, su capa semántica funciona dondequiera que lo hagan sus datos.
Explore la documentación  (AWS, Azure,  GCP) para obtener una guía detallada sobre cómo comenzar a definir la semántica de negocio, controlar permisos y varios métodos de consumo. 
Explore demostraciones de productos para ver la semántica de negocio en acción con paneles de IA/BI y espacios Genie.

• Descripción general de las Vistas de Métricas de Unity Catalog
• Visualización de Vistas de Métricas en IA/BI
• Consulta de Vistas de Métricas desde un Editor SQL

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original