Novedades de Databricks Unity Catalog en Data + AI Summit 2025

Hace cuatro años, Databricks observó una complejidad tremenda en el panorama de los datos: catálogos separados para cada plataforma, herramientas de gobernanza aisladas entre nubes y ninguna forma unificada de proteger los activos de IA. Fuimos pioneros en Gobernanza Unificada al lanzar Unity Catalog, una capa de catálogo abierta y flexible para gestionar el acceso, linaje, auditoría y descubrimiento en todos los datos y activos de IA.

Hoy, Unity Catalog se ha convertido en la base de la Plataforma de Inteligencia de Datos de Databricks y la única solución de gobernanza unificada de la industria para datos e IA en todos los formatos, nubes y motores. Desde el intercambio abierto de datos hasta la seguridad granular y la gobernanza del conocimiento, Unity Catalog ayuda a las organizaciones a aportar contexto, control y confianza a su patrimonio de datos.

En el Data + AI Summit de este año, anunciamos innovaciones importantes en Unity Catalog, ofreciendo el mejor catálogo para Apache Iceberg™, nuevas experiencias para usuarios de negocio y gobernanza inteligente para proteger datos sensibles y garantizar una calidad de datos confiable a escala.

Esto es lo nuevo.

El Mejor Catálogo para Apache Iceberg™

Las organizaciones que adoptan un lakehouse a menudo se ven obligadas a elegir entre Delta Lake y Apache Iceberg™. Esa elección crea silos artificiales: restringe el acceso a las herramientas de datos e IA que los equipos pueden usar, fragmenta la gobernanza y bloquea los metadatos en catálogos específicos del formato.

Unity Catalog elimina la necesidad de elegir. Basado en estándares abiertos, Unity Catalog es el único catálogo unificado que funciona sin problemas en todos los formatos, motores y nubes, lo que lo convierte en la base del lakehouse abierto. Durante el último año, tras la adquisición de Tabular, hemos invertido profundamente en Apache Iceberg para extender esta visión. Nos complace anunciar:

• Soporte completo para la API REST del Catálogo Iceberg, lo que permite a los motores externos leer (Generalmente Disponible) y escribir (Vista Previa Pública) en tablas Iceberg gestionadas por Unity Catalog. Este es un diferenciador importante en el mercado, que elimina el bloqueo de formato y permite una interoperabilidad completa sin igual por ninguna otra solución. 
• Las tablas gestionadas por Iceberg ahora están en Vista Previa Pública, ofreciendo el mejor precio y rendimiento de su clase, liquid clustering, predictive optimization, y una integración completa con Databricks y en motores externos, incluidos Trino, Snowflake y Amazon EMR.
• La federación de catálogos Iceberg está en Vista Previa Pública, lo que le permite gobernar y consultar tablas Iceberg gestionadas en AWS Glue, Hive Metastore y Snowflake Horizon sin copiar datos.
• Delta Sharing para Iceberg ahora está en Vista Previa Privada, lo que le permite compartir tablas de Unity Catalog y tablas Delta con cualquier destinatario utilizando Delta Sharing y consumirlas en cualquier cliente que admita la API REST del Catálogo Iceberg.

En conjunto, estas capacidades rompen los silos de formato y posicionan a Unity Catalog como el único catálogo que ofrece una gobernanza e interoperabilidad verdaderamente abiertas y unificadas. Consulte nuestro blog sobre el soporte de Iceberg para obtener más información sobre estos anuncios. 

Ampliando Unity Catalog a usuarios de negocio

Las plataformas de datos no deberían limitarse al usuario técnico. Los usuarios de negocio necesitan una forma clara y coherente de encontrar, confiar y trabajar con los datos. Unity Catalog ahora ofrece una base unificada para el contexto de negocio que cierra la brecha entre los equipos de datos y los de negocio. 

Métricas de Unity Catalog: Una capa semántica para todas las cargas de trabajo de datos e IA

Las definiciones inconsistentes de métricas en herramientas y equipos han causado durante mucho tiempo confusión, desalineación y falta de confianza en los datos. Unity Catalog Metrics, ahora en Vista Previa Pública en AWS, Azure, y GCP y que estará Disponible Generalmente a finales de este verano, resuelve esto al convertir las métricas de negocio en activos de primera clase en el lakehouse. A diferencia de las métricas definidas solo en la capa de BI, que limitan la reutilización y la integración, definir métricas en la capa de datos hace que la semántica de negocio sea reutilizable en todas las cargas de trabajo, como paneles, modelos de IA y trabajos de ingeniería de datos. Las Métricas de Unity Catalog también son totalmente accesibles a través de SQL para garantizar que todos en la organización puedan tener la misma visión de las métricas, independientemente de la herramienta que elijan.

• Definir una vez, usar en todas partes: Cree métricas una vez en Unity Catalog y úselas en paneles de IA/BI, Genie, Notebooks, SQL y trabajos de Lakeflow. Las próximas integraciones ampliarán el soporte a herramientas de BI como Tableau, Hex, Sigma, ThoughtSpot, Omni y herramientas de observabilidad como Anomalo y Monte Carlo.
• Gobernadas y auditables por defecto: Las métricas certificadas vienen con auditoría y linaje listos para usar, lo que permite obtener información confiable y conforme en todos los equipos.

"Unity Catalog Metrics nos brinda un lugar central para definir KPIs de negocio y estandarizar la semántica entre equipos, asegurando que todos trabajen con las mismas definiciones confiables en paneles, SQL y aplicaciones de IA." — Richard Masters, Vicepresidente, Datos e IA, Virgin Atlantic

"Unity Catalog Metrics representa una oportunidad emocionante para los clientes de Tableau de aprovechar el valor de la gobernanza centralizada con Databricks Unity Catalog. A través de nuestra profunda integración y hoja de ruta en expansión con Databricks, estamos encantados de ayudar a eliminar las fricciones para nuestros clientes al utilizar Databricks para definir sus métricas de negocio principales." — Nicolas Brisoux, Director Principal de Gestión de Producto, Tableau

Nuevas experiencias de descubrimiento curadas con información inteligente

Para empoderar completamente a los usuarios de negocio, debes hacer que los datos confiables sean fáciles de encontrar, entender y usar. Unity Catalog está ampliando su gobernanza consciente del negocio con una nueva experiencia de Descubrimiento, ahora en Vista Previa Privada, un mercado interno curado de productos de datos certificados organizados por dominios de negocio como Ventas, Marketing o Finanzas. 

Las recomendaciones impulsadas por IA y la curación de administradores de datos ayudan a mostrar los activos de mayor valor, como métricas, paneles, tablas, agentes de IA y espacios Genie que están enriquecidos con documentación, propiedad e información de uso. Las nuevas señales inteligentes resaltan la calidad de los datos, los patrones de uso, las relaciones y el estado de certificación, ayudando a los usuarios a evaluar rápidamente la confianza y la relevancia. Además, con Databricks Assistant integrado, los usuarios pueden hacer preguntas en lenguaje natural y obtener respuestas claras y contextuales basadas en métricas gobernadas.

También estamos introduciendo nuevas capacidades inteligentes en Databricks para hacer que el descubrimiento de datos sea más fácil e intuitivo, dondequiera que los usuarios trabajen en la plataforma. Impulsadas por Unity Catalog, estas características ayudan a los equipos a encontrar datos confiables más rápido y a comprender su contexto de un vistazo.

• Dominios (Próximamente): Organiza los datos por área de negocio para alinear el descubrimiento con las operaciones de la organización.
• Certificaciones y Etiquetas de Deprecación (Beta): Señala la confianza de los datos y la relevancia del negocio en conjuntos de datos, métricas y paneles. Los activos etiquetados muestran prominentemente su estado en superficies de autoría como el editor SQL, manteniendo las señales de calidad de los datos visibles durante todo el flujo de trabajo del usuario. Las certificaciones y las etiquetas de deprecación están disponibles como parte de las Políticas de Etiquetas Beta. 
• Solicitud de Acceso (Vista Previa Privada): Para agilizar la entrega, los usuarios pueden solicitar acceso a los datos directamente al activo.

Capacidades adicionales de gobernanza avanzada ahora disponibles 

Gobernanza de alto apalancamiento con controles escalables basados en atributos

Escalar la gobernanza de datos se vuelve cada vez más desafiante a medida que las organizaciones crecen, con más usuarios, equipos y activos de datos para administrar. Las políticas estáticas y los controles manuales no pueden seguir el ritmo, lo que genera brechas de gobernanza, riesgos de seguridad y cuellos de botella operativos. 

Para abordar estos desafíos, Unity Catalog ahora proporciona automatización inteligente y controles flexibles y escalables para clasificar datos sensibles, aplicar políticas de manera consistente y acelerar el acceso seguro a los datos en todo el lakehouse. 

• Control de acceso basado en atributos (ABAC): Define políticas de acceso flexibles utilizando etiquetas que se pueden aplicar en el nivel de catálogo, esquema o tabla. ABAC está disponible en Beta para seguridad a nivel de fila y columna en AWS, Azure, y GCP. 

• Políticas de etiquetas: Las políticas de etiquetas aplican una capa de gobernanza sobre cómo se crean, asignan y utilizan las etiquetas en Databricks. Estas políticas a nivel de cuenta garantizan que las etiquetas sigan siendo consistentes y confiables, admitiendo todo, desde la clasificación de datos hasta la atribución de costos. Las políticas de etiquetas están disponibles en Beta en AWS, Azure, y GCP. 

• Clasificación de datos: Detecta y etiqueta inteligentemente datos sensibles en Unity Catalog. Los datos nuevos se escanean dentro de las 24 horas para detectar automáticamente nueva PII, minimizando el esfuerzo manual y permitiendo a los equipos mantenerse al tanto del acceso a los datos. Cuando se utiliza con ABAC, la clasificación de datos protege automáticamente los datos sensibles según sus políticas de control de acceso. La clasificación de datos está disponible en Beta en AWS, Azure, y GCP. 

“Implementar el enmascaramiento de columnas en más de 5.000 tablas solía ser un esfuerzo manual enorme. Con ABAC, podemos aplicar políticas consistentes de forma dinámica, mejorando drásticamente tanto la velocidad como la gobernanza.” — Ramesh Balasubramanyan, Administrador de Databricks, SAIF

“Databricks Data Classification ha sido un punto de inflexión en nuestra estrategia de privacidad y seguridad de datos. Combinado con ABAC, nos permite proteger automáticamente los datos sensibles sin restringir los datos que nuestros analistas necesitan. El mayor beneficio ha sido la velocidad, ya que la clasificación y el enmascaramiento automatizados reducen significativamente la carga de trabajo manual, liberando nuestros recursos y ahorrando a nuestro equipo incontables horas cada semana.” — Mary Tesfay, Directora de Datos y Analítica, Corp IT, Navitas

Supervisión automatizada de la calidad de los datos a escala

Unity Catalog ahora detecta de forma inteligente y ayuda a resolver problemas de calidad de datos en todas sus tablas con la supervisión de la calidad de los datos, disponible en beta en AWS, Azure, y GCP. La supervisión de la calidad de los datos comprueba la frescura —la frecuencia con la que se han actualizado los datos— y la completitud —si los volúmenes de datos son los esperados— utilizando inteligencia de datos en esquemas completos. Los consumidores pueden comprender el estado de los datos de un vistazo con indicadores de estado, mientras que los propietarios de los datos pueden comprender la prioridad de los problemas basándose en el linaje descendente, descubrir la causa raíz y establecer alertas utilizando registros y paneles integrados. 

Comience con Unity Catalog, la base de la Inteligencia de Datos

Unity Catalog continúa evolucionando como la única capa de gobernanza unificada de la industria, la base para plataformas de datos seguras, inteligentes y conscientes del negocio. Ya sea que esté creando agentes de IA, entregando paneles de BI o compartiendo datos entre organizaciones, Unity Catalog lo conecta todo a través de un catálogo único y abierto.

Para empezar, siga las guías de Unity Catalog para AWS, Azure, y GCP. 

Vea la presentación principal de Data + AI Summit 2025 de Matei Zaharia, Cofundador y Director de Tecnología de Databricks, para obtener más información sobre estos anuncios recientes. 

Regístrese para Data + AI Summit y explore la pista de gobernanza de datos e IA

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original