¿Qué hay de nuevo con Databricks Unity Catalog en Data + AI Summit 2025?

Hace cuatro años, Databricks observó una enorme complejidad en el panorama de los datos: catálogos separados para cada plataforma, herramientas de gobernanza aisladas en las nubes y ninguna forma unificada de proteger los activos de IA. Fuimos pioneros en la Gobernanza Unificada al lanzar Unity Catalog, una capa de catálogo abierta y flexible para administrar el acceso, el linaje, la auditoría y el descubrimiento en todos los datos y activos de IA.

Hoy en día, Unity Catalog se ha convertido en la base de la Databricks Data Intelligence Platform y en la única solución de gobernanza unificada de la industria para datos e IA en todos los formatos, nubes y motores. Desde el intercambio de datos abiertos hasta la seguridad granular y la gobernanza del conocimiento, Unity Catalog ayuda a las organizaciones a aportar contexto, control y confianza a su patrimonio de datos.

En la Data + AI Summit de este año, estamos anunciando importantes innovaciones en Unity Catalog, ofreciendo el mejor catálogo para Apache Iceberg™, nuevas experiencias de usuario empresarial y una gobernanza inteligente para proteger los datos confidenciales y garantizar una calidad de datos confiable a escala.

Esto es lo nuevo.

El mejor catálogo para Apache Iceberg™

Las organizaciones que adoptan un lakehouse a menudo se ven obligadas a elegir entre Delta Lake y Apache Iceberg™. Esa elección crea silos artificiales: restringe el acceso a los datos y a las herramientas de IA que los equipos pueden usar, fragmenta la gobernanza y bloquea los metadatos en catálogos específicos del formato.

Unity Catalog elimina la necesidad de elegir. Construido sobre estándares abiertos, Unity Catalog es el único catálogo unificado que funciona a la perfección en todos los formatos, motores y nubes, lo que lo convierte en la base del lakehouse abierto. Durante el año pasado, tras la adquisición de Tabular, hemos invertido profundamente en Apache Iceberg para ampliar esta visión. Nos complace anunciar:

• Soporte completo para la API del catálogo REST de Iceberg, lo que permite a los motores externos leer (disponibilidad general) y escribir (vista previa pública) en las tablas de Iceberg administradas por Unity Catalog. Este es un diferenciador importante en el mercado, que elimina el bloqueo de formato y permite una interoperabilidad total inigualable por cualquier otra solución. 
• Tablas administradas de Iceberg ahora están en vista previa pública, ofreciendo el mejor precio y rendimiento de su clase, clustering líquido, optimización predictiva y una integración completa con Databricks y en todos los motores externos, incluidos Trino, Snowflake y Amazon EMR.
• La federación del catálogo de Iceberg está en vista previa pública, lo que le permite gobernar y consultar las tablas de Iceberg administradas en AWS Glue, Hive Metastore y Snowflake Horizon sin copiar datos.
• Delta Sharing para Iceberg ahora está en vista previa privada, lo que le permite compartir tablas de Unity Catalog y tablas Delta con cualquier destinatario que use Delta Sharing y consumirlas en cualquier cliente que admita la API del catálogo REST de Iceberg.

En conjunto, estas capacidades rompen los silos de formato y distinguen a Unity Catalog como el único catálogo que ofrece una gobernanza e interoperabilidad verdaderamente abiertas y unificadas. Consulte nuestro blog sobre el soporte de Iceberg para obtener más información sobre estos anuncios. 

Ampliación de Unity Catalog a los usuarios empresariales

Las plataformas de datos no deben detenerse en el usuario técnico. Los usuarios empresariales necesitan una forma clara y coherente de encontrar, confiar y trabajar con los datos. Unity Catalog ahora ofrece una base unificada para el contexto empresarial para cerrar la brecha entre los equipos de datos y los equipos empresariales. 

Métricas de Unity Catalog: una capa semántica para todas las cargas de trabajo de datos e IA

Las definiciones de métricas inconsistentes entre herramientas y equipos han causado durante mucho tiempo confusión, desalineación y falta de confianza en los datos. Las métricas de Unity Catalog, ahora en vista previa pública en AWS, Azure y GCP y disponibilidad general a finales de este verano, resuelve esto al convertir las métricas empresariales en activos de primera clase en el lakehouse. A diferencia de las métricas definidas solo en la capa de BI, que limitan la reutilización y la integración, la definición de métricas en la capa de datos hace que la semántica empresarial sea reutilizable en todas las cargas de trabajo, como paneles, modelos de IA y trabajos de ingeniería de datos. Las métricas de Unity Catalog también son totalmente direccionables a través de SQL para garantizar que todos en la organización puedan tener la misma vista de las métricas, independientemente de la herramienta que elijan.

• Definir una vez, usar en todas partes: cree métricas una vez en Unity Catalog y utilícelas en paneles de control de IA/BI, Genie, Notebooks, SQL y trabajos de Lakeflow. Las próximas integraciones ampliarán el soporte a herramientas de BI como Tableau, Hex, Sigma, ThoughtSpot, Omni y herramientas de observabilidad como Anomalo y Monte Carlo.
• Gobernado y auditable de forma predeterminada: las métricas certificadas vienen con auditoría y linaje de forma predeterminada, lo que permite obtener información confiable y compatible en todos los equipos.

"Las métricas de Unity Catalog nos brindan un lugar central para definir los KPI empresariales y estandarizar la semántica entre los equipos, lo que garantiza que todos trabajen con las mismas definiciones confiables en todos los paneles, SQL y aplicaciones de IA". — Richard Masters, vicepresidente de datos e IA, Virgin Atlantic

"Las métricas de Unity Catalog representan una oportunidad emocionante para que los clientes de Tableau aprovechen el valor de la gobernanza centralizada con Databricks Unity Catalog. A través de nuestra profunda integración y hoja de ruta en expansión con Databricks, estamos encantados de ayudar a eliminar la fricción para nuestros clientes al aprovechar Databricks para definir sus métricas empresariales centrales". — Nicolas Brisoux, director sénior de gestión de productos, Tableau

Nuevas experiencias de descubrimiento seleccionadas con información inteligente

Para capacitar completamente a los usuarios empresariales, debe facilitar la búsqueda, la comprensión y el uso de datos confiables. Unity Catalog está ampliando su gobernanza con reconocimiento empresarial con una nueva experiencia Discover, ahora en vista previa privada, un mercado interno seleccionado de productos de datos certificados organizados por dominios empresariales como ventas, marketing o finanzas. 

Las recomendaciones impulsadas por IA y la curación de administradores de datos ayudan a descubrir los activos de mayor valor, como métricas, paneles, tablas, agentes de IA y espacios Genie que están enriquecidos con documentación, propiedad e información de uso. Las nuevas señales inteligentes resaltan la calidad de los datos, los patrones de uso, las relaciones y el estado de certificación, lo que ayuda a los usuarios a evaluar rápidamente la confianza y la relevancia. Además, con Databricks Assistant integrado, los usuarios pueden hacer preguntas en lenguaje natural y obtener respuestas claras y conscientes del contexto basadas en métricas gobernadas.

También estamos introduciendo nuevas capacidades inteligentes en Databricks para facilitar y hacer más intuitivo el descubrimiento de datos, dondequiera que los usuarios trabajen en la plataforma. Impulsadas por Unity Catalog, estas funciones ayudan a los equipos a encontrar datos confiables más rápido y a comprender su contexto de un vistazo.

• Dominios (próximamente): organice los datos por área empresarial para alinear el descubrimiento con las operaciones de la organización.
• Certificaciones y etiquetas de obsolescencia (Beta): señal de confianza de los datos y relevancia empresarial en conjuntos de datos, métricas y paneles. Los activos etiquetados muestran de forma destacada su estado en las superficies de creación, como el editor de SQL, lo que mantiene las señales de calidad de los datos visibles en todo el flujo de trabajo del usuario. Las certificaciones y las etiquetas de obsolescencia están disponibles como parte de la versión beta de las políticas de etiquetas. 
• Solicitud de acceso (vista previa privada): para agilizar la entrega, los usuarios pueden solicitar instantáneamente acceso a los datos directamente al activo.

Capacidades adicionales de gobernanza avanzada ahora disponibles 

Gobernanza de alto apalancamiento con controles escalables basados en atributos

La escalabilidad de la gobernanza de datos se vuelve cada vez más desafiante a medida que las organizaciones crecen, con más usuarios, equipos y activos de datos para administrar. Las políticas estáticas y los controles manuales no pueden seguir el ritmo, lo que genera brechas de gobernanza, riesgos de seguridad y cuellos de botella operativos. 

Para abordar estos desafíos, Unity Catalog ahora proporciona automatización inteligente y controles flexibles y escalables para clasificar datos confidenciales, aplicar políticas de manera consistente y acelerar el acceso seguro a los datos en todo el lakehouse. 

• Control de acceso basado en atributos (ABAC): defina políticas de acceso flexibles utilizando etiquetas que se pueden aplicar a nivel de catálogo, esquema o tabla. ABAC está disponible en Beta para seguridad a nivel de fila y columna en AWS, Azure y GCP. 

• Políticas de etiquetas: las políticas de etiquetas imponen una capa de gobernanza sobre cómo se crean, asignan y utilizan las etiquetas en Databricks. Estas políticas a nivel de cuenta garantizan que las etiquetas sigan siendo coherentes y confiables, lo que respalda todo, desde la clasificación de datos hasta la atribución de costos. Las políticas de etiquetas están disponibles en Beta en AWS, Azure y GCP. 

• Clasificación de datos: detecte y etiquete de forma inteligente los datos confidenciales en Unity Catalog. Los datos nuevos se escanean en un plazo de 24 horas para detectar automáticamente nueva información de identificación personal (PII), lo que minimiza el esfuerzo manual y permite a los equipos estar al tanto del acceso a los datos. Cuando se usa con ABAC, la clasificación de datos protege automáticamente los datos confidenciales en función de sus políticas de control de acceso. La clasificación de datos está disponible en Beta en AWS, Azure y GCP. 

"Implementar el enmascaramiento de columnas en más de 5000 tablas solía ser un enorme esfuerzo manual. Con ABAC, podemos aplicar políticas consistentes de forma dinámica, lo que mejora drásticamente tanto la velocidad como la gobernanza". — Ramesh Balasubramanyan, administrador de Databricks, SAIF

"La clasificación de datos de Databricks ha cambiado las reglas del juego en nuestra estrategia de privacidad y seguridad de datos. Junto con ABAC, nos permite proteger automáticamente los datos confidenciales sin restringir los datos que necesitan nuestros analistas. El mayor beneficio ha sido la velocidad, con la clasificación y el enmascaramiento automatizados que reducen significativamente la sobrecarga manual, liberan nuestros recursos y le ahorran a nuestro equipo innumerables horas cada semana". — Mary Tesfay, responsable de datos y análisis, Corp IT, Navitas

Monitoreo automatizado de la calidad de los datos a escala

Unity Catalog ahora detecta de forma inteligente y ayuda a resolver los problemas de calidad de los datos en todas sus tablas con el monitoreo de la calidad de los datos, disponible en versión beta en AWS, Azure y GCP. El monitoreo de la calidad de los datos verifica la actualización, es decir, la frecuencia con la que se han actualizado los datos, y la integridad, es decir, si los volúmenes de datos son los esperados, utilizando la inteligencia de datos en todos los esquemas. Los consumidores pueden comprender el estado de los datos de un vistazo con los indicadores de estado, mientras que los propietarios de los datos pueden comprender la prioridad de los problemas en función del linaje descendente, descubrir la causa raíz y establecer alertas mediante el registro y los paneles integrados. 

Comience a usar Unity Catalog, la base de Data Intelligence

Unity Catalog continúa evolucionando como la única capa de gobernanza unificada de la industria, la base para plataformas de datos seguras, inteligentes y con reconocimiento empresarial. Ya sea que esté construyendo agentes de IA, entregando paneles de BI o compartiendo datos entre organizaciones, Unity Catalog lo conecta todo a través de un único catálogo abierto.

Para comenzar, siga las guías de Unity Catalog para AWS, Azure y GCP. 

Vea la presentación principal de Data + AI Summit 2025 de Matei Zaharia, cofundador y director de tecnología de Databricks, para obtener más información sobre estos anuncios recientes. 

Regístrese en Data + AI Summit y explore la pista de gobernanza de datos e IA

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original