Descubrimiento de datos unificado con contexto empresarial en Unity Catalog

El descubrimiento de datos se basa en el contexto de negocio.

A medida que los entornos de datos crecen, muchas organizaciones se enfrentan a un reto básico: ayudar a las personas a encontrar los datos adecuados y a decidir si los utilizan. Los equipos se atascan porque no pueden responder con seguridad a preguntas fundamentales: ¿Existen estos datos? ¿Dónde están? ¿Qué datos debo usar? ¿Qué significan? ¿Son confiables? ¿Y cómo obtengo acceso?

En la práctica, el descubrimiento está fragmentado. Los datos se organizan en torno a las fuentes y los sistemas de producción, mientras que el significado empresarial reside en otro lugar: en dashboards, documentos, wikis o el conocimiento institucional. Las señales de confianza y los flujos de trabajo de acceso suelen estar desconectados de los lugares donde las personas realmente buscan datos.

Cuando el descubrimiento carece de contexto empresarial, los usuarios pierden tiempo buscando o duplicando el trabajo, los responsables se convierten en cuellos de botella y la adopción se estanca incluso cuando los datos correctos ya existen.

Una experiencia de descubrimiento unificada e inteligente en todos los activos de datos y de IA.

Hoy, Databricks presenta una nueva experiencia Discover, ahora disponible en versión Beta, integrada directamente en Unity Catalog. La página Discover reemplaza el descubrimiento fragmentado y específico de la herramienta por una única forma seleccionada de buscar y comprender los activos de datos, análisis e IA. En lugar de buscar en varias herramientas o adivinar qué set de datos usar, los usuarios pueden encontrar activos relevantes y confiables en un solo lugar.

Unity Catalog habilita la inteligencia de datos aplicada al descubrimiento, donde:

• El significado empresarial está integrado directamente en el catálogo a través de Dominios (agrupaciones de activos alineadas con el negocio) y metadatos gobernados, para que los usuarios entiendan lo que representan los datos, no solo dónde se encuentran.
• Las certificaciones y las bajas exponen señales de confianza y calidad junto a los activos, lo que ayuda a los equipos a centrarse en los datos más importantes.
• La inteligencia de datos nativa de la plataforma usa señales como el uso, el linaje y la propiedad para proporcionar contexto sobre cómo se usan los activos y quién es responsable de ellos
• Los flujos de trabajo integrados de solicitud de acceso permiten a los usuarios pasar del descubrimiento a la acción sin salir de la experiencia.

La página Discover abarca todo su lakehouse, desde datos estructurados y no estructurados hasta dashboards, métricas, notebooks, aplicaciones y activos de IA como los espacios Genie, todo ello a través de una única experiencia gobernada.

Dominios: organizar el descubrimiento en torno a cómo funciona el negocio

Los dominios, ahora en beta, sientan las bases para un descubrimiento alineado con el negocio.

En lugar de forzar los activos en jerarquías técnicas rígidas, los dominios organizan los activos de datos y análisis por unidad de negocio o caso de uso, como Finanzas, Marketing o telemetría de clientes. Es importante destacar que los activos pueden aparecer en múltiples dominios. Esto elimina las contrapartidas de las estructuras de carpetas tradicionales, donde los equipos deben decidir a qué única jerarquía pertenece un recurso.

Los dominios combinan la inteligencia de metadatos con el control humano:

• Los activos populares y de uso frecuente se muestran automáticamente
• Los administradores pueden fijar activos de alta prioridad o recién publicados para garantizar que los conjuntos de datos y los paneles más importantes sean fáciles de encontrar.
• Los activos se pueden curar en varios dominios sin duplicación

Los dominios también permiten a los custodios lo siguiente:

• Cura activos relevantes de datos y analítica.
• Personalice la experiencia de navegación en cada página de dominio
• Agregue descripciones detalladas y designe propietarios tanto técnicos como de negocio.

Para los usuarios, esto significa que el descubrimiento es intuitivo y está alineado con su trabajo. Para las organizaciones, significa que el contexto empresarial se codifica de forma flexible en el catálogo sin imponer jerarquías frágiles.

Señales de IA guiadas por la experiencia humana con una curación inteligente.

Nuestra experiencia en la página Discover se basa en las capacidades existentes de Unity Catalog, combinando señales impulsadas por IA, como el uso y la popularidad, con la curación humana a través de certificaciones y etiquetado de desuso.

Las certificaciones actúan como señales claras de confianza, lo que ayuda a los usuarios a identificar rápidamente qué activos son fuentes de verdad recomendadas y aprobadas. Las recomendaciones impulsadas por IA ayudan a exponer activos relevantes y de alto valor sin abrumar a los usuarios.

La página Descubrir también permite a los administradores crear secciones personalizadas para resaltar los activos clave en la página Descubrir y en las páginas de dominio individuales. Esto puede guiar a los usuarios que no están familiarizados con el panorama de datos de la organización hacia los datos y la información correctos. 

Confianza y acceso integrados directamente en el descubrimiento

El descubrimiento solo funciona si los usuarios pueden actuar sobre lo que encuentran. La página Discover se basa en el modelo de permisos de Unity Catalog, lo que permite a las organizaciones conceder un amplio acceso a los metadatos a través de Explorar mientras se siguen aplicando los controles de acceso para consultar los datos subyacentes. Los usuarios pueden comprender el propósito, la calidad y la propiedad de un activo y, luego, solicitar acceso directamente cuando estén listos para usarlo.

Al integrar los flujos de trabajo de acceso en el descubrimiento, los equipos reducen las aprobaciones manuales, acortan el tiempo para obtener información valiosa y escalan la gobernanza sin convertir a los administradores en cuellos de botella.

Comenzar

La página Discover y los Dominios ahora están en versión beta en AWS, Azure Databricks y GCP, y están diseñados para empresas con datos distribuidos, equipos orientados a dominios y plataformas de datos que prestan servicio tanto a usuarios técnicos como empresariales. Lo invitamos a inscribirse en la versión beta y a compartir sus comentarios para ayudar a dar forma a la hoja de ruta. ¡Consulte nuestra demostración para ver cómo funciona en acción! 

Obtenga más información sobre cómo Unity Catalog garantiza que sus datos, modelos, agentes y aplicaciones sean detectables, gobernados y seguros visitando nuestro sitio web. 

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original