Presentamos las capacidades de Lakehouse Federation en Unity Catalog

Los equipos de datos enfrentan muchos desafíos para acceder rápidamente a los datos correctos, principalmente debido a la fragmentación de datos, el tiempo y el costo que implica consolidar los datos y las dificultades para gestionar la gobernanza de datos en muchos sistemas.

Por eso, hoy en el Data+AI Summit, nos complace anunciar las capacidades de Lakehouse Federation en Unity Catalog, que permiten a las organizaciones crear una arquitectura de data mesh altamente escalable y de alto rendimiento con gobierno unificado. 

Unity Catalog proporciona una solución de gobernanza unificada para datos e IA. Las capacidades de Lakehouse Federation en Unity Catalog le permiten descubrir, consultar y gobernar datos en distintas plataformas de datos, como MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL Database, Azure Synapse, BigQuery de Google y más, desde Databricks, sin mover ni copiar los datos, todo dentro de una experiencia simplificada y unificada. Esto significa que las funciones de seguridad avanzadas de Unity Catalog, como los controles de acceso a nivel de fila y columna, las funciones de descubrimiento como las etiquetas y el linaje de datos, estarán disponibles en estas fuentes de datos externas, lo que garantiza una gobernanza coherente.

“Tanto los científicos de datos como los usuarios de negocio ahora pueden acceder a diversas fuentes de datos a través de una interfaz de usuario uniforme con permisos consistentes gestionados en un solo lugar”, dijo Jelle de Jong, Tech Lead de Bayer. “Estamos estandarizando continuamente nuestro formato de datos a Delta Lake, pero estamos encantados de que Lakehouse Federation nos haya permitido iterar con agilidad antes de invertir en la extracción de datos”.

La fragmentación de datos está ralentizando la innovación.

Miles de organizaciones de todos los tamaños están innovando en todo el mundo y en todos los sectores con datos e IA en la plataforma Databricks Lakehouse. Pero, por motivos históricos, organizativos o tecnológicos, los datos están dispersos en muchos sistemas operativos y de análisis, lo que provoca más desafíos:

1. Dificultad para descubrir y acceder a todos los datos: la mayoría de las organizaciones tienen datos valiosos distribuidos en múltiples fuentes de datos. Puede estar en varias bases de datos, un data warehouse, sistemas de almacenamiento de objetos y más. Esto genera datos e información incompletos, lo que dificulta la capacidad de los clientes para tomar decisiones informadas e innovar más rápido.
2. Ejecución lenta debido a cuellos de botella de ingeniería: Para consultar datos en múltiples fuentes de datos, los clientes suelen tener que mover primero sus datos desde las fuentes de datos externas a la plataforma de su elección. Puede que algunos datos ni siquiera valgan la pena. Algunos datos tardarán demasiado en llegar a una única ubicación unificada, lo que ralentiza la innovación.
3. Cumplimiento débil en sistemas aislados: La gobernanza fragmentada provoca la duplicación de esfuerzos y aumenta el riesgo de no poder monitorear y protegerse contra accesos inapropiados o fugas de datos, lo que dificulta la colaboración y la democratización de los datos.

Unifique su ecosistema de datos con Lakehouse Federation en Unity Catalog

Lakehouse Federation aborda estos puntos débiles críticos y facilita que las organizaciones expongan, consulten y gobiernen los sistemas de datos aislados como una extensión de su lakehouse. Con estas nuevas capacidades, puedes hacer lo siguiente:

1. Cree una vista unificada de su patrimonio de datos: clasifique y descubra automáticamente todos sus datos, estructurados y no estructurados, en un solo lugar y permita que todos en su organización accedan y exploren de forma segura todos los datos disponibles a su alcance, sin importar dónde se encuentren.
2. Consulte y combine todos los datos de manera eficiente con un único motor: acelere el análisis ad hoc y la creación de prototipos en todos sus casos de uso de datos, análisis e IA con los datos más completos (sin necesidad de ingesta) con un único motor. La planificación avanzada de consultas entre fuentes y el almacenamiento en caché garantizan un rendimiento óptimo de las consultas, incluso al acceder y combinar datos de múltiples plataformas con una sola consulta.
3. Proteger los datos en todas las fuentes de datos: usa un solo modelo de permisos para establecer y aplicar reglas de acceso, y proteger todos tus datos en todas las fuentes de datos. Aplique reglas como la seguridad a nivel de fila y columna y las políticas basadas en etiquetas, realice auditorías centralizadas de manera consistente en todas las plataformas, haga un seguimiento del uso de los datos y cumpla los requisitos de cumplimiento con el linaje de datos y la auditabilidad integrados.

“Lakehouse Federation nos permite combinar datos —como los de uso, ventas y telemetría de juegos— de múltiples fuentes y en múltiples nubes para verlos y consultarlos todos desde un solo lugar. "Ahora dejamos los datos en la fuente de datos original, pero podemos utilizarlos desde Databricks Lakehouse", afirmó Felix Baker, director de Servicios de Datos de SEGA Europe. "Como ya no tenemos que mover nuestros datos financieros, que se actualizan con frecuencia, ahorramos un tiempo valioso que podemos dedicar a ofrecer a nuestros consumidores la mejor experiencia de juego posible”.

"Lakehouse Federation nos ha permitido avanzar más rápidamente para consolidar nuestro panorama de datos existente en Unity Catalog. Esto simplifica la gobernanza de datos de Shell: más conjuntos de datos se pueden descubrir en un solo lugar, la autenticación está estandarizada y es posible consultar conjuntos de datos con un lenguaje de programación común", dijo Bryce Bartmann, asesor principal de Tecnología Digital de Shell. "En última instancia, nos hace más eficaces para navegar la transformación que ocurre hoy en el sector energético".

Estas nuevas capacidades, junto con la interfaz abierta de Hive recientemente anunciada, significan que las organizaciones pueden centralizar la gestión, el descubrimiento y la gobernanza de sus datos en Unity Catalog y conectarse a él desde una amplia gama de plataformas de computación, como Amazon EMR, Apache Spark, Amazon Athena, Presto y Trino, entre otras. La nueva interfaz elimina la necesidad de mantener múltiples catálogos de datos y garantiza una gobernanza de datos coherente en todas estas plataformas.

¿Qué sigue?

Estas capacidades se encuentran actualmente en versión preliminar pública, ¡así que puede empezar ahora mismo!

También estamos ampliando las capacidades de gobernanza de Unity Catalog a varios formatos de almacenamiento abiertos, incluidos Apache Iceberg y Hudi, con la vista previa pública del formato universal Delta ("UniForm"). Esta integración permite que las tablas Delta se lean como si fueran tablas de Iceberg (y pronto también de Apache Hudi), lo que convierte a Unity Catalog en el único catálogo universal que admite los tres principales formatos de almacenamiento de lakehouse abierto.

Finalmente, en el futuro, también podrás implementar políticas de acceso definidas en Unity Catalog en fuentes de datos federadas para una aplicación coherente dondequiera que se acceda a los datos. Esto elimina la necesidad de mantener definiciones de políticas redundantes en diferentes herramientas de gobernanza.

Mira el keynote del Data+AI Summit 2023 de Matei Zaharia, cofundador y director de tecnología de Databricks, para obtener más información.

Regístrate en la Data + AI Summit aquí para unirte a nosotros en persona o de forma virtual y explorar lo último en datos, análisis e IA.