Interoperabilidad entre Unity Catalog y Google BigQuery mediante federación de catálogos

Hoy, nos complace anunciar que los clientes ahora pueden acceder a la misma copia de datos desde Databricks Unity Catalog o BigQuery sin duplicación. Esto marca un hito importante para los estándares abiertos y la comunidad de datos en general.

A medida que formatos de tabla abiertos como Delta Lake y Apache Iceberg ganaron adopción, el siguiente desafío fue conectar los catálogos que los administran. Primero, las API abiertas de Unity Catalog permitieron que cualquier motor externo accediera a los datos de Unity Catalog. Luego, introdujimos la federación de catálogos, que permite a los clientes registrar catálogos externos, acceder a tablas externas en Databricks sin copiar datos y unificar la gobernanza en todo su patrimonio de datos con Unity Catalog.

La federación de catálogos se ha convertido en el estándar de la industria para la interoperabilidad y Unity Catalog ya admite la interoperabilidad bidireccional con plataformas de datos que incluyen AWS, Microsoft Azure y Snowflake. Hoy, profundizamos nuestra colaboración con Google Cloud, agregando BigQuery y el Lakehouse de Google Cloud a la creciente lista de plataformas que interoperan con Unity Catalog.

Federación de catálogos bidireccional entre Unity Catalog y el Lakehouse de Google Cloud

Si usted es un cliente de Databricks con datos en BigQuery, o un usuario de BigQuery que necesita acceder a tablas de Unity Catalog, esto es lo que ahora es posible y cómo empezar:

Leer tablas administradas por Unity Catalog usando Google BigQuery

Para ayudarlo a descubrir y analizar fácilmente todos sus datos empresariales almacenados en Unity Catalog, Google Cloud anuncia la federación de catálogos en vista previa (obtenga más información). Los clientes que utilizan motores como BigQuery ahora pueden leer tablas administradas por Unity Catalog sin copiar datos.

Leer tablas administradas por el Lakehouse de Google Cloud usando Databricks

Nos complace anunciar la vista previa privada de la federación del Lakehouse de Google Cloud (regístrese para la vista previa). Esta nueva capacidad permite a los clientes de Databricks que utilizan Google Cloud gobernar y leer tablas Iceberg externas administradas por Cloud Lakehouse. Los clientes pueden crear una conexión a su Lakehouse y luego montar sin problemas tablas Iceberg externas en Unity Catalog.

Gobernanza unificada para datos federados

Las políticas de Unity Catalog, los controles de acceso de grano fino y el seguimiento de linaje se aplicarán de manera consistente, ya sea que una tabla Iceberg se cree en Unity Catalog o se federada desde el Lakehouse de Google Cloud. Sus usuarios empresariales ahora pueden usar Genie para consultar datos usando lenguaje natural, ya que todo su patrimonio de datos está asegurado y contextualizado a la lógica empresarial con Unity Catalog.

El futuro es abierto

El anuncio de hoy refleja cuánto ha avanzado la industria hacia un ecosistema de datos abierto e interoperable. A medida que profundizamos nuestra colaboración con Google Cloud, nuestra visión es que los clientes ya no necesiten elegir entre innovación e interoperabilidad, sino que puedan tener ambas cosas. Manténgase atento a más actualizaciones del ecosistema, incluidas nuevas funciones como el intercambio de metadatos de catálogo a través del catálogo REST de Iceberg, que le permite definir políticas de gobernanza una vez y aplicarlas en todas las plataformas.

Comience

• Obtenga más información sobre la federación de catálogos de Google a Unity Catalog
• Regístrese para la federación de Unity Catalog y el Lakehouse de Google Cloud

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original