Ir al contenido principal

Mejora de la interoperabilidad de catálogos con Unity Catalog y el Lakehouse sin límites de Google Cloud

Descubre cómo Databricks y Google están impulsando la interoperabilidad mediante estándares abiertos.

por Alex Jiang, Parth Desai y John Spencer

  • Los clientes pueden acceder a la misma copia de datos desde BigQuery o Databricks sin duplicación.
  • Google y Databricks están comprometidos con una visión a largo plazo de metadatos de catálogo compartidos.

La arquitectura Lakehouse es cada vez más abierta. Lo que comenzó con formatos de tablas abiertas –Delta Lake e Iceberg– ha evolucionado hacia la federación de catálogos para lograr un acceso sin copias en múltiples plataformas. A través de nuestra colaboración y contribuciones de código abierto, Databricks y Google Cloud continúan impulsando avances en la comunidad de Open Lakehouse.

Hoy nos enorgullece anunciar un hito importante en la interoperabilidad de catálogos en colaboración con Google: los clientes ahora pueden acceder a una sola copia de datos tanto desde Unity Catalog como desde el lakehouse sin límites de Google Cloud. La alianza entre Databricks and Google Cloud sigue consolidándose, y tenemos el compromiso de hacer que la interoperabilidad bidireccional sea fluida.

Unity Catalog y el Lakehouse de Google Cloud: Federación bidireccional

Llevar datos de Google Cloud a Databricks es muy fácil. Con la federación de Lakehouse hacia Google Cloud, que ya está disponible de forma general, los clientes pueden montar tablas de Iceberg administradas por el catálogo de tiempo de ejecución de Lakehouse de Google Cloud en Unity Catalog para analizarlas en Databricks.

Página del catálogo de Databricks que muestra tablas de datos de mercado vistas recientemente.

Estas tablas de Iceberg del catálogo de tiempo de ejecución de Lakehouse de Google pueden ser consultadas por Databricks Lakehouse, nuestro almacén de datos sin servidor, o analizadas mediante Genie, que responde de manera inteligente a preguntas sobre datos usando lenguaje natural (sin necesidad de código ni SQL).

La interoperabilidad también funciona en la dirección opuesta. Los datos de Databricks también se pueden llevar al lakehouse de Google Cloud (más información). Esto permite que los clientes que usan motores como BigQuery lean tablas administradas por Unity Catalog sin necesidad de copiar los datos.

La próxima frontera: lograr que los metadatos de los catálogos sean interoperables

Databricks y Google Cloud están dando grandes pasos para fortalecer la interoperabilidad al hacer que los metadatos de los catálogos sean abiertos. Creemos que la semántica de negocio y de gobernanza debe ser accesible en lugar de estar vinculada a un proveedor específico. En la comunidad de Iceberg, ayudamos a impulsar y establecer las etiquetas de catálogo, una propuesta que permite a los catálogos compartir metadatos a través de pares clave-valor (es decir, etiquetas). De esta manera, una tabla etiquetada como "domain=finance" y "status=certified", con una columna etiquetada como "pii=ssn", sigue estando etiquetada incluso cuando la tabla se federa de un catálogo a otro (más información).

Diagrama de etiquetas en la tabla t1 que se sincronizan entre Unity Catalog y Lakehouse mediante la federación de catálogos e IRC.

Las etiquetas compartidas son fundamentales para la gobernanza en la era de los agentes, ya que los metadatos del catálogo se pueden usar para marcar datos sensibles para su enmascaramiento y proporcionar contexto a los agentes que buscan recursos para responder preguntas sobre datos. A través de nuestra alianza, Databricks y Google Cloud se comprometen a impulsar la visión de la gobernanza abierta. A medida que los volúmenes de datos crecen y los agentes de IA se integran más en los flujos de trabajo empresariales, ese compromiso compartido cobra cada vez más importancia. Nos dirigimos hacia un futuro donde la gobernanza y el contexto de negocio puedan viajar junto con los datos sin necesidad de que las empresas tengan que redefinirlos en cada sistema.

Comienza hoy

Empieza a usar la federación de catálogos entre Unity Catalog y el lakehouse sin límites de Google Cloud leyendo nuestra documentación. También puedes obtener más información sobre la federación de catálogos de Google hacia Unity Catalog aquí.

Si te interesa compartir tus necesidades de interoperabilidad o conocer más sobre nuestra visión al respecto, comunícate con tu equipo de cuentas de Databricks.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Etiquetas relacionadas:

Unity Catalog, Lakehouse, Anuncios y Socios

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.