Descubre cómo Databricks y Google están impulsando la interoperabilidad mediante estándares abiertos.
por Alex Jiang, Parth Desai y John Spencer
La arquitectura Lakehouse es cada vez más abierta. Lo que comenzó con formatos de tablas abiertas –Delta Lake e Iceberg– ha evolucionado hacia la federación de catálogos para lograr un acceso sin copias en múltiples plataformas. A través de nuestra colaboración y contribuciones de código abierto, Databricks y Google Cloud continúan impulsando avances en la comunidad de Open Lakehouse.
Hoy nos enorgullece anunciar un hito importante en la interoperabilidad de catálogos en colaboración con Google: los clientes ahora pueden acceder a una sola copia de datos tanto desde Unity Catalog como desde el lakehouse sin límites de Google Cloud. La alianza entre Databricks and Google Cloud sigue consolidándose, y tenemos el compromiso de hacer que la interoperabilidad bidireccional sea fluida.
Llevar datos de Google Cloud a Databricks es muy fácil. Con la federación de Lakehouse hacia Google Cloud, que ya está disponible de forma general, los clientes pueden montar tablas de Iceberg administradas por el catálogo de tiempo de ejecución de Lakehouse de Google Cloud en Unity Catalog para analizarlas en Databricks.

Estas tablas de Iceberg del catálogo de tiempo de ejecución de Lakehouse de Google pueden ser consultadas por Databricks Lakehouse, nuestro almacén de datos sin servidor, o analizadas mediante Genie, que responde de manera inteligente a preguntas sobre datos usando lenguaje natural (sin necesidad de código ni SQL).
La interoperabilidad también funciona en la dirección opuesta. Los datos de Databricks también se pueden llevar al lakehouse de Google Cloud (más información). Esto permite que los clientes que usan motores como BigQuery lean tablas administradas por Unity Catalog sin necesidad de copiar los datos.
Databricks y Google Cloud están dando grandes pasos para fortalecer la interoperabilidad al hacer que los metadatos de los catálogos sean abiertos. Creemos que la semántica de negocio y de gobernanza debe ser accesible en lugar de estar vinculada a un proveedor específico. En la comunidad de Iceberg, ayudamos a impulsar y establecer las etiquetas de catálogo, una propuesta que permite a los catálogos compartir metadatos a través de pares clave-valor (es decir, etiquetas). De esta manera, una tabla etiquetada como "domain=finance" y "status=certified", con una columna etiquetada como "pii=ssn", sigue estando etiquetada incluso cuando la tabla se federa de un catálogo a otro (más información).

Las etiquetas compartidas son fundamentales para la gobernanza en la era de los agentes, ya que los metadatos del catálogo se pueden usar para marcar datos sensibles para su enmascaramiento y proporcionar contexto a los agentes que buscan recursos para responder preguntas sobre datos. A través de nuestra alianza, Databricks y Google Cloud se comprometen a impulsar la visión de la gobernanza abierta. A medida que los volúmenes de datos crecen y los agentes de IA se integran más en los flujos de trabajo empresariales, ese compromiso compartido cobra cada vez más importancia. Nos dirigimos hacia un futuro donde la gobernanza y el contexto de negocio puedan viajar junto con los datos sin necesidad de que las empresas tengan que redefinirlos en cada sistema.
Empieza a usar la federación de catálogos entre Unity Catalog y el lakehouse sin límites de Google Cloud leyendo nuestra documentación. También puedes obtener más información sobre la federación de catálogos de Google hacia Unity Catalog aquí.
Si te interesa compartir tus necesidades de interoperabilidad o conocer más sobre nuestra visión al respecto, comunícate con tu equipo de cuentas de Databricks.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.