Anuncio de la disponibilidad general de Delta Sharing

Hoy nos complace anunciar que Delta Sharing ya está disponible de forma general (GA) en AWS y Azure. Con el lanzamiento de la GA, puede esperar el más alto nivel de estabilidad, soporte y preparación para la empresa de Databricks para cargas de trabajo de misión crítica en la plataforma Databricks Lakehouse.

En este blog, exploramos cómo las organizaciones aprovechan Delta Sharing para maximizar el valor comercial de sus datos, algunas de las características clave disponibles en la versión GA y cómo empezar a usar Delta Sharing en la Databricks Lakehouse Platform.

Los clientes se benefician con el estándar abierto para el uso compartido de datos desde el lakehouse

El intercambio de datos se ha vuelto importante en la economía digital, ya que las empresas buscan intercambiar datos de forma fácil y segura con sus clientes, socios, proveedores y líneas de negocio (LOB) internas para colaborar mejor y aprovechar el valor de esos datos. Pero la falta de un protocolo de intercambio de datos basado en estándares ha dado como resultado soluciones vinculadas a un único proveedor o producto comercial, lo que introduce riesgos de dependencia de un proveedor. Estos desafíos de los clientes nos llevaron, en Databricks, a crear una solución abierta para compartir datos, Delta Sharing.

Delta Sharing ofrece una solución abierta para compartir de forma segura datos en vivo desde su lakehouse a cualquier plataforma informática. Los destinatarios de los datos no tienen que estar en la plataforma Lakehouse de Databricks, en la misma nube o en ninguna nube. Los proveedores de datos pueden compartir conjuntos de datos existentes a gran escala basados en los formatos Apache Parquet o Delta Lake, sin replicar ni copiar los conjuntos de datos a otro sistema. Los destinatarios de los datos se benefician de tener siempre acceso a la última versión de los datos con la capacidad de consultar, visualizar, transformar, ingerir o enriquecer los datos compartidos con las herramientas de su elección, lo que reduce el tiempo de obtención de valor. Como la gobernanza y la seguridad son las principales preocupaciones de muchas organizaciones, Delta Sharing se integra de forma nativa con Unity Catalog, lo que le permite administrar, gobernar, auditar y realizar un seguimiento del uso de los datos compartidos en una plataforma.

Desde el lanzamiento de Delta Sharing en la vista previa privada el año pasado, cientos de clientes han adoptado Delta Sharing, y hoy, se comparten petabytes de datos a través de Delta Sharing.

Nasdaq: "Delta Sharing nos ayudó a optimizar nuestro proceso de entrega de datos para grandes conjuntos de datos. Esto permite a nuestros clientes utilizar su propio entorno de computación para leer datos recientes y seleccionados con poco o ningún trabajo de integración, y nos permite seguir ampliando nuestro catálogo de productos de datos únicos y de alta calidad" - William Dague, director de Datos Alternativos

Shell: "Reconocemos que la apertura de los datos desempeñará un papel clave para lograr las ambiciones de Shell de cero emisiones netas de carbono. Delta Sharing le proporciona a Shell un protocolo estándar, controlado y seguro para compartir fácilmente grandes cantidades de datos con nuestros socios a fin de trabajar para lograr estos objetivos sin exigir que nuestros socios estén en la misma plataforma para compartir datos". - Bryce Bartmann, asesor principal de tecnología digital

SafeGraph: "Como empresa de datos, es fundamental que nuestros clientes tengan acceso a nuestros conjuntos de datos. "La plataforma Lakehouse de Databricks con Delta Sharing realmente optimiza ese proceso, lo que nos permite llegar de forma segura a una base de usuarios mucho más amplia, independientemente de la nube o la plataforma" - Felix Cheung, vicepresidente de Ingeniería

“Con Delta Sharing, nuestros clientes pueden acceder a conjuntos de datos seleccionados casi al instante e integrarlos con las herramientas de análisis de su elección. El diálogo con nuestros clientes cambia de un intercambio técnico de bajo valor sobre la ingestión a una discusión analítica de alto valor donde impulsamos experiencias exitosas de los clientes. A medida que evolucionan nuestras relaciones con los clientes, podemos entregar sin problemas nuevos conjuntos de datos y actualizar los existentes a través de Delta Sharing para mantener a los clientes al tanto de las tendencias clave en sus industrias”. - Anup Segu, líder técnico de Ingeniería de Datos

“Aprovechar las poderosas capacidades de Delta Sharing de Databricks permite a Pumpjack Dataworks tener una experiencia de incorporación más rápida, eliminando la necesidad de exportar, importar y remodelar datos, lo que aporta valor inmediato a nuestros clientes”. "Resultados más rápidos generan mayores oportunidades comerciales para nuestros clientes y sus socios" - Corey Zwart, Director de Tecnología

¿Qué hay de nuevo en Delta Sharing con GA?

Aunque Delta Sharing cuenta con un conjunto de características increíbles en la versión GA, a continuación se presentan algunas de las características clave que incluimos en esta versión:

Uso compartido de Databricks a Databricks sin interrupciones

Para los clientes de Databricks, Delta Sharing hace que el uso compartido de datos en el lakehouse sea extremadamente simple, eficiente y seguro. Con solo unos pocos clics en la UI o comandos de SQL, los proveedores de datos pueden compartir fácilmente sus datos existentes con los destinatarios en Databricks, sin replicar los datos. Por ejemplo, un proveedor de datos que usa Databricks en AWS puede compartir datos existentes con un destinatario que usa Databricks en Azure o viceversa. Puede explorar la guía del usuario para obtener todos los detalles. En el uso compartido de Databricks a Databricks, el proveedor de datos no necesita administrar las credenciales de token para los destinatarios que usan Databricks; la conexión para compartir se establece de forma segura a través de la plataforma de Databricks. Todo lo que necesita es una cuenta de Databricks para iniciar sesión y la plataforma se encarga del resto. Además del uso compartido de datos entre cuentas, otro caso de uso importante es el uso compartido de datos interno. Si tiene varias metastores de Unity Catalog en la misma cuenta en diferentes regiones, puede compartir datos fácilmente entre esas metastores mediante Delta Sharing sin copiar ningún dato. Ejemplo de flujo de trabajo de SQL desde la perspectiva de un proveedor de datos:

Ejemplo de un flujo de trabajo de SQL desde la perspectiva de un destinatario de datos:

Uso compartido del feed de datos de cambios

Delta Sharing ahora admite el uso compartido de fuentes de datos de cambios (CDF). Además de compartir una tabla, un proveedor de datos puede optar por incluir la CDF de la tabla, lo que permite a los destinatarios consultar los cambios entre versiones o marcas de tiempo específicas de la tabla. Con esta función, los destinatarios pueden consultar solo los datos nuevos o los cambios incrementales en lugar de consultar la tabla completa cada vez. Un proveedor de datos puede compartir fácilmente una tabla con CDF, y un destinatario de datos puede consultar los cambios en la tabla con una sintaxis simple:

Funciones de seguridad mejoradas

En el lanzamiento de disponibilidad general (GA) de Delta Sharing, también tenemos un conjunto de características de seguridad para que el uso compartido sea aún más seguro. Un ejemplo de esas características de seguridad es la lista de acceso por IP. Los proveedores de datos ahora pueden configurar una lista de acceso por IP para cada uno de sus destinatarios mediante conectores abiertos. Esto garantiza que la descarga de credenciales y el acceso a los datos solo se puedan iniciar desde la dirección IP de destino. También agregamos algunos permisos más relacionados con Delta Sharing (p. ej., CREATE SHARE, CREATE RECIPIENT) e introdujimos el concepto de propietario para los objetos de Delta Sharing como Share y Recipient. Con esas primitivas, Delta Sharing en Databricks ofrece un modelo de control de acceso más flexible, y los usuarios no administradores también pueden realizar operaciones de uso compartido.

Primeros pasos con Delta Sharing en Databricks

Mira la demostración a continuación para obtener más información sobre cómo Delta Sharing puede ayudarte a compartir datos en vivo sin problemas desde tu lakehouse a cualquier plataforma informática.

Si ya es cliente de Databricks, siga la guía para empezar (AWS | Azure). Lee las notas de la versión para obtener más información sobre lo que se incluye en esta versión de GA. Si no es cliente de Databricks, regístrese para obtener una prueba gratuita con un workspace Premium o Enterprise.