Cómo Delta Sharing permite una colaboración segura de extremo a extremo

En el panorama digital actual, el intercambio seguro de datos es fundamental para la eficiencia operativa y la innovación. Databricks y la Linux Foundation desarrollaron Delta Sharing como el primer enfoque de código abierto para el intercambio de datos en los ámbitos de datos, analítica e IA. Databricks proporciona un intercambio de datos seguro, lo que facilita compartir de manera fluida entre plataformas, nubes y regiones. Empresas de todos los tamaños confían en Delta Sharing, que admite una amplia gama de aplicaciones y diversos formatos de datos. Esta flexibilidad lo convierte en una herramienta confiable para las organizaciones que buscan aprovechar al máximo el potencial de sus activos de datos.

En este blog, revisaremos la arquitectura de seguridad de Delta Sharing a través de tres escenarios de intercambio diferentes: de cliente de Databricks a cliente de Databricks (D2D), de cliente de Databricks a intercambio abierto (D2O) e intercambio de datos entre diferentes nubes. Resumiremos los beneficios de implementar Delta Sharing como parte de una estrategia moderna de colaboración de datos, como una mayor eficiencia operativa a través de intercambios de datos simplificados y seguros en varias plataformas y nubes, y la reducción de la complejidad y el riesgo. Este marco seguro acelera el tiempo de obtención de información, lo que permite tomar decisiones más rápidas al tiempo que se mantienen sólidas protecciones de privacidad que fomentan la confianza entre las partes interesadas. Además, la flexibilidad de Delta Sharing admite una amplia gama de formatos de datos y aplicaciones, lo que permite adaptarlo a las necesidades empresariales en constante evolución de forma segura. Cada escenario incluye el testimonio de un cliente que destaca de primera mano el impacto revolucionario de la solución. Centraremos este blog en Databricks Delta Sharing, donde el proveedor de datos utiliza la versión administrada de la plataforma Databricks.

Intercambio de datos de Databricks a Databricks (D2D)

El escenario D2D ejemplifica un intercambio de datos seguro y simplificado entre dos clientes de Databricks dentro del ecosistema de Databricks. Cuenta con conexiones administradas por Databricks y un sistema de intercambio sin tokens, lo que garantiza tanto la simplicidad como la seguridad.

Al utilizar el intercambio D2D, los clientes se benefician de la integración nativa de Delta Sharing con Unity Catalog (UC), que proporciona gobernanza y seguridad unificadas para las operaciones de intercambio. Es importante señalar que el intercambio no se limita solo a los datos: Unity Catalog va más allá de los conjuntos de datos para incluir volúmenes, notebooks y modelos de IA, lo que demuestra una impresionante gama de funciones. Delta Sharing para el intercambio dentro de la cuenta también está activado de forma predeterminada, mientras que el intercambio externo está disponible cuando se activa con el acceso de nivel de administrador requerido. Para configurar Databricks Delta Sharing, simplemente necesitas al menos un espacio de trabajo de Databricks que esté habilitado para Unity Catalog y Metastore, junto con un rol de administrador o los privilegios CREATE SHARE y CREATE RECIPIENT (consulta la documentación para la configuración de la cuenta).

Unity Catalog proporciona una capa de gobernanza unificada en todo momento, desde los pasos iniciales de creación de un destinatario y el establecimiento de recursos compartidos hasta el acto crucial de otorgar acceso. El servicio Delta Sharing procesa las solicitudes de API, realiza comprobaciones de autorización exhaustivas y mantiene registros de actividad detallados. Todos estos pasos garantizan que las operaciones sean tan transparentes como seguras, como una máquina bien engrasada en la que puedes confiar para que tu ecosistema de intercambio funcione sin problemas.

Acceso a datos: Al profundizar en el acceso a datos posterior a la autorización, Unity Catalog vuelve a ser un elemento crucial. Al recibir la autorización de Unity Catalog, se determina el método de acceso (ya sean tokens de nube o URL pre-firmadas) en función de factores como el tipo de activo y el acuerdo de intercambio. Para los tokens de nube, el UC del proveedor genera un token SAS de alcance limitado y de solo lectura, que luego se reenvía al plano de computación del destinatario. Esto proporciona un acceso seguro y por tiempo limitado al almacenamiento del directorio raíz de la tabla. De manera similar, con las URL pre-firmadas, se crea una lista de URL relevantes y se envía al plano de computación del destinatario, lo que proporciona un acceso seguro y temporal a los archivos de almacenamiento. Al utilizar estratégicamente las funciones de seguridad al emplear diferentes servicios en la nube, como los tokens SAS de Azure y las URL pre-firmadas de AWS, puedes garantizar que solo las personas autorizadas puedan acceder a los datos en un entorno seguro a través de regiones y nubes. Además, las interacciones se limitan a los planos de control del destinatario y del proveedor, y es una operación privilegiada que no puede ser activada por agentes externos, protegiendo así contra vulneraciones externas. Esta metodología subraya la adaptabilidad del sistema, lo que garantiza que el intercambio de datos sea tanto flexible como seguro, adaptándose con destreza a una amplia gama de necesidades empresariales.

Coastal Community Bank seleccionó Delta Sharing para satisfacer las rigurosas y desafiantes exigencias de intercambio de datos, cumplimiento y seguridad de su red de socios. Coastal eligió a Cavallo Technologies para ayudarles a desarrollar una plataforma de datos moderna. Rob Cavallo, presidente de Cavallo Technologies, explica que Coastal necesitaba una solución flexible para el presente y el futuro, lee el caso de estudio de Coastal Community Bank.

"En cierto modo, Coastal [Community Bank] planteaba una paradoja: permitir una colaboración sencilla y, al mismo tiempo, cumplir con los estándares de seguridad más estrictos para los datos financieros de los consumidores. Es fundamental garantizar que la plataforma sea eficiente y rentable para las cargas de trabajo actuales, y al mismo tiempo lo suficientemente adaptable como para gestionar casos de uso futuros que aún no se han imaginado. Al final, Databricks Data Intelligence Platform fue la única plataforma que encontramos que nos permitió lograrlo". —Rob Cavallo, presidente de Cavallo Technologies

Intercambio seguro de datos, más allá de las tablas

Delta Sharing admite más que solo datos tabulares, adoptando un enfoque más holístico para la colaboración de datos con la inclusión de activos de datos no tabulares como volúmenes, notebooks y modelos de IA. Actualmente, estos tipos de activos solo se admiten en el marco de intercambio D2D, donde mejoran el ecosistema colaborativo. Los modelos de IA se comparten de manera similar a los volúmenes, mientras que los notebooks cuentan con un mecanismo de intercambio único. Los destinatarios pueden previsualizar los notebooks a través de una URL pre-firmada, que procesa el contenido como HTML en una ventana emergente para un acceso inmediato. Para una integración más profunda, los notebooks también se pueden importar al entorno del destinatario, utilizando la codificación base64 y llamadas de API para una transición fluida.

El intercambio de modelos de IA se facilita mediante la generación de un token SAS seguro, de solo lectura y de alcance limitado, creado por el UC del proveedor, que luego se reenvía al plano de computación del destinatario. Este enfoque garantiza un acceso seguro y eficiente, y evita la necesidad de copias innecesarias del modelo al permitir una copia única en el Model Registry en el UC del destinatario. Esta copia del modelo se puede implementar en múltiples regiones para optimizar el proceso de inferencia, mejorar el rendimiento con una latencia reducida y ofrecer tiempos de respuesta más rápidos al aprovechar los centros de datos regionales más cercanos a los usuarios finales. Descubrir, acceder y utilizar volúmenes compartidos y modelos de IA con Delta Sharing demuestra enfoques tanto similares como personalizados que se adaptan a cada tipo de datos, promoviendo una plataforma segura y versátil para el intercambio de datos y la colaboración.

Intercambio de datos de Databricks a abierto (D2O)

Al pasar al escenario de intercambio abierto, D2O mantiene estrictos protocolos de seguridad para un cliente de Databricks que comparte datos con usuarios externos de terceros que no están en Databricks. D2O permite a los destinatarios conectarse directamente a los datos compartidos utilizando conectores de Delta Sharing que admiten varios sistemas como pandas, Tableau, Apache Spark, Rust u otros que admitan el protocolo abierto, sin necesidad previa de una plataforma de computación específica.

Al crear un destinatario abierto en Databricks, se genera una URL de activación única y segura, lo que permite al destinatario descargar un archivo de credenciales que contiene una dirección de punto de conexión de Delta Sharing y un token. En caso de una vulneración de seguridad, los proveedores tienen la capacidad de tomar medidas inmediatas, como cambiar las credenciales de un destinatario o retirar sus permisos de lectura para evitar problemas mayores.

Flujo de trabajo de acceso a datos: Cuando un destinatario consulta una tabla compartida utilizando uno de los conectores mencionados, Delta Sharing verifica al destinatario mediante tokens del archivo de credenciales y proporciona URL prefirmadas para acceder a los datos. Este enfoque garantiza la compatibilidad con varios conectores de código abierto, protegiendo la integridad y la seguridad de los activos compartidos. (Más información sobre cómo compartir datos y acceder a ellos.)

Cox Automotive Europe (parte de Cox Automotive) es la organización de servicios automotrices más grande del mundo que utiliza Delta Sharing para gestionar y auditar de forma centralizada los datos compartidos fuera de su equipo de servicios de datos empresariales, al tiempo que garantiza una seguridad y gobernanza sólidas. Lea el caso de estudio de Cox Automotive.

"Delta Sharing facilita el intercambio seguro de datos con unidades de negocio y filiales sin necesidad de copiarlos ni replicarlos. Nos permite compartir datos sin que el destinatario tenga una identidad en nuestro espacio de trabajo". —Robert Hamlet, Lead Data Engineer en Cox Automotive

Intercambio de datos entre nubes

Las empresas adoptan cada vez más estrategias entre nubes (cross-cloud), impulsadas por la necesidad de admitir diversas funcionalidades en diferentes plataformas de nube, facilitar asociaciones o integrar datos de otra organización tras una adquisición. Este cambio hacia un entorno multinube subraya la importancia de que las organizaciones implementen soluciones sólidas como Delta Sharing para permitir un intercambio seguro y sin fricciones, tanto a nivel interno como externo. Implementar una estrategia entre nubes suele ser esencial para que nuestros clientes mantengan la continuidad operativa, fomenten la innovación y potencien el crecimiento en un ecosistema digital interconectado, al tiempo que aprovechan las ventajas únicas de cada servicio de nube.

Para muchos de nuestros clientes que adoptan estrategias entre nubes, está claro que las capacidades de intercambio multiplataforma abierto de Delta Sharing, que admiten entornos multinube de forma fluida, son un diferenciador y una ventaja evidentes. Delta Sharing es igual de eficaz tanto si se comparten datos internamente dentro de una sola nube como si se comparten externamente a través de múltiples plataformas de nube, lo que garantiza un proceso de intercambio de datos seguro y eficiente en ambos escenarios. Databricks ha recibido comentarios de muchos clientes sobre sus necesidades de intercambio de datos en entornos multinube y cómo Delta Sharing ayuda a promover la interoperabilidad y mejorar la seguridad en todo su ecosistema de nube.

Uno de estos clientes de Databricks es Deutsche Börse, una organización de intercambio internacional y proveedor de infraestructura de mercado. Una vez que implementaron Delta Sharing, lo que les permitió compartir y colaborar abiertamente con sus clientes, el impacto comercial fue transformador.

"Contar con una plataforma que permita compartir datos de forma segura con controles de acceso detallados, los más altos estándares de seguridad y garantía de privacidad abre nuevas posibilidades. Ahora podemos entablar conversaciones sobre soluciones personalizadas en las que, en el pasado, habríamos dicho: 'Lamentablemente, nuestros clientes no quieren compartir sus datos y modelos con nosotros, o nosotros no queremos compartir datos más detallados o nuestros modelos por razones de confidencialidad'". —Jan Stiebing, director de Estrategia Comercial y M&A en Deutsche Börse

En este ejemplo de cliente y en muchos otros, Delta Sharing es capaz de cerrar las brechas en el intercambio de datos y la colaboración que antes se consideraban insuperables, todo ello manteniendo los más altos estándares de seguridad y privacidad. Deutsche Börse también ofrece varias ofertas de datos de mercado en Databricks Marketplace.

Configuración de red y almacenamiento

Delta Sharing permite compartir datos de forma segura y sin fricciones en diversos entornos de nube, integrándose a la perfección con la arquitectura de seguridad de almacenamiento nativa de la nube. Lo hace sin necesidad de realizar modificaciones significativas en su marco de seguridad existente. Este enfoque está diseñado para organizaciones que utilizan Databricks en plataformas de nube como Azure, AWS y GCP, alineándose con los requisitos de Unity Catalog. La plataforma Databricks Data Intelligence Platform admite el intercambio de datos a través de soluciones de almacenamiento en la nube (ADLS Gen2, S3, GCS) con un énfasis en los canales de comunicación privados o la lista de permitidos de direcciones IP para una mayor seguridad.

La configuración de red y almacenamiento para Delta Sharing que se describe a continuación funciona tanto en escenarios dentro de la misma nube (intra-cloud) como entre diferentes nubes (cross-cloud). El intercambio dentro de la misma nube facilita la transferencia segura de datos dentro del mismo ecosistema de nube mediante endpoints privados, firewalls de almacenamiento y gateways de red, lo que garantiza que no se permita el acceso público. En escenarios de intercambio entre nubes, Delta Sharing aprovecha las IP de salida de NAT gateway y admite las conexiones privadas entre nubes existentes, como VPN de sitio a sitio o enlaces dedicados para permitir el acceso seguro a los datos a través de diferentes plataformas de nube y redes locales (on-premises). Este enfoque integral y seguro permite que una amplia gama de infraestructuras de red participen de manera eficiente en Delta Sharing, promoviendo tanto la flexibilidad como la seguridad.

El diagrama anterior representa un ejemplo de configuración de red entre nubes.

Filtrado de datos

En Delta Sharing, el filtrado de datos es crucial para proporcionar un acceso flexible y seguro, con dos métodos principales:

• Filtrado por particiones: permite compartir particiones de tablas específicas que se alinean con las propiedades del destinatario, lo que se conoce como intercambio de particiones parametrizado. Esta estrategia permite a los proveedores de datos compartir las partes de datos necesarias de manera flexible, facilitando el acceso controlado.
• Vistas dinámicas: permite compartir cualquier subconjunto de datos con los destinatarios a través de funciones dinámicas como current_recipient, lo que ofrece un control detallado sobre el acceso a los datos y una mejor capacidad de gestión.

Permiten restricciones de acceso basadas en propiedades específicas del destinatario, lo que garantiza que los datos se compartan únicamente con los destinatarios previstos y en el contexto adecuado. Estos enfoques mejoran la seguridad y la flexibilidad de Delta Sharing, lo que permite un acceso a los datos a medida que satisface las necesidades únicas de los destinatarios.

Seguridad, flexibilidad e integración sin fricciones con Delta Sharing

En conclusión, Delta Sharing es un componente clave de Databricks Data Intelligence Platform y destaca por sus capacidades de intercambio de datos seguras, flexibles y multiplataforma, que respaldan las estrategias de datos modernas. Además de admitir otras plataformas a través de conectores de código abierto, Delta Sharing permite a los clientes compartir datos estructurados y no estructurados, así como modelos de AI. Todas estas capacidades diferencian claramente a Delta Sharing de otras plataformas de intercambio de datos. Como resultado, clientes de diversos sectores confían plenamente en Delta Sharing, lo que se refleja en los testimonios de los clientes, destacando el impacto significativo en la eficiencia operativa y la innovación. A medida que el panorama del intercambio de datos sigue evolucionando, Delta Sharing está diseñado para el futuro, priorizando la seguridad, la flexibilidad y la integración sin fricciones en diversos ecosistemas de intercambio de datos. Este firme compromiso posiciona a Delta Sharing como un activo indispensable para aprovechar el poder de los datos con el fin de avanzar en los objetivos digitales de las empresas de todo el mundo.

Para obtener más información sobre cómo implementar Delta Sharing en su organización, consulte los recursos más recientes, incluidos los nuevos eBooks y blogs relacionados a continuación, o profundice en la documentación de Delta Sharing.

• Lea la guía técnica de O'Reilly, Data Sharing and Collaboration with Delta Sharing
• Lea el eBook A New Approach to Data Sharing, Second Edition
• Lea el eBook Accelerate Industry Innovation with Data Sharing

Si ya es cliente de Delta Sharing, también puede ponerse en contacto con el equipo para enviar preguntas o comentarios a datasharing@databricks.com.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original