Novedades en el uso compartido de datos y la colaboración

En Databricks, nuestra misión es democratizar los datos y la AI. Un enfoque abierto para compartir y colaborar es fundamental para maximizar el alcance y el impacto. Dentro de nuestra plataforma de inteligencia de datos, el protocolo abierto Delta Sharing ayuda a nuestros clientes a compartir datos y activos de AI de forma fácil y segura para acelerar la innovación. Para la colaboración con datos de terceros, Databricks Marketplace es el mercado abierto para todas tus necesidades de datos, analítica y AI. Con un ecosistema en crecimiento de socios de datos que comparten una amplia variedad de activos de datos y AI, Databricks Marketplace permite a los consumidores de datos impulsar la innovación. Databricks Clean Rooms ofrece una colaboración que protege la privacidad para que las empresas colaboren fácilmente en un entorno seguro en cualquier nube. La semana pasada, anunciamos 12 nuevos socios líderes en la industria para expandir el ecosistema abierto de Delta Sharing. Hoy, nos complace anunciar cómo estamos acelerando el crecimiento de nuestro ecosistema y presentar nuevas actualizaciones sobre los lanzamientos de funciones de Delta Sharing. También nos complace anunciar la disponibilidad de la colaboración que protege la privacidad con Databricks Clean Rooms en Public Preview (próximamente) en AWS y Azure.

Acelerando el crecimiento del uso compartido de datos con Delta Sharing

Los clientes de Databricks están impulsando colaboraciones entre plataformas y nubes con sus clientes y socios en un ecosistema flexible, seguro y abierto, sin dependencia de un solo proveedor. El compromiso de Databricks con la innovación y la colaboración ha dado resultados significativos en el último año, y el ecosistema ha experimentado un crecimiento impresionante.

Hemos visto un crecimiento masivo en todo nuestro ecosistema, con más de 16 000 receptores de datos de una amplia variedad de organizaciones que han adoptado Delta Sharing para colaborar con socios y clientes. Hoy nos complace anunciar un crecimiento de más del 300 % YoY en los Delta Shares activos en todo nuestro ecosistema abierto, con un 40 % de Delta Shares que utilizan nuestros conectores abiertos multiplataforma compatibles con Apache Spark, Pandas, Power BI y el recientemente anunciado Tableau para acceder y leer datos compartidos.

El grupo más reciente de socios de Delta Sharing está desarrollando soluciones para compartir datos, ampliando las asociaciones existentes de tipo "Built on" para obtener nuevas capacidades y haciendo avanzar las asociaciones tecnológicas que ayudan a los clientes conjuntos a compartir datos sin problemas entre plataformas. Estas nuevas asociaciones incluyen a Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience y The Trade Desk. Databricks también anuncia la ampliación de sus asociaciones con Epsilon, LiveRamp, S&P Global y Tableau.

"Atlassian Analytics lanzó recientemente Data Shares, aprovechando Delta Sharing de Databricks, para aumentar la flexibilidad y acelerar el tiempo de obtención de información de los clientes. … El ecosistema abierto de conectores de Delta Sharing, que incluye Tableau, PowerBI y Spark, permite a los clientes alimentar fácilmente sus entornos con datos directamente de Atlassian Data Lake". —Ben Jackson, Senior Group Product Manager, Data & Analytics, Atlassian

Las nuevas innovaciones de Delta Sharing permiten el éxito de los datos y la AI

Hace tres años, anunciamos el proyecto Delta Sharing de código abierto, el primer protocolo abierto de la industria para compartir datos de forma segura. Desde entonces, Delta Sharing ha seguido innovando y facilitando a los clientes el uso compartido de datos en tiempo real y AI entre plataformas, nubes y regiones, sin necesidad de replicación.

Basándonos en este enfoque abierto, nuestro principio rector es hacer de Delta Sharing la herramienta más abierta, segura y flexible, donde cualquiera pueda compartir cualquier activo de datos con cualquier receptor en cualquier plataforma, para cualquier caso de uso, desde SQL hasta AI. Con este fin, hemos seguido desarrollando nuevas capacidades de uso compartido abierto tanto para los proveedores como para los receptores de datos, y nos complace anunciar varias innovaciones de productos de Delta Sharing.

Lanzadas recientemente como Public Preview, nos complace anunciar que dos funciones de Delta Sharing ya están disponibles de forma general: Volume Sharing y el soporte para Cloudflare R2. Los "volúmenes" son un nuevo tipo de objeto en Unity Catalog para colecciones de directorios y archivos. Con Volume Sharing, ahora tienes la flexibilidad de compartir grandes cantidades de datos no estructurados o no tabulares (por ejemplo, imágenes, audio, videos o archivos PDF) entre espacios de trabajo y sin necesidad de una costosa replicación. Esta nueva función ayuda a acelerar la innovación para procesar datos no estructurados o no tabulares para cargas de trabajo de ciencia de datos, AI y aprendizaje automático (machine learning). El soporte para Cloudflare R2 ayuda a los clientes conjuntos de la oferta de almacenamiento de objetos distribuidos y sin costos de salida (zero egress) de Cloudflare a aprovechar la exención de tarifas de salida sin una costosa replicación entre regiones y sin dependencia de un solo proveedor. Esta asociación estratégica con Cloudflare ya ha ayudado a clientes como Allium a ahorrar hasta 645 000 USD al año utilizando tanto Delta Sharing como Cloudflare R2.

Cross-Platform View Sharing es una nueva y emocionante función que permite a los proveedores de datos compartir vistas fácilmente con cualquier receptor. Aunque las vistas han sido un mecanismo muy popular durante años para permitir el uso compartido dinámico de datos, el uso compartido de vistas a menudo se limita a la misma plataforma y región de la nube, lo que dificulta llegar a todos los usuarios dondequiera que estén. Nos complace compartir que los clientes de Databricks podrán compartir vistas de forma segura con cualquier receptor, independientemente de la nube, región o plataforma que utilicen. Cross-Platform View Sharing estará disponible próximamente en Private Preview, y puedes registrarte ahora para solicitar acceso a la versión preliminar cuando esté disponible. Otra función de Delta Sharing que estamos lanzando es el uso compartido de vistas materializadas y tablas de streaming en Private Preview. Los clientes que utilizan Delta Live Tables para crear fácilmente canalizaciones de datos confiables y rentables ahora pueden compartir fácilmente el resultado de estas canalizaciones con sus receptores, sin necesidad de crear y mantener copias o canalizaciones adicionales. Regístrate para solicitar acceso a la versión preliminar.

Los clientes nos dijeron que necesitan un ecosistema de uso compartido que pueda acceder a todos los datos que necesitan, dondequiera que residan. Nos complace anunciar Sharing for Lakehouse Federation, una nueva capacidad que permite a los clientes compartir datos directamente desde donde están almacenados, sin necesidad de copiarlos en Databricks. Esto permite a los proveedores de datos otorgar acceso fácilmente a los datos almacenados en su almacén de datos o base de datos (por ejemplo, Snowflake, BigQuery, Redshift, MySQL, PostgreSQL, etc.), lo que permite a los clientes de Databricks acceder al conjunto de datos más amplio posible sin ningún trabajo adicional para los proveedores. Esta función estará disponible próximamente en Private Preview. Regístrate para solicitar acceso a la versión preliminar.

Todas estas increíbles funciones nuevas se suman a las innovaciones recientes de los últimos seis meses, incluido AI Model Sharing, actualmente en Public Preview, que te permite compartir modelos con tus socios y clientes, quienes pueden implementarlos en su entorno de Databricks utilizando Mosaic AI. AI Model Sharing ofrece ventajas revolucionarias para compartir modelos fácilmente entre nubes y regiones, al tiempo que permite a los receptores proteger la privacidad de sus datos al utilizar modelos de terceros.

Anuncio de la versión Public Preview de Clean Rooms en AWS y Azure

Databricks Clean Rooms ofrece un entorno que protege la privacidad para la colaboración en todos tus datos y activos de AI sin acceso directo a datos confidenciales. Hoy anunciamos que Databricks Clean Rooms estará en Public Preview (próximamente) en AWS y Azure. Puedes registrarte aquí para obtener acceso anticipado a la versión preliminar.

Las organizaciones buscan formas de intercambiar sus datos de manera segura y colaborar con socios externos para fomentar innovaciones basadas en datos. En el pasado, las organizaciones contaban con soluciones limitadas para compartir datos, lo que les hacía perder el control sobre cómo se compartían sus datos confidenciales con los socios y les ofrecía poca o ninguna visibilidad sobre cómo se consumían. Esto generaba el riesgo de un posible uso indebido de los datos y de violaciones a la privacidad de la información. Los clientes que intentaron usar otras soluciones de clean rooms nos han dicho que estas son limitadas y no satisfacen sus necesidades, ya que a menudo requieren que todas las partes copien sus datos en la misma plataforma, no permiten análisis sofisticados más allá de consultas SQL básicas y ofrecen una visibilidad o un control limitados sobre sus datos.

Las organizaciones necesitan una forma abierta, flexible y segura para la privacidad de colaborar con los datos, y Databricks Clean Rooms responde a estas necesidades críticas.

• Cualquier nube, cualquier plataforma. La colaboración segura, abierta y flexible está impulsada por Delta Sharing. Clean Rooms le permite colaborar entre diferentes nubes, regiones e incluso plataformas utilizando el nuevo Sharing para Lakehouse Federation (consulte los detalles más arriba).
• Cualquier lenguaje y carga de trabajo de su elección: A diferencia de otras clean rooms de datos del mercado, Databricks Clean Rooms admite cualquier lenguaje o carga de trabajo, incluido el soporte nativo para ML y AI con Python. Clean Rooms es una solución flexible e interoperable que permite a las organizaciones colaborar con cualquiera, independientemente de la nube o plataforma, sin necesidad de replicación.
• Cualquier escala: Clean Rooms también admite capacidades operativas y de colaboración a escala. Gracias a la compatibilidad con APIs, comandos SQL y la orquestación integrada de Databricks Workflows, puede automatizar fácilmente las cargas de trabajo de Clean Room. Los colaboradores también reciben los datos de salida aprobados directamente en su Unity Catalog, que se pueden utilizar cómodamente para casos de uso posteriores. Próximamente, varios colaboradores podrán trabajar juntos en una Databricks Clean Room.

Crecimiento del ecosistema y de la innovación de productos de Databricks Marketplace

Muchos mercados son ecosistemas cerrados, restringidos a nubes o almacenes de datos específicos, y a menudo se centran únicamente en datos o aplicaciones sencillas. En junio de 2023, lanzamos Databricks Marketplace, una plataforma abierta diseñada para satisfacer todas sus necesidades de datos, análisis y AI. Impulsado por Delta Sharing, el Marketplace ofrece una amplia variedad de conjuntos de datos, modelos de AI, notebooks y soluciones.

Durante el último año, Databricks Marketplace ha introducido varias innovaciones como AI Model Sharing en Marketplace, Volume Sharing en Marketplace (consulte el blog reciente, Shutterstock utiliza Volume Sharing para una colaboración fluida), Databricks to Open Sharing, Private Exchanges y Aceleradores de soluciones para ayudar a los consumidores de datos a descubrir y evaluar productos de datos más rápido y acelerar sus iniciativas de análisis y AI. El siguiente gráfico ofrece un resumen rápido de estos lanzamientos de funciones de productos y sus beneficios para los clientes.

Databricks Marketplace también ha experimentado un crecimiento notable, con más de 2000 ofertas de conjuntos de datos, modelos de AI y aceleradores de soluciones disponibles en Databricks Marketplace, lo que representa un aumento interanual del 320% en las ofertas y un aumento del 300% en nuevos proveedores de datos.

"Shutterstock está llevando su vasta colección de casi mil millones de activos de contenido creativo a Databricks Marketplace, una plataforma reconocida por fomentar la colaboración abierta de datos y AI. Esta integración proporciona un acceso sin precedentes a nuestra amplia biblioteca de contenido visual de origen ético, impulsando iniciativas responsables de AI y ML en diversas industrias. Nos entusiasma incorporar Delta Sharing como método para entregar datos. Los clientes que utilicen nuestro valioso conjunto de datos en Databricks pueden aprovechar nuevas oportunidades, catalizar innovaciones de productos y asegurar una ventaja competitiva". —Aimee Egan, directora de empresas, Shutterstock

Comience a compartir datos y colaborar en Databricks

Databricks permite compartir datos y colaborar de forma abierta, y esperamos ver cómo utiliza Delta Sharing, Databricks Marketplace y Databricks Clean Rooms para innovar y cumplir con sus iniciativas de datos y AI.

Asegúrese de mantenerse al tanto de todas nuestras actualizaciones sobre intercambio de datos y colaboración en el Data and AI Summit del 10 al 13 de junio, o vea las transmisiones en vivo de las conferencias principales y sesiones seleccionadas.

Envíe su solicitud de interés para unirse a nuestro formulario de interés de Databricks Clean Rooms antes de que se lance la versión Public Preview. También puede registrarse para la private preview de Delta Sharing Cross-Platform View Sharing y la private preview de Delta Sharing Materialized Views and Streaming Table Sharing.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original