Novedades sobre el uso compartido de datos y la colaboración en el Lakehouse

Databricks ofrece el primer enfoque de código abierto para el uso compartido y la colaboración de datos en datos, análisis e IA. Los clientes pueden compartir conjuntos de datos en vivo, así como modelos de IA, aplicaciones y notebooks, a través de plataformas, nubes y regiones sin estar atados a un proveedor. Acelera la innovación y genera nuevos flujos de ingresos con mayores oportunidades para ofrecer productos de datos transformadores. Esta flexibilidad se logra con una seguridad y una gobernanza sólidas, mediante la integración de Delta Sharing con Databricks Unity Catalog para gobernar, rastrear y auditar el acceso a los conjuntos de datos compartidos. Nos complace anunciar nuevas capacidades para mejorar la plataforma de colaboración Lakehouse. Nos complace anunciar que Databricks está ampliando nuestro ecosistema de Delta Sharing con nuevos socios, la disponibilidad general de Databricks Marketplace y Databricks Clean Rooms en Private Preview en AWS.

Acelere el intercambio de datos con Delta Sharing

Hace dos años iniciamos el proyecto de código abierto Delta Sharing. El primer protocolo abierto del sector para el intercambio seguro de datos. Desde su lanzamiento, muchas organizaciones están adoptando Delta Sharing. Más de 6000 organizaciones consumen datos mediante Delta Sharing. Más de 300 petabytes de datos se comparten diariamente usando Delta Sharing en Databricks. Se trata de datos que se leen y procesan entre organizaciones. Mientras que muchas otras soluciones de proveedores generan dependencia, hemos visto un impulso increíble entre los clientes con Delta Sharing. Las empresas pueden compartir y consumir datos desde cualquier plataforma o proveedor que admita el protocolo abierto Delta Sharing. Con un enfoque abierto impulsado por Delta Sharing, las organizaciones pueden aprovechar sus datos más rápidamente y descubrir información valiosa más rápido.

Nos complace anunciar que Databricks está ampliando el ecosistema de Delta Sharing con nuevos socios, incluidos Cloudflare, Dell, Oracle y Twilio, para compartir datos de manera fluida entre sus plataformas, Databricks, Apache Spark™, pandas, PowerBI, Excel y cualquier otro sistema que admita el protocolo abierto.

¡Databricks Marketplace ya está disponible de forma general!

Basado en Delta Sharing, existen otras capacidades de colaboración, incluido el Databricks Marketplace. Recientemente anunciamos la versión preliminar pública de Databricks Marketplace y hoy nos complace anunciar la disponibilidad general de Databricks Marketplace.

Muchos proveedores de la nube ofrecen marketplaces de datos, pero cuando les preguntamos a los proveedores de datos, compartieron que se encuentran con limitaciones:

• Los marketplaces son cerrados para su nube específica o un data warehouse específico.
• Restringido solo a datos, o quizás a aplicaciones sencillas.
• La entrega de datos requiere ETL o el uso de un mecanismo de entrega propietario.

Databricks Marketplace es un marketplace abierto para soluciones de datos, por lo que cualquier cliente que pueda leer recursos compartidos de Delta puede acceder al marketplace. Esto tiene grandes beneficios para los proveedores, ya que les permite llegar a más usuarios. Para los consumidores, es fácil descubrir más que solo conjuntos de datos, evaluar los productos de datos más rápido (porque los activos incluyen notebooks y visualizaciones) y no es necesario ser cliente de Databricks para aprovechar el marketplace. Es verdaderamente abierto.

Disponible a partir de hoy, el Marketplace de Databricks le permite compartir e intercambiar activos de datos, incluidos conjuntos de datos y notebooks, en el marketplace público o en exchanges privados. Databricks Marketplace también está abierto para quienes no son usuarios de Databricks.

Nuevos proveedores de datos en Databricks Marketplace

Durante los últimos meses, hemos seguido aumentando el número de socios de todos los sectores y tenemos cientos de listados en nuestro marketplace que puedes explorar en nuestro Open Marketplace. Databricks Marketplace también da la bienvenida a otros proveedores de datos de lanzamiento de diversos sectores:

• Servicios financieros: S&P Global, Experian, London Stock Exchange Group, Corelogic, YipitData, Morningstar y Bloomberg Government
• Salud y ciencias biológicas: IQVIA, Definitive Healthcare, Datavant y Ontada
• Geoespacial: Foursquare, Divirod, Accuweather Veraset, Safegraph y Carto
• Publicidad y marketing: LiveRamp, Acxiom
• Servicios de información empresarial: LexisNexis y ZoomInfo
• Retail: Circana (antes IRI)

“A medida que crece la adopción de la IA y la analítica avanzada, nos entusiasma asociarnos con Databricks para ayudar a los clientes a obtener información más rápido. Esta colaboración tiene como objetivo empoderar a las empresas con acceso a datos unificado y en tiempo real, lo que fomenta la colaboración e impulsa mejores capacidades de análisis y de toma de decisiones cuantitativas en la industria financiera y en otros sectores”. — Stuart Brown, director grupal de Soluciones de Datos Empresariales en la Bolsa de Valores de Londres

Próximamente: funcionalidades para compartir modelos de IA

Databricks también ofrecerá el uso compartido de modelos de IA en Databricks Marketplace, lo que permitirá a los consumidores y proveedores de datos descubrir y monetizar modelos de IA e integrar la IA en todas sus soluciones de datos. Con el uso compartido de modelos de IA, los clientes de Databricks tendrán acceso a modelos de primer nivel, que pueden aplicarse de forma rápida y segura sobre sus datos. El propio Databricks seleccionará y publicará modelos de código abierto para casos de uso comunes, como el seguimiento de instrucciones y el resumen de texto, y optimizará el ajuste o la implementación de estos modelos en Databricks. Se espera que el uso compartido de modelos de IA en Databricks Marketplace esté disponible en vista previa el próximo año.

Próximamente: Lakehouse Apps en Databricks Marketplace

Las aplicaciones de datos e IA se encuentran entre las categorías de software de más rápido crecimiento, y el crecimiento de la IA generativa y los modelos de lenguaje grandes (LLM) ha acelerado esa tendencia. Para los clientes, Lakehouse Apps será la forma más segura de ejecutar aplicaciones que liberan todo el valor de los datos en su Lakehouse, aprovechan los servicios nativos de Databricks y amplían Databricks con nuevas capacidades. Lakehouse Apps brindará a los usuarios un acceso seguro y fácil a una amplia gama de aplicaciones nuevas e innovadoras y reducirá el tiempo y el esfuerzo para adoptar, integrar y administrar aplicaciones de datos e IA.

Las Lakehouse Apps son una nueva forma de crear, implementar y administrar aplicaciones para la plataforma de Databricks. Los desarrolladores se beneficiarán de una distribución más sencilla al publicar sus Lakehouse Apps en el Databricks Marketplace, lo que permitirá a los clientes descubrir e implementar su software rápidamente. Se espera que las Lakehouse Apps en el Databricks Marketplace estén disponibles en versión preliminar el próximo año.

Colaboración segura para la privacidad con los Clean Rooms de Databricks

Hoy nos complace anunciar Databricks Clean Rooms en vista previa privada en AWS. Una sala limpia de datos permite la colaboración segura y aislada entre organizaciones, ya que posibilita unir y procesar los respectivos conjuntos de datos, al tiempo que se garantiza que ninguna de las partes tenga acceso directo ni visibilidad de los datos sin procesar de la otra o, en algunos casos, de paquetes propietarios o modelos de IA.

Databricks Clean Rooms ofrece un entorno seguro para que las empresas colaboren con clientes y socios en cualquier nube, en el que se prioriza la flexibilidad, la escalabilidad y la interoperabilidad. A diferencia de otras soluciones, Databricks Clean Rooms es compatible con múltiples lenguajes (SQL, R, Scala, Java, Python), lo que permite realizar desde cargas de trabajo analíticas simples, como uniones, hasta cálculos complejos, como el aprendizaje automático. Ofrece escalabilidad para la colaboración con varios colaboradores, lo que reduce la necesidad de gestionar múltiples proveedores. Construido sobre el protocolo abierto Delta Sharing, los participantes pueden compartir datos de manera segura sin replicación de datos ni dependencia de la plataforma, evolucionando del simple intercambio de datos al cómputo conjunto seguro.

Introducción al uso compartido de datos y la colaboración en Databricks

Databricks permite el intercambio y la colaboración abiertos y estamos ansiosos por ver cómo utilizas Delta Sharing, Databricks Marketplace, Lakehouse Apps y Databricks Clean Rooms para colaborar con facilidad y confianza.

No te pierdas más novedades interesantes sobre el intercambio de datos y la colaboración ni nuestras sesiones en el Data and AI Summit. Las sesiones estarán disponibles on-demand poco después de que finalice la conferencia.

Regístrate para convertirte en proveedor de datos (selecciona "Marketplace" como el programa de interés).

Envíe su solicitud para unirse a la vista previa privada de Databricks Clean Rooms, o espere para inscribirse en nuestra vista previa pública, que estará disponible más adelante este año.