Nouveautés concernant le partage de données et la collaboration

Chez Databricks, notre mission est de démocratiser les données et l'AI. Une approche ouverte du partage et de la collaboration est essentielle pour maximiser la portée et l'impact. Au sein de notre plateforme d'intelligence des données, le protocole ouvert Delta Sharing aide nos clients à partager facilement et en toute sécurité des données et des actifs AI afin d'accélérer l'innovation. Pour la collaboration avec des données tierces, le Databricks Marketplace est la place de marché ouverte pour tous vos besoins en données, analyses et AI. Avec un écosystème croissant de partenaires de données partageant un large éventail d'actifs de données et d'AI, le Databricks Marketplace permet aux consommateurs de données d'innover. Databricks Clean Rooms offre une collaboration respectueuse de la confidentialité pour permettre aux entreprises de collaborer facilement dans un environnement sécurisé sur n'importe quel cloud. La semaine dernière, nous avons annoncé 12 nouveaux partenaires de premier plan pour étendre l'écosystème ouvert de Delta Sharing. Aujourd'hui, nous sommes ravis d'annoncer comment nous accélérons la croissance de notre écosystème ainsi que de nouvelles mises à jour sur les lancements de fonctionnalités de Delta Sharing. Nous sommes également ravis d'annoncer la disponibilité de la collaboration respectueuse de la confidentialité avec Databricks Clean Rooms en Public Preview (bientôt disponible) sur AWS et Azure.

Accélérer la croissance du partage de données avec Delta Sharing

Les clients de Databricks mènent des collaborations multiplateformes et multiclouds avec leurs clients et partenaires sur un écosystème flexible, sécurisé et ouvert, sans dépendance vis-à-vis d'un fournisseur unique. L'engagement de Databricks en faveur de l'innovation et de la collaboration a donné des résultats significatifs l'année dernière, l'écosystème affichant une croissance impressionnante.

We've seen massive growth across our ecosystem, with 16,000+ data recipients from a wide range of organizations that have adopted Delta Sharing to collaborate with partners and customers. Aujourd'hui, nous sommes ravis d'annoncer une croissance de plus de 300 % YoY des Delta Shares actifs dans notre écosystème ouvert, 40 % des Delta Shares utilisant nos connecteurs ouverts multiplateformes qui prennent en charge Apache Spark, Pandas, Power BI et le récemment annoncé Tableau pour accéder aux données partagées et les lire.

Le dernier groupe de partenaires de Delta Sharing conçoit des solutions de partage de données, élargit les partenariats « Built on » existants pour de nouvelles capacités et fait progresser les partenariats technologiques qui aident les clients communs à partager de manière transparente entre les plateformes. Ces nouveaux partenariats incluent Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience et The Trade Desk. Databricks annonce également des partenariats élargis avec Epsilon, LiveRamp, S&P Global et Tableau.

"Atlassian Analytics a récemment lancé Data Shares, en s'appuyant sur Delta Sharing de Databricks, pour accroître la flexibilité et accélérer le délai d'obtention d'insights pour les clients. … L'écosystème ouvert de connecteurs de Delta Sharing, notamment Tableau, PowerBI et Spark, permet aux clients d'alimenter facilement leurs environnements avec des données provenant directement d'Atlassian Data Lake." —Ben Jackson, Senior Group Product Manager, Data & Analytics, Atlassian

Les nouvelles innovations de Delta Sharing favorisent la réussite des projets de données et d'AI

Il y a trois ans, nous avons annoncé le projet open source Delta Sharing, le premier protocole ouvert du secteur pour le partage sécurisé de données. Depuis lors, Delta Sharing a continué d'innover et de permettre aux clients de partager facilement des données en temps réel et des modèles AI à travers les plateformes, les clouds et les régions, sans aucune réplication.

En nous appuyant sur cette approche ouverte, notre principe directeur est de faire de Delta Sharing l'outil le plus ouvert, sécurisé et flexible, permettant à quiconque de partager n'importe quel actif de données avec n'importe quel destinataire sur n'importe quelle plateforme, pour tous les cas d'usage allant du SQL à l'AI. À cette fin, nous avons continué à développer de nouvelles capacités de partage ouvert pour les fournisseurs et les destinataires de données, et nous sommes ravis d'annoncer plusieurs nouvelles innovations produits pour Delta Sharing.

Récemment lancées en Public Preview, nous sommes heureux d'annoncer que deux fonctionnalités de Delta Sharing sont désormais généralement disponibles : le Volume Sharing et la prise en charge de Cloudflare R2. Les « Volumes » sont un nouveau type d'objet dans Unity Catalog pour les collections de répertoires et de fichiers. Avec le Volume Sharing, vous disposez désormais de la flexibilité nécessaire pour partager de grandes quantités de données non structurées ou non tabulaires (par exemple, des images, des fichiers audio, des vidéos ou des fichiers PDF) entre différents espaces de travail, sans avoir recours à une réplication coûteuse. Cette nouvelle fonctionnalité permet d'accélérer l'innovation pour le traitement des données non structurées / non tabulaires pour les charges de travail de science des données, d'AI et de machine learning. La prise en charge de Cloudflare R2 permet aux clients communs de l'offre de stockage d'objets distribués sans frais de sortie (zero egress) de Cloudflare de bénéficier de frais de sortie nuls, sans réplication coûteuse entre les régions et sans dépendance vis-à-vis d'un fournisseur. Ce partenariat stratégique avec Cloudflare a déjà permis à des clients tels qu'Allium d'économiser jusqu'à 645 000 $ par an en utilisant à la fois Delta Sharing et Cloudflare R2.

Le Cross-Platform View Sharing est une nouvelle fonctionnalité passionnante qui permet aux fournisseurs de données de partager facilement des vues avec n'importe quel destinataire. Bien que les vues soient un mécanisme très populaire depuis des années pour permettre le partage dynamique de données, le partage de vues est souvent limité à une même plateforme et à une même région cloud, ce qui rend difficile d'atteindre tous les utilisateurs, où qu'ils se trouvent. Nous sommes ravis de vous annoncer que les clients de Databricks pourront partager des vues en toute sécurité avec n'importe quel destinataire, quels que soient le cloud, la région ou la plateforme qu'ils utilisent. Le Cross-Platform View Sharing sera bientôt disponible en Private Preview, et vous pouvez vous inscrire dès maintenant pour demander l'accès à l'aperçu lorsqu'il sera disponible. Une autre fonctionnalité de Delta Sharing que nous lançons est le partage de vues matérialisées et de tables de streaming (Materialized Views and Streaming Tables Sharing) en Private Preview. Les clients qui utilisent Delta Live Tables pour créer facilement des pipelines de données fiables et rentables peuvent désormais partager aisément les résultats de ces pipelines avec leurs destinataires, sans avoir besoin de créer et de maintenir des copies ou des pipelines supplémentaires. Inscrivez-vous pour demander l'accès à l'aperçu.

Nos clients nous ont fait part de leur besoin d'un écosystème de partage capable d'accéder à toutes les données dont ils ont besoin, où qu'elles se trouvent. Nous sommes très heureux d'annoncer le Sharing for Lakehouse Federation, une nouvelle capacité qui permet aux clients de partager des données directement depuis leur lieu de stockage, sans avoir besoin de les copier dans Databricks. Cela permet aux fournisseurs de données d'accorder facilement l'accès aux données stockées dans leur data warehouse ou leur base de données (par exemple, Snowflake, BigQuery, Redshift, MySQL, PostgreSQL, etc.), permettant ainsi aux clients de Databricks d'accéder au plus large éventail possible de jeux de données sans aucune charge de travail supplémentaire pour les fournisseurs. Cette fonctionnalité sera bientôt disponible en Private Preview. Inscrivez-vous pour demander l'accès à l'aperçu.

Toutes ces incroyables nouvelles fonctionnalités s'ajoutent aux récentes innovations des six derniers mois, notamment le AI Model Sharing, actuellement en Public Preview, qui vous permet de partager des modèles avec vos partenaires et clients, qui peuvent ensuite les déployer dans leur environnement Databricks à l'aide de Mosaic AI. L'AI Model Sharing offre des avantages révolutionnaires pour partager facilement des modèles entre différents clouds et régions, tout en permettant aux destinataires de protéger la confidentialité de leurs données lorsqu'ils utilisent des modèles tiers.

Annonce de la Public Preview de Clean Rooms sur AWS + Azure

Databricks Clean Rooms offre un environnement respectueux de la confidentialité pour la collaboration sur l'ensemble de vos données et actifs AI, sans accès direct aux données sensibles. Aujourd'hui, nous annonçons que Databricks Clean Rooms sera bientôt disponible en Public Preview sur AWS et Azure. Vous pouvez vous inscrire ici pour obtenir un accès anticipé à l'aperçu.

Les entreprises cherchent des moyens de partager leurs données en toute sécurité et de collaborer avec des partenaires externes afin de favoriser les innovations basées sur les données. Par le passé, les entreprises disposaient de solutions de partage de données limitées, perdant le contrôle sur la manière dont leurs données sensibles étaient partagées avec leurs partenaires, et n'ayant que peu ou pas de visibilité sur la façon dont leurs données étaient consommées. Cela créait un risque d'utilisation abusive des données et de violation de la confidentialité des données. Les clients qui ont essayé d'autres solutions de clean room nous ont dit que ces solutions étaient limitées et ne répondaient pas à leurs besoins, car elles exigent souvent que toutes les parties copient leurs données sur la même plateforme, ne permettent pas d'analyses sophistiquées au-delà des requêtes SQL de base, et offrent une visibilité ou un contrôle limité sur leurs données.

Les entreprises ont besoin d'un moyen ouvert, flexible et respectueux de la confidentialité pour collaborer sur les données, et Databricks Clean Rooms répond à ces besoins essentiels.

• N'importe quel cloud, n'importe quelle plateforme. Une collaboration sécurisée, ouverte et flexible est propulsée par Delta Sharing. Clean Rooms vous permet de collaborer entre différents clouds, régions et même plateformes grâce au nouveau partage pour Lakehouse Federation (voir détails ci-dessus).
• Le langage et la charge de travail de votre choix : Contrairement aux autres data clean rooms du marché, Databricks Clean Rooms prend en charge n'importe quel langage ou charge de travail, y compris le support natif pour le ML et l'AI avec Python. Clean Rooms est une solution flexible et interopérable, permettant aux entreprises de collaborer avec n'importe qui, indépendamment du cloud ou de la plateforme, sans avoir besoin de réplication.
• N'importe quelle échelle : Clean Rooms prend également en charge la collaboration et les capacités opérationnelles à grande échelle. Grâce à la prise en charge des API, des commandes SQL et de l'orchestration intégrée de Databricks Workflows, vous pouvez facilement automatiser les charges de travail de Clean Room. Les collaborateurs reçoivent également les données de sortie approuvées directement dans leur Unity Catalog, qui peuvent être facilement utilisées pour des cas d'usage ultérieurs. Bientôt, plusieurs collaborateurs pourront travailler ensemble dans un Databricks Clean Room.

Croissance de l'écosystème et innovation produit de Databricks Marketplace

De nombreuses marketplaces sont des écosystèmes fermés, limités à des clouds ou des entrepôts de données spécifiques, et souvent concentrés uniquement sur les données ou des applications simples. En juin 2023, nous avons lancé le Databricks Marketplace, une plateforme ouverte conçue pour répondre à tous vos besoins en matière de données, d'analytique et d'AI. Propulsé par Delta Sharing, le Marketplace propose une gamme diversifiée de jeux de données, de modèles d'AI, de notebooks et de solutions.

Au cours de l'année écoulée, Databricks Marketplace a introduit plusieurs innovations telles que le partage de modèles d'AI sur le Marketplace, le partage de volumes sur le Marketplace (voir le blog récent, Shutterstock utilise le partage de volumes pour une collaboration fluide), Databricks to Open Sharing, les Private Exchanges et les accélérateurs de solutions pour aider les utilisateurs de données à découvrir et évaluer les produits de données plus rapidement et à accélérer leurs initiatives d'analytique et d'AI. Le graphique ci-dessous présente un aperçu rapide de ces lancements de fonctionnalités et de leurs avantages pour les clients.

Databricks Marketplace a également connu une croissance remarquable, avec plus de 2 000 offres de jeux de données, de modèles d'AI et d'accélérateurs de solutions disponibles sur le Databricks Marketplace, soit une augmentation de 320 % d'une année sur l'autre des offres et une augmentation de 300 % des nouveaux fournisseurs de données.

« Shutterstock apporte sa vaste collection de près d'un milliard de contenus créatifs sur le Databricks Marketplace, une plateforme réputée pour favoriser le partage de données ouvert et la collaboration autour de l'AI. Cette intégration offre un accès inégalé à notre vaste bibliothèque de contenus visuels d'origine éthique, propulsant ainsi les initiatives d'AI et de ML responsables dans divers secteurs. Nous sommes ravis d'ajouter Delta Sharing comme méthode de diffusion des données. Les clients qui utilisent notre riche jeu de données sur Databricks peuvent saisir de nouvelles opportunités, catalyser les innovations produits et s'assurer un avantage concurrentiel. » —Aimee Egan, Chief Enterprise Officer, Shutterstock

Lancez-vous avec le partage de données et la collaboration dans Databricks

Databricks permet un partage de données et une collaboration ouverts, et nous avons hâte de voir comment vous utiliserez Delta Sharing, Databricks Marketplace et Databricks Clean Rooms pour innover et mener à bien vos initiatives en matière de données et d'AI.

Ne manquez pas de suivre toutes nos nouveautés sur le partage de données et la collaboration lors du Data and AI Summit du 10 au 13 juin, ou de regarder les diffusions en direct des keynotes et d'une sélection de sessions.

Exprimez votre intérêt pour rejoindre nos Databricks Clean Rooms via notre formulaire d'intérêt avant le lancement de la Public Preview. Vous pouvez également vous inscrire à la private preview de Delta Sharing Cross-Platform View Sharing et à la private preview de Delta Sharing Materialized Views and Streaming Table Sharing.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original