Les nouveautés du Data Sharing et de la collaboration sur le lakehouse

Databricks fournit la première approche open source du Data Sharing et collaboration pour les données, l'analytique et l'IA. Les clients peuvent partager des datasets en direct, ainsi que des modèles d'IA, des applications et des Notebooks, sur différentes plateformes, différents clouds et différentes régions, sans dépendance vis-à-vis d'un fournisseur. Accélérez l'innovation et créez de nouveaux flux de revenus en proposant des produits de données transformateurs. Cette souplesse se double d'une sécurité et d'une gouvernance robustes grâce à l'intégration de Delta Sharing au Unity Catalog Databricks qui permet d'encadrer, suivre et auditer l'accès aux groupes de données partagés. Nous sommes ravis d'annoncer de nouvelles fonctionnalités pour faire progresser la plateforme de collaboration Lakehouse. Nous sommes ravis d'annoncer que Databricks étend son écosystème Delta Sharing avec de nouveaux Partenaires, la disponibilité générale de la Databricks Marketplace et les Databricks Clean Rooms en préversion privée sur AWS.

Accélérez le Data Sharing avec Delta Sharing

Il y a deux ans, nous avons lancé le projet open source Delta Sharing. Le premier protocole ouvert du secteur pour le sécurisé Data Sharing. Depuis son lancement, de nombreuses organisations adoptent Delta Sharing. Plus de 6 000 organisations consomment des données à l'aide de Delta Sharing. Plus de 300 pétaoctets de données sont partagés quotidiennement via Delta Sharing sur Databricks. Il s'agit de données qui sont lues et traitées entre différentes organisations. Alors que de nombreuses autres solutions de fournisseurs vous rendent captifs, nous avons constaté un engouement incroyable auprès des clients utilisant Delta Sharing. Les entreprises peuvent partager et consommer des données à partir de n'importe quelle plateforme ou de n'importe quel fournisseur qui prend en charge le protocole ouvert Delta Sharing. Grâce à une approche ouverte reposant sur Delta Sharing, les organisations peuvent exploiter leurs données plus rapidement et obtenir des insights plus vite.

Nous sommes ravis d'annoncer que Databricks étend l'écosystème Delta Sharing avec de nouveaux partenaires, notamment Cloudflare, Dell, Oracle et Twilio, pour partager des données en toute transparence entre leurs plateformes, Databricks, Apache Spark™, pandas, PowerBI, Excel et tout autre système qui prend en charge le protocole ouvert.

La place de marché de Databricks est désormais configurée pour un usage général.

D'autres fonctionnalités de collaboration, notamment le Databricks Marketplace, s'appuient sur Delta Sharing. Nous avons récemment annoncé la préversion publique de Databricks Marketplace et nous sommes aujourd'hui ravis d'annoncer la disponibilité générale de Databricks Marketplace.

De nombreux fournisseurs de cloud proposent des marketplaces de données, mais lorsque nous avons interrogé des fournisseurs de données, ils nous ont fait part des limites qu'ils rencontrent :

• Les marketplaces sont limitées à un cloud ou à un data warehouse spécifique.
• Limité aux données uniquement, ou à des applications simples.
• La livraison des données requiert soit un ETL, soit l'utilisation d'un mécanisme de livraison propriétaire.

Databricks Marketplace est une place de marché ouverte pour les Solutions de données, de sorte que tout client pouvant lire des partages delta peut y accéder. Cela offre de grands avantages aux fournisseurs en leur permettant de toucher davantage d'utilisateurs. Pour les consommateurs, ils peuvent facilement découvrir plus que de simples datasets, évaluer plus rapidement les produits de données, car les assets incluent des Notebooks et des visualisations, et ils n'ont pas besoin d'être client de Databricks pour profiter de la marketplace. Elle est vraiment ouverte.

Disponible dès aujourd'hui, la Databricks Marketplace vous permet de partager et d'échanger des actifs de données, notamment des jeux de données et des Notebooks, sur la marketplace publique ou dans des échanges privés. La Marketplace Databricks est également ouverte aux utilisateurs non-Databricks.

Nouveaux fournisseurs de données sur Databricks Marketplace

Au cours des derniers mois, nous avons continué d'accroître le nombre de nos Partenaires dans tous les Secteurs d'activité et nous avons des centaines d'annonces sur notre marketplace que vous pouvez explorer dans notre Marketplace Ouverte. La Marketplace Databricks accueille également d'autres fournisseurs de données partenaires du lancement, issus de divers secteurs d'activité :

• Services financiers : S&P Global, Experian, London Stock Exchange Group, Corelogic, YipitData, Morningstar et Bloomberg Government
• Santé et sciences de la vie : IQVIA, Definitive Healthcare, Datavant et Ontada
• Géospatial : Foursquare, Divirod, Accuweather Veraset, Safegraph et Carto
• Publicité et marketing : LiveRamp, Acxiom
• Services d'informations commerciales : LexisNexis et ZoomInfo
• Vente au détail : Circana (anciennement IRI)

« Alors que l'adoption de l'IA et de l'analytique avancée se développe, nous sommes ravis de nous associer à Databricks pour aider les clients à obtenir des insights plus rapidement. Cette collaboration vise à fournir aux entreprises un accès aux données unifié et en temps réel, favorisant la collaboration et stimulant des capacités analytiques et de prise de décision quantitative améliorées dans le secteur financier et au-delà. » — Stuart Brown, Responsable des solutions de données d'entreprise du groupe au London Stock Exchange

Bientôt disponible : fonctionnalités de partage de modèles d'IA

Databricks proposera également le partage de modèles d'IA sur la Databricks Marketplace, permettant aux consommateurs et aux fournisseurs de données de découvrir et de monétiser des modèles d'IA et d'intégrer l'IA dans toutes leurs solutions de données. Grâce au partage de modèles d'IA, les clients Databricks auront accès aux meilleurs modèles de leur catégorie, qui peuvent être appliqués rapidement et en toute sécurité à leurs données. Databricks sélectionnera et publiera des modèles open source pour les cas d'usage courants, tels que le suivi d'instructions et le résumé de texte, et optimisera l'ajustement ou le déploiement de ces modèles sur Databricks. Le partage de modèles d'IA dans Databricks Marketplace devrait être disponible en préversion dans l'année à venir.

Bientôt disponible : Lakehouse Apps sur Databricks Marketplace

Les applications de données et d'IA figurent parmi les catégories de solutions qui connaissent la croissance la plus rapide, et la croissance de l'IA générative et des grands modèles de langage (LLM) a accéléré cette tendance. Pour les clients, les Lakehouse Apps seront le moyen le plus sûr d'exécuter des applications qui libèrent toute la valeur des données dans leur Lakehouse, exploitent les services natifs de Databricks et dotent Databricks de nouvelles fonctionnalités. Les Lakehouse Apps donneront aux utilisateurs un accès sûr et facile à une large gamme de nouvelles applications innovantes et réduiront le temps et les efforts nécessaires pour adopter, intégrer et gérer les applications de données et d'IA.

Les applications Lakehouse sont une nouvelle façon de créer, de déployer et de gérer des applications pour la plateforme Databricks. Les développeurs bénéficieront d'une distribution simplifiée en publiant leurs applications Lakehouse sur la Marketplace Databricks, ce qui permettra aux clients de découvrir et de déployer rapidement leurs logiciels. Les Lakehouse Apps sur la Databricks Marketplace devraient être disponibles en préversion au cours de l'année à venir.

Collaboration respectueuse de la confidentialité avec Databricks Clean Rooms

Aujourd'hui, nous avons le plaisir d'annoncer Databricks Clean Rooms en préversion privée sur AWS. Une data clean room permet une collaboration sécurisée et isolée entre organisations en autorisant la jonction et le traitement de leurs datasets respectifs, tout en garantissant qu'aucune partie ne dispose d'un accès direct ou d'une visibilité sur les données brutes des autres ou, dans certains cas, sur des packages propriétaires ou des modèles d'IA.

Databricks Clean Rooms fournit un environnement sécurisé permettant aux entreprises de collaborer avec leurs clients et partenaires sur n'importe quel cloud, en privilégiant la flexibilité, l'évolutivité et l'interopérabilité. Contrairement aux autres solutions, Databricks Clean Rooms prend en charge plusieurs langages (SQL, R, Scala, Java, Python), ce qui permet de réaliser aussi bien des charges de travail analytiques simples, comme les jointures, que des calculs complexes, comme le machine learning. Cette solution offre une évolutivité pour la collaboration avec plusieurs partenaires, réduisant le besoin de gérer plusieurs fournisseurs. Reposant sur la technologie ouverte Delta Sharing, elle permet aux participants de partager des données en toute sécurité, sans réplication de données ni dépendance vis-à-vis d'une plateforme, évoluant d'un simple Data Sharing vers un joint secure compute.

Démarrez avec le Data Sharing et la collaboration dans Databricks

Databricks permet le partage ouvert et la collaboration, et nous sommes impatients de voir comment vous utiliserez Delta Sharing, Databricks Marketplace, Lakehouse Apps et Databricks Clean Rooms pour collaborer en toute simplicité et en toute confiance.

Ne manquez pas les prochaines mises à jour passionnantes concernant Data Sharing et la collaboration et nos sessions au Data and AI Summit. Les sessions seront disponibles à la demande peu de temps après la fin de la conférence.

Inscrivez-vous pour devenir un fournisseur de données (Veuillez sélectionner "Marketplace" comme programme d'intérêt).

Manifestez votre intérêt pour rejoindre la préversion privée de nos Databricks Clean Rooms, ou attendez pour vous inscrire à notre préversion publique qui sera disponible plus tard cette année.