Annonce de la disponibilité générale du partage Delta

Aujourd'hui, nous sommes ravis d'annoncer que Delta Sharing est en disponibilité générale (GA) sur AWS et Azure. Avec la version GA, vous pouvez vous attendre au plus haut niveau de stabilité, de support et de préparation pour l'entreprise de la part de Databricks pour les charges de travail critiques sur la plateforme Databricks Lakehouse.

Dans cet article de blog, nous explorons comment les organisations tirent parti de Delta Sharing pour maximiser la valeur commerciale de leurs données, certaines des fonctionnalités clés disponibles dans la version en disponibilité générale (GA) et comment démarrer avec Delta Sharing sur la Databricks Lakehouse Platform.

Les clients sont gagnants grâce à la norme ouverte pour le Data Sharing depuis le lakehouse.

Le Data Sharing est devenu important dans l'économie digital, car les entreprises cherchent à échanger facilement et en toute sécurité des données avec leurs clients, Partenaires, fournisseurs et lignes de métier internes (LOB) pour mieux collaborer et extraire de la valeur de ces données. Mais l'absence d'un protocole de Data Sharing basé sur des normes a conduit à des Solutions liées à un seul fournisseur ou produit commercial, introduisant des risques de dépendance vis-à-vis d'un fournisseur. Ces défis clients nous ont conduits, chez Databricks, à développer une solution de Data Sharing ouverte, Delta Sharing.

Delta Sharing de Databricks est une solution ouverte pour le partage sécurisé de données en direct, depuis votre lakehouse vers n'importe quelle plateforme informatique. Les destinataires des données ne doivent pas nécessairement se trouver sur la Databricks Lakehouse Platform, sur le même cloud, ni même sur un cloud. Les fournisseurs de données peuvent partager des jeux de données existants à grande échelle aux formats Apache Parquet ou Delta Lake, sans avoir à répliquer ou à copier ces jeux de données sur un autre système. Les destinataires des données bénéficient d'un accès permanent à la dernière version des données avec la possibilité d'interroger, de visualiser, de transformer, d'ingérer ou d'enrichir les données partagées avec les outils de leur choix, réduisant ainsi le temps de valorisation. La gouvernance et la sécurité étant des préoccupations majeures pour de nombreuses organisations, Delta Sharing est intégré en mode natif à Unity Catalog, ce qui vous permet de gérer, de gouverner, d'auditer et de suivre l'utilisation des données partagées sur une seule plateforme.

Depuis le lancement de Delta Sharing en avant-première privée l'année dernière, des centaines de clients ont adopté Delta Sharing et, aujourd'hui, des pétaoctets de données sont partagés via Delta Sharing.

Nasdaq : "Delta Sharing nous a aidés à rationaliser notre processus de livraison de données pour les grands jeux de données. Cela permet à nos clients d'utiliser leur propre environnement compute pour lire des données récentes et organisées avec peu ou pas de travail d'intégration, et nous permet de continuer à élargir notre catalogue de produits de données uniques et de haute qualité" - William Dague, responsable des données alternatives

Shell : "Nous reconnaissons que l'ouverture des données jouera un rôle clé dans l'atteinte des ambitions de neutralité carbone de Shell. Delta Sharing fournit à Shell un protocole standard, contrôlé et sécurisé pour partager facilement de grandes quantités de données avec nos Partenaires afin d'atteindre ces objectifs, sans exiger que nos Partenaires soient sur la même plateforme de partage de données" - Bryce Bartmann, conseiller principal en Technologie digital

SafeGraph : "En tant qu'entreprise de données, il est essentiel de donner à nos clients l'accès à nos ensembles de données. La Databricks Lakehouse Platform avec Delta Sharing simplifie vraiment ce processus, nous permettant d'atteindre en toute sécurité une base d'utilisateurs beaucoup plus large, quel que soit le cloud ou la plateforme" - Felix Cheung, VP, Data Engineering

« Avec Delta Sharing, nos clients ont accès à des ensembles de données sélectionnés presque instantanément et peuvent les intégrer aux outils d'analytique de leur choix. Les discussions avec nos clients s'enrichissent : les débats de haut niveau sur l'analytique remplacent les séances de questions-réponses techniques sur l'ingestion des données et nous permettent d'élaborer des expériences client fructueuses. Nos relations avec nos clients évoluent. Nous nous attachons à livrer de nouveaux ensembles de données et à rafraîchir les précédents via Delta Sharing pour les tenir informés des grandes tendances de leur secteur. » — Anup Segu, Chef des technologies de data engineering

« Grâce aux puissantes capacités du Delta Sharing de Databricks, Pumpjack Dataworks bénéficie d'une expérience d'onboarding plus fluide. Nous n'avons plus besoin d'exporter, importer ou remodéliser les données : pour nos clients, c'est une valeur ajoutée immédiate. Des résultats plus rapides offrent de plus grandes opportunités commerciales à nos clients et à leurs partenaires" - Corey Zwart, Directeur de la technologie

Quelles sont les nouveautés de Delta Sharing avec la GA ?

La version GA de Delta Sharing comprend une multitude de fonctionnalités exceptionnelles. Voici quelques-unes des fonctionnalités clés de cette version :

Partage transparent de Databricks à Databricks

Pour les clients de Databricks, Delta Sharing rend le Data Sharing sur le lakehouse extrêmement simple, efficace et sécurisé. En quelques clics dans l'interface utilisateur ou via des commandes SQL, les fournisseurs de données peuvent facilement partager leurs données existantes avec des destinataires sur Databricks, sans avoir à les répliquer. Par exemple, un fournisseur de données utilisant Databricks sur AWS peut partager des données existantes avec un destinataire utilisant Databricks sur Azure, et vice-versa. Vous pouvez consulter le guide de l'utilisateur pour plus de détails. Dans le cadre du partage de Databricks à Databricks, le fournisseur de données n'a pas besoin de gérer les informations d'identification par jeton pour les destinataires qui utilisent Databricks ; la connexion de partage est établie de manière sécurisée via la plateforme Databricks. Il vous suffit d'un compte Databricks pour vous connecter, et la plateforme s'occupe du reste. En plus du Data Sharing entre comptes, le Data Sharing interne est un autre cas d'utilisation important. Si vous avez plusieurs magasins de métadonnées Unity Catalog sous le même compte dans différentes régions, vous pouvez facilement partager des données entre ces magasins de métadonnées en utilisant Delta Sharing sans copier de données. Exemple de workflow SQL du point de vue d'un fournisseur de données :

Exemple de workflow SQL du point de vue d'un destinataire de données :

Partage du Change Data Feed

Delta Sharing prend désormais en charge le partage de flux de données modifiées (CDF). En plus du partage d'une table, un fournisseur de données peut choisir d'inclure le CDF de la table, ce qui permet aux destinataires de query les modifications entre des versions ou des Timestamps spécifiques de la table. Grâce à cette fonctionnalité, les destinataires peuvent query uniquement les nouvelles données ou les modifications incrémentielles au lieu de la table entière à chaque fois. Un fournisseur de données peut facilement partager une table avec CDF, et un destinataire de données peut query les modifications de la table avec une syntaxe simple :

Fonctionnalités de sécurité améliorées

Dans la version en disponibilité générale (GA) de Delta Sharing, nous avons également un ensemble de fonctionnalités de sécurité pour rendre le partage encore plus sécurisé. L'un de ces exemples de fonctionnalités de sécurité est la liste d'accès IP. Les fournisseurs de données peuvent désormais configurer une liste d'accès IP pour chacun de leurs destinataires utilisant des connecteurs ouverts. Cela garantit que le download des informations d'identification et l'accès aux données ne peuvent être initiés que depuis l'adresse IP cible. Nous avons également ajouté quelques autorisations supplémentaires liées à Delta Sharing (p. ex. CREATE SHARE, CREATE RECIPIENT) et a introduit le concept de propriétaire pour les objets Delta Sharing comme Share et Recipient. Avec ces primitives, Delta Sharing sur Databricks offre un modèle de contrôle d'accès plus flexible, et les utilisateurs non administrateurs peuvent également effectuer des opérations de partage.

Prise en main de Delta Sharing sur Databricks

Regardez la démo ci-dessous pour en savoir plus sur la façon dont Delta Sharing peut vous aider à partager en toute transparence des données en direct de votre lakehouse vers n'importe quelle plateforme informatique.

Si vous êtes déjà client Databricks, suivez le guide pour commencer (AWS | Azure). Lisez les notes de version pour en savoir plus sur le contenu de cette version GA. Si vous n'êtes pas encore client de Databricks, inscrivez-vous pour un Essai gratuit avec un workspace Premium ou Enterprise.