Annonce de la disponibilité générale de la gouvernance des données multi-cloud

Nous sommes ravis d'annoncer que la possibilité d'accéder aux données AWS S3 sur Azure Databricks via Unity Catalog pour activer la gouvernance des données multi-cloud est désormais généralement disponible. En tant qu'unique solution de gouvernance unifiée et ouverte du secteur pour tous les actifs de données et d'IA, Unity Catalog permet aux organisations de gouverner les données où qu'elles se trouvent, garantissant ainsi la sécurité, la conformité et l'interopérabilité entre les clouds. Avec cette version, les équipes peuvent directement configurer et interroger les données AWS S3 depuis Azure Databricks sans avoir besoin de migrer ou de copier les jeux de données. Cela facilite la standardisation des politiques, des contrôles d'accès et de l'audit sur les stockages ADLS et S3.

Dans ce blog, nous aborderons deux sujets clés :

• Comment Unity Catalog permet la gouvernance des données multi-cloud
• Comment accéder aux données AWS S3 et travailler avec elles depuis Azure Databricks

Qu'est-ce que la gouvernance des données multi-cloud sur Unity Catalog ?

À mesure que les entreprises adoptent des architectures hybrides et multi-cloud, elles sont souvent confrontées à des contrôles d'accès fragmentés, des politiques de sécurité incohérentes et des processus de gouvernance dupliqués. Cette complexité augmente les risques, fait grimper les coûts opérationnels et ralentit l'innovation.

La gouvernance des données multi-cloud avec Unity Catalog simplifie cela en étendant un modèle d'autorisation unique, une application centralisée des politiques et un audit complet à l'ensemble des données stockées dans plusieurs clouds, tels que AWS S3 et Azure Data Lake Storage, le tout géré depuis la plateforme Databricks.

Les principaux avantages de la gouvernance des données multi-cloud sur Unity Catalog incluent :

• Gouvernance unifiée – Gérez les politiques d'accès, les contrôles de sécurité et les normes de conformité depuis un seul endroit sans jongler avec des systèmes cloisonnés
• Accès fluide aux données – Découvrez, interrogez et analysez les données en toute sécurité sur plusieurs clouds dans un espace de travail unique, éliminant ainsi les silos et réduisant la complexité
• Sécurité et conformité renforcées – Bénéficiez d'une visibilité centralisée, du marquage (tagging), du lignage (lineage), de la classification des données et de l'audit sur l'ensemble de vos stockages cloud

En unifiant la gouvernance entre les clouds, Unity Catalog offre aux équipes une interface unique et sécurisée pour gérer et maximiser la valeur de tous leurs actifs de données et d'IA, où qu'ils se trouvent.

Comment ça marche

Auparavant, lors de l'utilisation d'Azure Databricks, Unity Catalog ne prenait en charge que les emplacements de stockage au sein d'ADLS. Cela signifiait que si vous aviez des données stockées dans un compartiment AWS S3 mais deviez y accéder et les traiter avec Unity Catalog sur Azure Databricks, l'approche traditionnelle nécessitait d'extraire, transformer et charger (ETL) ces données dans un conteneur ADLS — un processus à la fois coûteux et fastidieux. Cela augmentait également le risque de conserver des copies de données dupliquées et obsolètes.

Avec cette version GA, vous pouvez désormais configurer un emplacement S3 externe multi-cloud directement depuis Unity Catalog sur Azure Databricks. Cela vous permet de lire et de gouverner vos données S3 de manière fluide, sans migration ni duplication.

Vous pouvez configurer l'accès à votre compartiment AWS S3 en quelques étapes simples :

1. Configurez vos identifiants de stockage et créez un emplacement externe. Une fois vos ressources AWS IAM et S3 provisionnées, vous pouvez créer vos identifiants de stockage et votre emplacement externe directement dans le Catalog Explorer d'Azure Databricks.
   • Pour créer vos identifiants de stockage, accédez à Credentials dans le Catalog Explorer. Sélectionnez AWS IAM Role (Read-only), renseignez les champs requis et ajoutez l'extrait de politique de confiance lorsque vous y êtes invité.​
   • Pour créer un emplacement externe, accédez à External locations dans le Catalog Explorer. Ensuite, sélectionnez l'identifiant que vous venez de configurer et complétez les détails restants.
2. Appliquez les autorisations. Sur la page Credentials dans le Catalog Explorer, vous pouvez désormais voir vos données ADLS et S3 réunies au même endroit dans Azure Databricks. De là, vous pouvez appliquer des autorisations cohérentes sur les deux systèmes de stockage.

3. Commencez à interroger ! Vous êtes prêt à interroger vos données S3 directement depuis votre espace de travail Azure Databricks.

Qu'est-ce qui est pris en charge dans la version GA ?

Avec la GA, nous prenons désormais en charge l'accès aux tables et volumes externes dans S3 depuis Azure Databricks. Plus précisément, les fonctionnalités suivantes sont désormais prises en charge en lecture seule :

• Identifiants de stockage de rôle AWS IAM
• Emplacements externes S3
• Tables externes S3
• Volumes externes S3
• Accès S3 dbutils.fs
• Partage Delta (Delta Sharing) des données S3 depuis UC sur Azure

Premiers pas

Pour essayer la gouvernance des données multi-cloud sur Azure Databricks, consultez notre documentation sur la configuration des identifiants de stockage pour les rôles IAM pour le stockage S3 sur Azure Databricks. Il est important de noter que votre fournisseur de cloud peut facturer des frais pour l'accès aux données externes à ses services cloud. Pour commencer à utiliser Unity Catalog, suivez notre guide Unity Catalog pour Azure.

Rejoignez l'équipe produit et ingénierie de Unity Catalog au Data + AI Summit, du 9 au 12 juin au Moscone Center à San Francisco ! Découvrez en avant-première les dernières innovations en matière de gouvernance des données et de l'IA. Inscrivez-vous dès maintenant pour réserver votre place !

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original