découverte des données unifiée avec un contexte métier dans Unity Catalog

La découverte des données repose sur le contexte métier

À mesure que les patrimoines de données s'agrandissent, de nombreuses organisations sont confrontées à un défi fondamental : aider les utilisateurs à trouver les bonnes données et à décider de les utiliser ou non. Les équipes se retrouvent bloquées, car elles ne peuvent pas répondre avec certitude à des questions fondamentales : ces données existent-elles ? Où se trouvent-elles ? Quelles données dois-je utiliser ? Que signifient-elles ? Sont-elles fiables ? Et comment puis-je y accéder ?

En pratique, la découverte est fragmentée. Les données sont organisées autour de sources et de systèmes de production, tandis que la signification métier se trouve ailleurs, dans les tableaux de bord, les documents, les wikis ou les connaissances institutionnelles. Les signaux de confiance et les flux de travail d'accès sont souvent déconnectés des endroits où les gens recherchent réellement des données.

Lorsque la découverte manque de contexte métier, les utilisateurs perdent du temps à chercher ou à dupliquer leur travail, les stewards de données deviennent des goulots d'étranglement et l'adoption stagne, même lorsque les bonnes données existent déjà.

Une expérience de découverte unifiée et intelligente pour l'ensemble des données et des assets d'IA

Aujourd'hui, Databricks présente une nouvelle expérience Discover, désormais disponible en version bêta et directement intégrée à Unity Catalog. La page Discover remplace la découverte fragmentée et spécifique à chaque outil par un moyen unique et organisé de trouver et de comprendre les ressources de données, d'analytique et d'IA. Au lieu de chercher dans plusieurs outils ou de deviner quel dataset utiliser, les utilisateurs peuvent trouver des assets pertinents et fiables en un seul endroit.

Unity Catalog active l'intelligence des données pour la découverte :

• La signification métier est intégrée directement dans le catalogue grâce aux Domaines (regroupements d'assets alignés sur l'activité) et aux métadonnées régies, afin que les utilisateurs comprennent ce que les données représentent, et pas seulement où elles se trouvent.
• Les certifications et les dépréciations font apparaître des signaux de confiance et de qualité à côté des assets, aidant ainsi les équipes à se concentrer sur les données les plus importantes.
• L'intelligence des données native de la plateforme utilise des signaux tels que l'utilisation, le lignage et la propriété pour fournir un contexte sur la manière dont les actifs sont utilisés et qui en est responsable
• Les workflows intégrés de demande d'accès permettent aux utilisateurs de passer de la découverte à l'action sans quitter l'expérience.

La page Discover couvre l'ensemble de votre lakehouse, des données structurées et non structurées aux tableaux de bord, métriques, Notebooks, applications et assets d'IA comme les Genie spaces, le tout présenté via une expérience unique et gouvernée.

Domaines : organiser la découverte en fonction du fonctionnement de l'entreprise

Les Domaines, désormais en version bêta, fournissent la base d'une découverte alignée sur les besoins métier.

Plutôt que de forcer les assets dans des hiérarchies techniques rigides, les domaines organisent les assets de données et analytique par unité commerciale ou cas d'utilisation, comme la finance, le marketing ou la télémétrie client. Fait important, les assets peuvent apparaître dans plusieurs Domaines. Cela élimine les compromis des structures de dossiers traditionnelles, où les équipes doivent décider à quelle hiérarchie unique un asset appartient.

Les Domaines combinent l'intelligence des métadonnées avec le contrôle humain :

• Les assets populaires et fréquemment utilisés sont automatiquement mis en avant
• Les gestionnaires peuvent épingler les actifs prioritaires ou récemment publiés afin de faciliter la recherche des jeux de données et des tableaux de bord les plus importants.
• Les assets peuvent être organisés dans plusieurs Domaines sans duplication

Les Domaines permettent également aux responsables de :

• Organiser les assets pertinents dans les domaines des données et de l'analytique
• Personnaliser l'expérience de navigation sur chaque page de Domaine
• Ajoutez des descriptions riches et désignez des propriétaires techniques et métier

Pour les utilisateurs, cela signifie que la découverte est intuitive et adaptée à leur travail. Pour les organisations, cela signifie que le contexte métier est encodé de manière flexible dans le catalogue sans imposer de hiérarchies rigides.

Signaux d'IA guidés par l'expertise humaine avec une curation intelligente

Notre expérience de la page Discover s'appuie sur les fonctionnalités existantes de Unity Catalog, combinant des signaux basés sur l'IA, tels que l'utilisation et la popularité, avec une curation humaine via les certifications et le balisage de dépréciation.

Les certifications agissent comme des signaux de confiance clairs, aidant les utilisateurs à identifier rapidement quels assets sont des sources de référence recommandées et approuvées. Les recommandations basées sur l'IA aident ensuite à faire remonter les assets pertinents et de grande valeur sans surcharger les utilisateurs.

La page Discover permet également aux stewards de données de créer des sections personnalisées pour mettre en évidence les assets clés sur la page Discover et sur les pages de Domaine individuelles. Cela peut guider les utilisateurs qui ne sont pas familiers avec le paysage des données de l'organisation vers les données et l'insight. 

Confiance et accès intégrés directement à la découverte

La découverte n'est utile que si les utilisateurs peuvent agir sur ce qu'ils trouvent. La page Découverte repose sur le modèle d'autorisations d'Unity Catalog, permettant aux organisations d'accorder un large accès aux métadonnées via Parcourir, tout en appliquant des contrôles d'accès pour l'interrogation des données sous-jacentes. Les utilisateurs peuvent comprendre la finalité, la qualité et la propriété d'un asset, puis demander l'accès directement lorsqu'ils sont prêts à l'utiliser.

En intégrant les workflows d'accès à la découverte, les équipes réduisent les approbations manuelles, raccourcissent le délai d'obtention d'insight et montent en charge la gouvernance sans que les stewards de données ne deviennent des goulots d'étranglement.

Démarrer

La page Discover et les Domaines sont désormais en version bêta sur AWS, Azure Databricks et GCP. Ils sont conçus pour les entreprises disposant de données distribuées, d'équipes orientées domaine et de plateformes de données servant à la fois des utilisateurs techniques et métier. Nous vous invitons à vous inscrire à la version bêta et à nous faire part de vos commentaires pour nous aider à définir la feuille de route. Consultez notre démo pour voir comment cela fonctionne en pratique ! 

Pour en savoir plus sur la manière dont Unity Catalog garantit que vos données, modèles, agents et applications sont détectables, gouvernés et sécurisés, visitez notre site web. 

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original