Une expérience agentique au niveau du compte pour surveiller et améliorer la gouvernance de votre environnement Databricks à grande échelle, en commençant par des insights et des recommandations sur les données, l'AI et les coûts.
par Sadhana Bala, Kristen Wilder et Jodi Boone
Votre responsable FinOps doit pouvoir analyser facilement les dépenses Databricks et identifier les facteurs de coûts, sans avoir à gérer des dizaines de requêtes et de tableaux de bord. Votre équipe de gouvernance des données a développé ses propres outils pour suivre la couverture de classification, et ils sont déjà obsolètes. Votre équipe de déploiement AI doit comprendre quels modèles et agents sont utilisés par les développeurs.
Ce sont des conversations que nous avons entendues maintes et maintes fois de la part de nos clients. Les équipes chargées de gouverner l'environnement Databricks sur des centaines d'espaces de travail et plusieurs régions ne peuvent souvent pas accéder aux informations dont elles ont besoin. Et lorsqu'elles le peuvent, les données sont dispersées dans des tables système, des vues au niveau de l'espace de travail et des outils tiers. C'est là que Governance Hub intervient. Il s'agit d'une vue centralisée au niveau du compte sur la santé des données, l'utilisation de l'AI et les coûts, avec des recommandations prioritaires, sur AWS, Azure et GCP. Désormais disponible en version Beta.

Conçu pour les équipes qui en ont le plus besoin. Governance Hub est conçu pour les équipes de plateforme et de gouvernance responsables de la gouvernance sur l'ensemble de leur domaine, leur donnant la possibilité d'analyser ce qui compte sans être limitées par un seul espace de travail. Il aide également les administrateurs qui doivent superviser le compte, déléguer et maintenir la conformité de l'organisation sans devenir un goulot d'étranglement.
Avant Governance Hub, pour savoir quelles tables manquaient de tags, de propriétaire ou de documentation, il fallait interroger vous-même les tables système, ou le découvrir à vos dépens lors du blocage d'un audit ou d'une demande d'accès. Désormais, la page Data vous montre en un coup d'œil : le nombre d'actifs dont vous disposez, le pourcentage de ceux qui sont taggués, attribués et classés, et ceux qui prennent du retard. Le véritable intérêt réside dans les analyses détaillées. Cliquez sur l'inventaire des actifs pour voir exactement quelles tables et quels schémas manquent de tags ou de descriptions obligatoires, et par quoi commencer pour combler ces lacunes. Cliquez sur la qualité des données pour faire apparaître les metastores défaillants ou non documentés. Gérez les tags gouvernés : créez des politiques, modifiez les valeurs, accordez des autorisations, le tout sans quitter la page.

Répondre à la question "Qu'est-ce que cet utilisateur peut réellement interroger ?" nécessitait auparavant d'unir des données provenant d'une douzaine de sources, de résoudre manuellement les appartenances aux groupes et de retracer la propriété sur des objets sécurisables individuels. À mesure que votre compte s'agrandit, il devient à la fois beaucoup plus difficile et beaucoup plus important de répondre à cette question.
Access Insights remplace cela par une vue unique centrée sur le principal. Sélectionnez n'importe quel utilisateur, groupe ou principal de service pour voir tout ce à quoi il peut accéder sur votre compte, y compris les autorisations directes, les accès hérités via l'appartenance à un groupe et les objets dont il est propriétaire.
Filtrez par catalogue ou par privilège pour répondre à des questions concrètes en quelques secondes : comprenez pourquoi un utilisateur final peut ou ne peut pas accéder à une table, examinez les accès d'un groupe avant d'intégrer un prestataire, auditez ce à quoi un principal de service peut accéder, ou identifiez tout ce qu'un employé sur le départ possède avant son départ.
Les insights d'accès dans Governance Hub vous aident à répondre à ces questions et bien plus encore, via une interface unique.
L'adoption de l'AI s'accélère, tout comme la question de savoir comment elle est réellement utilisée au sein de l'organisation. Unity AI Gateway fournit un panneau de gouvernance unique pour gérer l'utilisation, l'accès et les coûts pour l'ensemble des modèles, agents, outils et MCP. Que votre organisation utilise des modèles hébergés par Databricks ou des modèles hébergés en externe, AI Gateway offre une gouvernance unifiée pour l'ensemble de votre trafic AI.
Le volet AI de Governance Hub offre une observabilité détaillée du trafic transitant par Unity AI Gateway. La page AI suit la consommation de jetons, l'activité des modèles, les dépenses par utilisateur et la couverture des garde-fous en un seul endroit. Découvrez quels modèles sont les plus actifs, quels utilisateurs génèrent des coûts et si vos budgets AI sont respectés. Lorsqu'un utilisateur dépasse son seuil, cela est immédiatement signalé.

La page Cost vous indique vos dépenses sur 30 jours, depuis le début du mois et la moyenne quotidienne, chacune comparée à la période précédente. Mais l'un des indicateurs les plus précieux est la dépense tagguée : quel pourcentage de vos coûts est réellement attribué ? En cliquant dessus, Governance Hub filtre automatiquement les ressources non tagguées, faisant ainsi apparaître les dépenses invisibles pour vos processus de refacturation et de budgétisation.
Depuis n'importe quelle tuile, ouvrez l'Explorer pour segmenter par produit, espace de travail, ressource ou tag. Passez d'un KPI de haut niveau aux détails précis : les principaux jobs, clusters, endpoints et warehouses de votre espace de travail, en deux clics.

Governance Hub est intégré à Genie, ce qui vous permet d'aller au-delà des vues prédéfinies et des tableaux de bord statiques. Posez des questions telles que "Pourquoi y a-t-il eu un pic de coûts ?" ou "Montre-moi les tables contenant des données sensibles qui n'ont pas de politique de masquage", et obtenez des réponses et des recommandations basées sur vos données de gouvernance réelles. Aucun SQL requis. Bientôt, Genie sera même capable de prendre des mesures pour vous : configurer des politiques, configurer des alertes et mettre en œuvre des recommandations.
Genie comprend le contexte de chaque volet (Data, AI et Cost). Ainsi, que vous enquêtiez sur un pic d'utilisation de jetons ou que vous recherchiez des actifs non classés, vous pouvez obtenir la réponse en quelques secondes au lieu d'écrire des requêtes.

Un administrateur de compte peut activer Governance Hub depuis la page Previews de la console de compte. Les administrateurs de compte bénéficient d'un accès complet ; les administrateurs d'espace de travail voient Cost et AI pour leurs espaces de travail ; les administrateurs de metastore voient Data pour leurs metastores. Governance Hub respecte les autorisations existantes : aucun nouveau contrôle d'accès à configurer.
Ce n'est que le début. Les fonctionnalités à venir incluent des insights sur les performances, la sécurité, des recommandations exploitables qui peuvent être déléguées, et des capacités agentiques pour une gouvernance à grande échelle.
Activez Governance Hub dans votre console de compte dès aujourd'hui
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.