Databricks met fin au verrouillage des formats de table et renforce Unity Catalog avec de nouvelles fonctionnalités pour les utilisateurs métier
June 11, 2025
Unity Catalog devient le catalogue le plus complet pour Apache Iceberg™ et Delta Lake, garantissant une interopérabilité ouverte dotée d’une gouvernance sur l’ensemble des moteurs de calcul, tout en introduisant une sémantique unifiée et une expérience de découverte enrichie pour les utilisateurs métier.
Data + AI Summit, San Francisco (Californie), 11 juin 2025 — Databricks, spécialiste des données et de l'IA, renforce aujourd’hui sa position de leader dans le domaine de la gouvernance unifiée en dévoilant de nouvelles fonctionnalités majeures. Unity Catalog prend désormais en charge l’intégralité des tables Apache Iceberg™, y compris une prise en charge native des API du catalogue Apache Iceberg REST. Unity Catalog est le seul catalogue à permettre à des moteurs externes de lire et écrire sur des tables Iceberg managées, optimisées pour la performance, tout en appliquant une gouvernance fine. Cette avancée supprime toute dépendance à un format propriétaire et permet une interopérabilité fluide et ouverte. Databricks propose également deux nouvelles fonctionnalités conçues pour les utilisateurs métier. Les indicateurs clés de performance (KPIs) et les métriques métier, qui sont au cœur de la gestion des entreprises, peuvent désormais être définis comme des actifs de données de premier ordre grâce à Unity Catalog Metrics. Par ailleurs, la découverte des données et de l’IA est enrichie pour les utilisateurs métier grâce à une marketplace interne et structurée, mettant en avant les données, actifs AI/BI les plus pertinents, organisés par domaine d’activité. Tous ces actifs sont enrichis grâce à l’intelligence des données automatisée, permettant à chaque équipe de trouver, valider et exploiter les bonnes données en toute confiance.
Unity Catalog supprime désormais le besoin de choisir entre les formats
Reposant sur des standards ouverts, Unity Catalog est conçu pour fonctionner avec l’ensemble des formats de tables et des moteurs de calcul. Databricks va aujourd’hui plus loin en lançant, en Public Preview, la prise en charge complète d’Apache Iceberg, unifiant ainsi les écosystèmes Apache Iceberg et Delta Lake autour d’une approche de gouvernance unique.
L’avant-première introduit trois nouvelles capacités. Tout d’abord, les entreprises peuvent désormais créer des tables gérées par Apache Iceberg, que tout moteur compatible avec Iceberg peut lire et écrire via le catalogue d’API Iceberg REST d’Unity Catalog. Ces tables managées bénéficient pleinement de la puissance d’Unity Catalog : des performances budgétaires optimales grâce à l’optimisation prédictive pilotée par l’IA, une gouvernance unifiée et une application des politiques, aussi bien au sein de Databricks qu’avec des moteurs externes tels que Trino, Snowflake, Amazon EMR, etc. Ensuite, les capacités pionnières de Lakehouse Federation d’Unity Catalog permettent un accès transparent aux tables Iceberg gérées dans des catalogues externes, afin qu’elles puissent être découvertes et gouvernées au même titre que les tables natives. Enfin, les tables Iceberg bénéficient de l’ensemble des avantages de l’écosystème Delta Sharing, notamment le partage fluide et sécurisé entre organisations. Grâce à ces fonctionnalités, les silos de données liés aux formats disparaissent, ce qu’aucun autre catalogue du marché ne permet aujourd’hui.
Un fossé croissant entre les plateformes data et les utilisateurs métier
Alors que les plateformes data ont connu des avancées rapides au bénéfice des profils techniques, les équipes métier restent largement déconnectées des systèmes qui alimentent leurs prises de décision. Les équipes techniques structurent leur environnement autour des tables, fichiers, ressources de calcul et lignes de code, tandis que les utilisateurs métier évoluent dans les outils de BI, les chatbots d’IA et se concentrent sur les KPIs et indicateurs de performance propres à leurs domaines d’activité. Cette fracture de langage crée une incertitude car les utilisateurs métier ne savent pas toujours à quelles données se fier et dépendent des équipes techniques pour obtenir des réponses, même aux questions les plus simples. En l’absence d’un socle unifié permettant de contextualiser les données, les organisations font face à des redondances, à une paralysie des décisions et à un écart durable entre les données disponibles et leur mise en action.
Une source unique et cohérente pour les métriques à l’échelle de l’entreprise
Pour répondre à cet enjeu, Unity Catalog Metrics apporte à la plateforme data les définitions des métriques métier, traditionnellement intégrées dans les outils de BI. Cette approche permet d’assurer une compréhension cohérente et précise de la performance de l’entreprise, par l’ensemble des membres de l’organisation. Contrairement aux couches sémantiques propriétaires des outils BI, les métriques d’Unity Catalog sont pleinement interrogeables via SQL, garantissant à tous les utilisateurs une vue unifiée des indicateurs, quel que soit l’outil utilisé. Unity Catalog Metrics est accessible dès aujourd’hui en Public Preview, et sera disponible globalement d’ici la fin de l’été.
Un socle unifié pour contextualiser la donnée : de la découverte guidée aux insights intelligents
Pour rendre les données fiables véritablement exploitables par les utilisateurs métier, Databricks introduit de nouvelles fonctionnalités dans Unity Catalog, combinant une expérience de découverte intuitive à l’intelligence intégrée. La nouvelle interface Discover propose une marketplace interne, organisée par domaine métier (vente, marketing, finance, etc.), regroupant des produits de données certifiés, enrichis de documentations, de métadonnées de gouvernance (propriété, étiquetage) et d’informations sur leur usage. Des recommandations intelligentes automatisées, associées à des outils de curation à destination des data stewards, garantissent que les actifs à forte valeur ajoutée - indicateurs, tableaux de bord, tables, agents IA, espace Genie etc… - puissent être facilement accessibles, compris et soient fiables via un parcours en libre-service sans validation manuelle ni recours aux équipes techniques. Unity Catalog Discover est actuellement disponible en préversion privée.
Unity Catalog intègre désormais une intelligence embarquée à chaque étape de l’expérience utilisateur, en mettant en évidence les indicateurs de qualité des données, les schémas d’usage, les relations entre actifs, ainsi que les statuts de certification ou de dépréciation. Grâce à l’intégration de Databricks Assistant, les utilisateurs peuvent formuler leurs questions en langage naturel et obtenir des réponses contextualisées, basées sur des métriques gouvernées. La recherche de données devient ainsi un véritable parcours guidé, où la donnée devient accessible, intelligible, fiable et immédiatement exploitable.
« Nous avons créé la catégorie de la gouvernance unifiée avec Unity Catalog il y a quatre ans », déclare Matei Zaharia, cofondateur et CTO de Databricks. « Avec ces nouvelles évolutions, Unity Catalog s’impose comme le catalogue de référence pour Apache Iceberg et tous les formats de tables ouverts. C’est aussi le seul à permettre la lecture et l’écriture sur des tables managées depuis des moteurs externes, une avancée décisive vers un catalogue d’entreprise pleinement ouvert. Quel que soit le format de table choisi par nos clients, nous garantissons son accessibilité, son optimisation et sa gouvernance. Et en étendant notre approche aux utilisateurs métier, nous concrétisons pleinement notre ambition de démocratiser la donnée et l’IA à l’échelle de l’entreprise. »
Commentaires de clients et partenaires
« Chez Riskified, nous souhaitons stocker toutes nos données dans un format ouvert et disposer d’un catalogue unique capable de se connecter à l’ensemble de nos outils, » déclare Hen Ben-Hemo, Data Platform Architect chez Riskified. « Unity Catalog nous permet d’écrire des tables Iceberg entièrement ouvertes à tout client Iceberg, ouvrant ainsi l’accès à l’écosystème lakehouse dans son ensemble et pérennisant notre architecture. »
« Unity Catalog Metrics nous offre un espace centralisé pour définir nos KPIs métier et harmoniser la sémantique entre les équipes, garantissant à chacun de travailler avec les mêmes définitions fiables, que ce soit dans les tableaux de bord, en SQL ou dans les applications d’IA. » précise Richard Masters, Vice-président Data & IA chez Virgin Atlantic
« Unity Catalog Metrics représente une belle opportunité pour instaurer cohérence, confiance et contrôle dans la définition et l’utilisation des indicateurs métier chez Zalando. C’est une avancée prometteuse vers des décisions alignées et pilotées par les données, au sein de nos tableaux de bord BI, notebooks et autres outils. » affirme Timur Yuere, Engineering Manager chez Zalando
« Unity Catalog Metrics constitue une formidable opportunité pour les clients Tableau de tirer parti de la gouvernance centralisée offerte par Unity Catalog de Databricks. Grâce à notre intégration poussée et à une feuille de route ambitieuse avec Databricks, nous sommes ravis de pouvoir lever les obstacles à la définition des métriques clés pour nos utilisateurs. » explique Nicolas Brisoux, Sr. Director Product Management chez Tableau.
« Nous sommes ravis de collaborer avec Databricks pour intégrer Unity Catalog Metrics à Sigma. Cela permet aux équipes métier d’accéder directement, depuis leurs tableaux de bord, à des indicateurs fiables et standardisés, et de prendre des décisions sur la base de définitions cohérentes, sans dépendre des équipes data à chaque étape. » commente Dillion Morrison, VP of Product chez Sigma Computing.
Disponibilité
Databricks annonce la mise en Public Preview du support complet d’Apache Iceberg dans Unity Catalog. Unity Catalog Metrics est dès à présent accessible à l’ensemble des clients en Public Preview, avec une disponibilité générale prévue au cours de l’été. Quant à Unity Catalog Discover, il est actuellement proposé en Private Preview.
A propos de Databricks
Databricks est une société spécialisée dans les données et l'IA. Plus de 10 000 organisations dans le monde entier, dont Comcast, Condé Nast, Grammarly et plus de 50 % des entreprises du Fortune 500, font confiance à la Data Intelligence Plateforme de Databricks pour unifier et démocratiser les données, l'analyse et l'IA. Databricks a son siège à San Francisco, avec des bureaux dans le monde entier, et a été fondée par les créateurs originaux de Lakehouse, Apache Spark™, Delta Lake et MLflow. Pour en savoir plus, suivez Databricks sur X, LinkedIn et Facebook.