Unity Catalog conserve vos données dans un stockage qui vous appartient, lisibles et scriptables depuis des moteurs externes, et désormais libres d'être déplacées entre catalogues sans copier de données.
par Elizabeth Bowman
Bien que presque toutes les plateformes prennent aujourd'hui en charge les formats ouverts, qu'est-ce qui rend un catalogue vraiment ouvert ? Un catalogue ouvert conserve vos données dans un stockage qui vous appartient, vous y offre les meilleures fonctionnalités et prend en charge la portabilité des données : la capacité de déplacer vos tables vers un autre catalogue tout en conservant les données sur place. La portabilité est un principe fondamental d'un lakehouse ouvert, et c'est là que la plupart des catalogues échouent.
En tant que premier catalogue à prendre en charge à la fois REGISTER et UNREGISTER de la spécification de catalogue REST Apache Iceberg™, Unity Catalog dans l'Open Lakehouse de Databricks élargit la définition d'un catalogue ouvert : vos tables Iceberg existantes peuvent être entrées ou sorties sans aucun déplacement de données. Databricks a contribué UNREGISTER à la spécification du catalogue REST Iceberg, en faisant une norme ouverte. Lisez Unlocking Data Portability.
Cet article présente les trois exigences d'un catalogue ouvert, la façon dont Unity Catalog répond à chacune d'elles, et compare ce qui arrive à une même table Iceberg sur différentes plateformes.
Le degré d'ouverture d'un lakehouse dépend du catalogue. De nombreux fournisseurs utilisent encore un format propriétaire pour le type de table principal de leur catalogue, il est donc important de prêter attention aux formats. Au-delà de cela, cependant, un catalogue ouvert doit également répondre à trois exigences :

| Exigence d'un catalogue ouvert | Ce que cela signifie | Ce qui se passe sans cela |
|---|---|---|
| 1. Un stockage qui vous appartient | Les tables résident dans un stockage appartenant au client plutôt que dans un stockage géré (c'est-à-dire un « stockage contrôlé par le fournisseur ») | Le bucket se trouve dans le compte cloud du fournisseur, pas le vôtre. Le stockage est facturé par l'intermédiaire du fournisseur, vous payez donc un « loyer » de stockage, et le fournisseur vous facturera en plus la sortie des données. |
| 2. Les meilleures fonctionnalités incluses | Les optimisations automatiques et toutes les fonctionnalités avancées de table fonctionnent sur les tables stockées dans un stockage appartenant au client, et pas seulement sur celles contrôlées par le fournisseur | Les équipes déplacent les tables vers un stockage contrôlé par le fournisseur pour bénéficier de fonctionnalités dont l'option propriétaire du client manque. Dès lors, la feuille de route du fournisseur décide de ce que vous pouvez faire de vos données. |
| 3. Liberté de déplacement sans copie | Les tables peuvent entrer et sortir du catalogue à l'aide de REGISTER et UNREGISTER, les données restant en place | Changer de catalogue implique d'exporter et de réécrire chaque table pour la faire sortir du stockage contrôlé par le fournisseur. |
La plupart des plateformes de données prennent en charge les formats de table ouverts comme Apache Iceberg. Cependant, lorsque ces tables résident dans des buckets appartenant au fournisseur, vos tables ne sont plus ouvertes. Cela rend le format ouvert seulement de nom : vous ne pouvez pas voir les fichiers dans votre propre compte cloud, le stockage est facturé par le fournisseur, et partir signifie devoir copier chaque table au préalable.
Unity Catalog adopte l'approche inverse. Dans Databricks, « gérée » décrit qui maintient une table, et non qui possède son stockage. Le catalogue gère l'optimisation, la maintenance et les mises à niveau, tandis que les fichiers restent dans un compte de stockage cloud qui vous appartient, et non dans le stockage propriétaire que d'autres plateformes appliquent souvent au « stockage géré ». Dans Databricks, 99 % des tables gérées UC se trouvent dans un stockage appartenant au client. Sur les plateformes conçues autour d'un stockage contrôlé par le fournisseur, c'est l'inverse : presque toutes leurs tables résident dans un stockage contrôlé par le fournisseur et sont verrouillées par défaut dans un format propriétaire. La différence apparaît le jour où vous décidez de quitter un catalogue.
Être propriétaire de votre stockage n'a d'importance que si le catalogue traite ces tables comme des éléments de premier ordre. Certaines plateformes proposent une option de stockage appartenant au client, mais réservent leurs meilleures capacités aux tables résidant dans le stockage géré qu'elles contrôlent, créant ainsi une illusion d'ouverture. La voie ouverte existe, mais elle comporte moins de fonctionnalités, de sorte que la plupart des tables finiraient de toute façon dans le stockage géré du fournisseur.
Avec les tables gérées Unity Catalog, les meilleures fonctionnalités sont prises en charge pour l'option de stockage appartenant au client (« apportez votre propre stockage »), tandis que d'autres plateformes présentent des limitations :
Les optimisations automatiques des tables gérées Unity Catalog nous ont fait économiser plus d'un million de dollars par an en coûts de stockage, tout en éliminant le besoin d'efforts manuels fastidieux au quotidien. - Abhinav Raghuvanshi, directeur associé de l'ingénierie des données, Zepto
Le test le plus important pour savoir si un catalogue est ouvert est la portabilité : savoir si vous pouvez quitter facilement le catalogue à tout moment en déplaçant des tables entre catalogues sans avoir à en copier les données.
Jusqu'à récemment, l'écosystème ne disposait pas d'un moyen standard de libérer une table de la gestion d'un catalogue. Par conséquent, Databricks a contribué UNREGISTER à la spécification de catalogue REST Apache Iceberg, ce qui donne aux clients la liberté de partir sans avoir à copier, déplacer ou réécrire de fichiers de données.
Dans Unity Catalog, REGISTER et UNREGISTER fonctionnent en binôme :
C'est possible parce que les tables gérées Unity Catalog résident dans un stockage qui vous appartient. La désinscription (Unregistering) n'est pas possible avec un stockage contrôlé par le fournisseur car l'API de sortie ne peut pas vous fournir un pointeur vers des fichiers que vous ne pouvez pas emporter avec vous.
Les tables gérées Unity Catalog sont entièrement portables et ouvertes sans verrouillage : vous conservez le contrôle de vos propres données.
Pour commencer dans Databricks, contactez votre équipe de compte pour obtenir l'accès à REGISTER et UNREGISTER (en Private Preview). Avec REGISTER et UNREGISTER, vos tables Iceberg sont transférées vers Unity Catalog sans aucune copie de données dans Databricks, restent entièrement ouvertes dans votre propre stockage et bénéficient de tous les avantages de Unity Catalog et de Predictive Optimization :
Pour en savoir plus, lisez Unlocking Data Portability. Consultez la documentation des tables gérées Unity Catalog pour plus de détails sur l'utilisation des tables gérées Unity Catalog, qui existent dans un stockage appartenant au client.
À l'avenir, nous prévoyons de prendre en charge la conversion des tables étrangères ou des tables externes dans Databricks en tables gérées à l'aide de SET MANAGED IN PLACE. Cela vous permettrait de conserver le même chemin de stockage défini par le client qu'auparavant et ne nécessite aucun déplacement de données.
Oui. Unity Catalog est open source et répond aux trois exigences d'un catalogue ouvert. Ses tables gérées, dans Apache Iceberg ou Delta Lake, résident dans un compte de stockage cloud vous appartenant, y bénéficient de toutes les fonctionnalités et peuvent être déplacées vers un autre catalogue sans copier de données grâce à REGISTER et UNREGISTER. Plus important encore, les tables gérées de Unity Catalog se trouvent dans un stockage appartenant au client, ainsi UNREGISTER dans Databricks offre une portabilité du catalogue sans déplacement de données du côté de Unity Catalog. L'accès en lecture et en écriture pour gérer les tables est également pris en charge via les API ouvertes Unity Catalog et Iceberg REST Catalog.
Pas à elle seule. Une table Iceberg stockée chez un fournisseur peut être aussi difficile à déplacer qu'une table propriétaire, et une table Iceberg dans votre propre stockage peut disposer de moins de fonctionnalités. Pour éviter le verrouillage, vous devez aussi posséder votre stockage, bénéficier de toutes les fonctionnalités sur ces tables et utiliser un catalogue qui prend en charge un transfert fluide et sans copie.
Dans Unity Catalog, le terme "géré" indique qui entretient une table, et non qui possède son stockage. Les tables gérées de Unity Catalog sont optimisées et entretenues par le catalogue, et leurs fichiers résident dans un compte de stockage cloud vous appartenant. Sur d'autres plateformes, "stockage géré" désigne un stockage que le fournisseur possède et contrôle, et pas seulement qu'il optimise.
Oui. Avec UNREGISTER, vous pouvez retirer une table de Unity Catalog et l'enregistrer dans un autre catalogue Iceberg REST, sans copier les fichiers de données.
Dans Unity Catalog, le terme "géré" indique qui entretient une table, et non qui possède son stockage. Les tables gérées de Unity Catalog sont optimisées et entretenues par le catalogue, mais leurs fichiers résident dans un compte de stockage cloud vous appartenant. Sur d'autres plateformes, "stockage géré" désigne un stockage que le fournisseur possède et conserve souvent dans des formats de table propriétaires.
Les tables Iceberg externes sont en lecture seule dans Databricks car un autre catalogue gère leurs commits, ce qui empêche deux catalogues d'écrire dans la même table. Pour que Unity Catalog gère la table dans un stockage appartenant au client, enregistrez-la dans Unity Catalog avec REGISTER. Vous pouvez également convertir des tables externes en tables gérées Unity Catalog dans un stockage appartenant au client à l'aide de SET MANAGED.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.