Revenir au contenu principal
Plateforme

Qu'est-ce qui rend un catalogue ouvert ? Unity Catalog fait évoluer le Lakehouse ouvert

Unity Catalog conserve vos données dans un stockage qui vous appartient, lisibles et scriptables depuis des moteurs externes, et désormais libres d'être déplacées entre catalogues sans copier de données.

par Elizabeth Bowman

  • Stockage appartenant au client : Contrairement aux autres plateformes proposant des tables natives dans un stockage géré, les tables gérées Unity Catalog situées dans un stockage appartenant au client permettent la portabilité sans copie de données.
  • Unity Catalog est le catalogue le plus ouvert : En tant que premier catalogue à prendre en charge la spécification du catalogue REST d'Apache Iceberg pour REGISTER et UNREGISTER, Unity Catalog vous permet de déplacer des tables entre catalogues sans duplication de données.
  • Les meilleures fonctionnalités disponibles sur les tables que vous détenez : Les catalogues ouverts comme Unity Catalog offrent toutes les fonctionnalités avancées de table sur les tables figurant dans votre stockage, et pas uniquement sur les tables qu'un fournisseur stocke pour vous.

Bien que presque toutes les plateformes prennent aujourd'hui en charge les formats ouverts, qu'est-ce qui rend un catalogue vraiment ouvert ? Un catalogue ouvert conserve vos données dans un stockage qui vous appartient, vous y offre les meilleures fonctionnalités et prend en charge la portabilité des données : la capacité de déplacer vos tables vers un autre catalogue tout en conservant les données sur place. La portabilité est un principe fondamental d'un lakehouse ouvert, et c'est là que la plupart des catalogues échouent.

En tant que premier catalogue à prendre en charge à la fois REGISTER et UNREGISTER de la spécification de catalogue REST Apache Iceberg™, Unity Catalog dans l'Open Lakehouse de Databricks élargit la définition d'un catalogue ouvert : vos tables Iceberg existantes peuvent être entrées ou sorties sans aucun déplacement de données. Databricks a contribué UNREGISTER à la spécification du catalogue REST Iceberg, en faisant une norme ouverte. Lisez Unlocking Data Portability.

Cet article présente les trois exigences d'un catalogue ouvert, la façon dont Unity Catalog répond à chacune d'elles, et compare ce qui arrive à une même table Iceberg sur différentes plateformes.

Au-delà des formats ouverts : les trois exigences d'un catalogue ouvert

Le degré d'ouverture d'un lakehouse dépend du catalogue. De nombreux fournisseurs utilisent encore un format propriétaire pour le type de table principal de leur catalogue, il est donc important de prêter attention aux formats. Au-delà de cela, cependant, un catalogue ouvert doit également répondre à trois exigences :

image2.png

Exigence d'un catalogue ouvertCe que cela signifieCe qui se passe sans cela
1. Un stockage qui vous appartientLes tables résident dans un stockage appartenant au client plutôt que dans un stockage géré (c'est-à-dire un « stockage contrôlé par le fournisseur »)Le bucket se trouve dans le compte cloud du fournisseur, pas le vôtre. Le stockage est facturé par l'intermédiaire du fournisseur, vous payez donc un « loyer » de stockage, et le fournisseur vous facturera en plus la sortie des données.
2. Les meilleures fonctionnalités inclusesLes optimisations automatiques et toutes les fonctionnalités avancées de table fonctionnent sur les tables stockées dans un stockage appartenant au client, et pas seulement sur celles contrôlées par le fournisseur

Les équipes déplacent les tables vers un stockage contrôlé par le fournisseur pour bénéficier

de fonctionnalités dont l'option propriétaire du client manque. Dès lors, la feuille de route du fournisseur décide de ce que vous pouvez faire de vos données.

3. Liberté de déplacement sans copieLes tables peuvent entrer et sortir du catalogue à l'aide de REGISTER et UNREGISTER, les données restant en place

Changer de catalogue implique d'exporter et de réécrire chaque

table pour la faire sortir du stockage contrôlé par le fournisseur.

[1] Stockage appartenant au client pour les tables gérées Unity Catalog et chaque type de table

La plupart des plateformes de données prennent en charge les formats de table ouverts comme Apache Iceberg. Cependant, lorsque ces tables résident dans des buckets appartenant au fournisseur, vos tables ne sont plus ouvertes. Cela rend le format ouvert seulement de nom : vous ne pouvez pas voir les fichiers dans votre propre compte cloud, le stockage est facturé par le fournisseur, et partir signifie devoir copier chaque table au préalable.

Unity Catalog adopte l'approche inverse. Dans Databricks, « gérée » décrit qui maintient une table, et non qui possède son stockage. Le catalogue gère l'optimisation, la maintenance et les mises à niveau, tandis que les fichiers restent dans un compte de stockage cloud qui vous appartient, et non dans le stockage propriétaire que d'autres plateformes appliquent souvent au « stockage géré ». Dans Databricks, 99 % des tables gérées UC se trouvent dans un stockage appartenant au client. Sur les plateformes conçues autour d'un stockage contrôlé par le fournisseur, c'est l'inverse : presque toutes leurs tables résident dans un stockage contrôlé par le fournisseur et sont verrouillées par défaut dans un format propriétaire. La différence apparaît le jour où vous décidez de quitter un catalogue.

[2] Les meilleures fonctionnalités doivent fonctionner sur les tables qui vous appartiennent

Être propriétaire de votre stockage n'a d'importance que si le catalogue traite ces tables comme des éléments de premier ordre. Certaines plateformes proposent une option de stockage appartenant au client, mais réservent leurs meilleures capacités aux tables résidant dans le stockage géré qu'elles contrôlent, créant ainsi une illusion d'ouverture. La voie ouverte existe, mais elle comporte moins de fonctionnalités, de sorte que la plupart des tables finiraient de toute façon dans le stockage géré du fournisseur.

Avec les tables gérées Unity Catalog, les meilleures fonctionnalités sont prises en charge pour l'option de stockage appartenant au client (« apportez votre propre stockage »), tandis que d'autres plateformes présentent des limitations :

  • Protection des données sans échec (Fail-safe). Snowflake et d'autres plateformes réservent la récupération de secours (fail-safe) aux tables stockées dans leur propre stockage. En revanche, les tables gérées Unity Catalog dans un stockage appartenant au client prennent en charge la récupération de données : vous pouvez interroger des versions antérieures ou restaurer des tables supprimées pendant une durée maximale de 30 jours.
  • Optimisations automatiques. Dans Snowflake, le compactage des données est plus coûteux dans le stockage contrôlé par le fournisseur. Pour d'autres plateformes, la maintenance des tables et V-order s'appliquent aux tables stockées dans un stockage appartenant au client, plutôt qu'aux données accessibles via des raccourcis. L'option Predictive Optimization de Databricks s'exécute sur les tables gérées Unity Catalog aux formats Delta et Iceberg dans un stockage appartenant au client.
  • Coûts de stockage. Snowflake ne supprime pas les fichiers orphelins des tables Iceberg situées dans votre propre bucket, tels que les fichiers laissés par des écritures échouées, ce qui signifie que vous continuez à payer pour des fichiers qu'aucune table n'utilise. Sur les tables gérées Unity Catalog en revanche, Predictive Optimization supprime automatiquement les fichiers non référencés de votre bucket, ce qui vous fait faire des économies.
Les optimisations automatiques des tables gérées Unity Catalog nous ont fait économiser plus d'un million de dollars par an en coûts de stockage, tout en éliminant le besoin d'efforts manuels fastidieux au quotidien. - Abhinav Raghuvanshi, directeur associé de l'ingénierie des données, Zepto

[3] Les catalogues ouverts offrent la portabilité des données : Unity Catalog le fait sans copie de données

Le test le plus important pour savoir si un catalogue est ouvert est la portabilité : savoir si vous pouvez quitter facilement le catalogue à tout moment en déplaçant des tables entre catalogues sans avoir à en copier les données.

Jusqu'à récemment, l'écosystème ne disposait pas d'un moyen standard de libérer une table de la gestion d'un catalogue. Par conséquent, Databricks a contribué UNREGISTER à la spécification de catalogue REST Apache Iceberg, ce qui donne aux clients la liberté de partir sans avoir à copier, déplacer ou réécrire de fichiers de données.

Dans Unity Catalog, REGISTER et UNREGISTER fonctionnent en binôme :

  • UNREGISTER supprime une table de Unity Catalog et renvoie l'emplacement des métadonnées le plus récent de la table, le pointeur exact dont le catalogue suivant a besoin pour prendre en charge les commits.
  • REGISTER associe cet emplacement de métadonnées à un nouveau catalogue, qui écrit un enregistrement unique liant le nom de la table à ses métadonnées.

C'est possible parce que les tables gérées Unity Catalog résident dans un stockage qui vous appartient. La désinscription (Unregistering) n'est pas possible avec un stockage contrôlé par le fournisseur car l'API de sortie ne peut pas vous fournir un pointeur vers des fichiers que vous ne pouvez pas emporter avec vous.

Les tables gérées Unity Catalog sont entièrement portables et ouvertes sans verrouillage : vous conservez le contrôle de vos propres données.

Prise en main

Pour commencer dans Databricks, contactez votre équipe de compte pour obtenir l'accès à REGISTER et UNREGISTER (en Private Preview). Avec REGISTER et UNREGISTER, vos tables Iceberg sont transférées vers Unity Catalog sans aucune copie de données dans Databricks, restent entièrement ouvertes dans votre propre stockage et bénéficient de tous les avantages de Unity Catalog et de Predictive Optimization :

Pour en savoir plus, lisez Unlocking Data Portability. Consultez la documentation des tables gérées Unity Catalog pour plus de détails sur l'utilisation des tables gérées Unity Catalog, qui existent dans un stockage appartenant au client.

Prochaines étapes de la feuille de route

À l'avenir, nous prévoyons de prendre en charge la conversion des tables étrangères ou des tables externes dans Databricks en tables gérées à l'aide de SET MANAGED IN PLACE. Cela vous permettrait de conserver le même chemin de stockage défini par le client qu'auparavant et ne nécessite aucun déplacement de données.

Foire aux questions (FAQ)

Unity Catalog est-il ouvert ?

Oui. Unity Catalog est open source et répond aux trois exigences d'un catalogue ouvert. Ses tables gérées, dans Apache Iceberg ou Delta Lake, résident dans un compte de stockage cloud vous appartenant, y bénéficient de toutes les fonctionnalités et peuvent être déplacées vers un autre catalogue sans copier de données grâce à REGISTER et UNREGISTER. Plus important encore, les tables gérées de Unity Catalog se trouvent dans un stockage appartenant au client, ainsi UNREGISTER dans Databricks offre une portabilité du catalogue sans déplacement de données du côté de Unity Catalog. L'accès en lecture et en écriture pour gérer les tables est également pris en charge via les API ouvertes Unity Catalog et Iceberg REST Catalog.

L'utilisation d'Apache Iceberg évite-t-elle le verrouillage fournisseur ?

Pas à elle seule. Une table Iceberg stockée chez un fournisseur peut être aussi difficile à déplacer qu'une table propriétaire, et une table Iceberg dans votre propre stockage peut disposer de moins de fonctionnalités. Pour éviter le verrouillage, vous devez aussi posséder votre stockage, bénéficier de toutes les fonctionnalités sur ces tables et utiliser un catalogue qui prend en charge un transfert fluide et sans copie.

Quelle est la différence entre les tables gérées et le stockage géré dans Unity Catalog ?

Dans Unity Catalog, le terme "géré" indique qui entretient une table, et non qui possède son stockage. Les tables gérées de Unity Catalog sont optimisées et entretenues par le catalogue, et leurs fichiers résident dans un compte de stockage cloud vous appartenant. Sur d'autres plateformes, "stockage géré" désigne un stockage que le fournisseur possède et contrôle, et pas seulement qu'il optimise.

Puis-je déplacer des tables hors de Unity Catalog sans copier de données ?

Oui. Avec UNREGISTER, vous pouvez retirer une table de Unity Catalog et l'enregistrer dans un autre catalogue Iceberg REST, sans copier les fichiers de données.

Quelle est la différence entre les tables gérées et le stockage géré dans Unity Catalog ?

Dans Unity Catalog, le terme "géré" indique qui entretient une table, et non qui possède son stockage. Les tables gérées de Unity Catalog sont optimisées et entretenues par le catalogue, mais leurs fichiers résident dans un compte de stockage cloud vous appartenant. Sur d'autres plateformes, "stockage géré" désigne un stockage que le fournisseur possède et conserve souvent dans des formats de table propriétaires.

Databricks peut-il écrire dans des tables Iceberg externes ?

Les tables Iceberg externes sont en lecture seule dans Databricks car un autre catalogue gère leurs commits, ce qui empêche deux catalogues d'écrire dans la même table. Pour que Unity Catalog gère la table dans un stockage appartenant au client, enregistrez-la dans Unity Catalog avec REGISTER. Vous pouvez également convertir des tables externes en tables gérées Unity Catalog dans un stockage appartenant au client à l'aide de SET MANAGED.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Tags associés:

Open Source, Annonces, Lakehouse et Unity Catalog

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.