Mises à niveau automatiques : les meilleures fonctionnalités pour vos tables lakehouse

Vos tables gérées Unity Catalog (UC) s'améliorent désormais d'elles-mêmes. Auto Upgrades (mises à niveau automatiques) est la première fonctionnalité de ce type dans un lakehouse. Elle vérifie automatiquement la compatibilité de vos clients, puis applique des fonctionnalités de bonnes pratiques telles que le Row Tracking dès que vos tables sont prêtes, sans aucun effort manuel.

Les formats de table ouverts innovent rapidement, introduisant de nombreuses nouvelles fonctionnalités de table. Cependant, l'adoption d'une nouvelle fonctionnalité de table impliquait historiquement d'identifier les tables éligibles, de vérifier la compatibilité des clients et d'exécuter ALTER TABLE sur des milliers de tables. La plupart des équipes n'ont pas le temps pour cela, elles ne bénéficient donc pas des avantages tels qu'une meilleure performance, fiabilité, interopérabilité et des économies de coûts que ces fonctionnalités peuvent offrir. Auto Upgrades comble cette lacune, et vous gardez le contrôle : chaque modification est réversible par table.

Tout ce qui permet d'alléger la charge mentale est une victoire. Suivre chaque nouvelle fonctionnalité sur chaque table représente beaucoup de travail, j'ai donc hâte qu'Auto Upgrades s'occupe de la maintenance pour moi ! —Audrey Boslego, Responsable de l'ingénierie de la plateforme de données

Comment fonctionne Auto Upgrades

Auto Upgrades fonctionne en observant comment vos tables existantes sont consultées, en vérifiant que chaque charge de travail est prête, puis en appliquant les fonctionnalités en votre nom.

1. Observer : Pour chaque table gérée UC existante, Auto Upgrades observe les clients qui y accèdent sur une fenêtre d'observation glissante.

2. Vérifier : Pour chaque fonctionnalité, Auto Upgrades vérifie que toutes les conditions suivantes sont remplies pour cette même fenêtre d'observation :

• Chaque client Databricks ayant accédé à la table pendant la fenêtre d'observation utilise une version de Databricks Runtime qui prend en charge la fonctionnalité
• La table elle-même doit être active (les tables complètement inactives sont ignorées)
• (Pour l'instant) Les clients externes n'ont pas accédé à la table pendant la fenêtre d'observation

3. Mettre à niveau : Une fois qu'une table est éligible, Auto Upgrades exécute ALTER TABLE via une tâche d'arrière-plan légère pour appliquer la fonctionnalité en toute sécurité.

Extension aux nouvelles tables : Une fois que la compatibilité de chaque table existante d'un schéma avec une fonctionnalité a été vérifiée, Auto Upgrades en fait une valeur par défaut pour le schéma, de sorte que toute nouvelle table qui y est créée hérite automatiquement de la fonctionnalité. Toutes les propriétés de table que vous définissez explicitement lors de la création ont toujours la priorité.

À l'avenir, Auto Upgrades vise à activer des fonctionnalités sur les tables consultées par des clients externes en détectant qu'ils sont compatibles avec une fonctionnalité donnée. Nous travaillons avec la communauté sur des normes permettant de fournir les métadonnées appropriées pour détecter la compatibilité de ces clients.

Plus rigoureux qu'une mise à niveau manuelle

Une mise à niveau manuelle minutieuse exige une réelle rigueur : sélectionner les bonnes fonctionnalités et confirmer qu'elles sont prêtes pour la production, vérifier que chaque client les prend en charge et s'assurer qu'il existe un moyen de revenir en arrière. Auto Upgrades applique automatiquement cette même rigueur à chaque table.

✅ Uniquement en GA, sans régression matérielle des performances ou des coûts. Une fonctionnalité n'est éligible à Auto Upgrades que si elle a atteint la disponibilité générale (GA) et ne réduit pas de manière significative les performances ni n'augmente les coûts. De nombreuses fonctionnalités améliorent les performances ou réduisent les coûts, mais aucune ne les dégrade.

✅ Une fenêtre d'observation complète. Toutes les charges de travail de données ne s'exécutent pas quotidiennement. Les tâches par lots mensuelles, les rapports trimestriels et les analyses ad hoc peuvent mettre des semaines à apparaître. Databricks a choisi une fenêtre de 100 jours pour capturer la longue traîne, nous donnant ainsi une image complète de la façon dont vos tables sont réellement utilisées avant de prendre une décision.

✅ Vérification stricte de la compatibilité. Nous n'activons pas une fonctionnalité tant que chaque client qui y accède ne la prend pas en charge. Un seul client non pris en charge suffit pour nous faire patienter, tant pour les tables existantes que pour les valeurs par défaut du schéma régissant les nouvelles.

✅ Pas d'intervention en cas d'impossibilité de vérification. Auto Upgrades n'agit que sur les tables qu'il peut entièrement vérifier. Les tables touchées par des clients externes sont hors de portée, et les tables inactives depuis plus de 30 jours sont ignorées.

✅ Vos décisions sont respectées. Chaque fonctionnalité activée par Auto Upgrades peut être désactivée ou supprimée par table à tout moment. Une fois que vous désactivez une fonctionnalité sur une table, Auto Upgrades ne la réactivera pas ultérieurement.

Avantages débloqués par Auto Upgrades

Auto Upgrades apporte des fonctionnalités de bonnes pratiques établies à vos tables gérées UC. Celles-ci incluent des fonctionnalités que la plupart des équipes souhaitent mais n'ont pas activées en raison du travail manuel impliqué.

À mesure qu'Auto Upgrades s'exécute, vos tables deviennent progressivement :

Des tables plus rapides et plus rentables. Vos tables deviennent plus rapides à interroger, moins chères à stocker et moins chères à modifier.

• Le Liquid Clustering automatique s'applique aux nouvelles tables pour lesquelles il est défini comme valeur par défaut du schéma, optimisant la disposition des données en fonction des requêtes que vous exécutez réellement et s'adaptant à l'évolution de votre charge de travail, éliminant ainsi le besoin de ZORDER ou de clés de clustering manuelles.
• Les Deletion Vectors marquent les lignes comme supprimées ou mises à jour au lieu de réécrire des fichiers de données entiers, de sorte que les suppressions et les mises à jour s'exécutent plus rapidement et coûtent moins cher.
• Le Column Mapping vous permet de renommer ou de supprimer des colonnes instantanément, sans réécrire de données.
• Parquet V2 compresse les données plus efficacement, réduisant les coûts de stockage et accélérant les analyses.

Une interopérabilité ouverte entre les moteurs. Vos tables s'ouvrent à davantage de formats et de moteurs, avec une gouvernance dans Unity Catalog qui s'applique à tous.

• Catalog Commits permet à UC de devenir le système de coordination des tables gérées, à travers les moteurs. Il débloque les écritures de moteurs externes dans les tables gérées UC, permet d'appliquer des politiques ABAC aux moteurs externes et permet des transactions multi-tables et multi-instructions.
• Le Row Tracking ajoute des identifiants uniques au niveau des lignes qui ouvrent la voie à l'Automatic Change Data Feed, au Vector Search et à Lakebase, sur Iceberg et Delta. Il permet également aux vues matérialisées de s'actualiser de manière incrémentielle au lieu de recalculer la vue complète, réduisant ainsi considérablement les coûts d'actualisation.

Une plus grande fiabilité sous charge. Vos tables restent stables à mesure qu'elles grandissent et que le volume d'écriture augmente.

• Checkpoint V2 maintient les métadonnées des tables dans un format plus évolutif, réduisant ainsi les échecs de validation (commit) dans les situations comportant de nombreuses écritures simultanées.

Auto Upgrades continuera de se développer pour couvrir davantage de fonctionnalités et prendre en charge d'autres types de tables gérées UC comme les vues matérialisées et les tables de streaming.

Observabilité complète

Chaque fonctionnalité ajoutée par Auto Upgrades apparaît dans la sortie DESCRIBE HISTORY de la table et dans l'onglet d'historique de Catalog Explorer, d'une manière qui se distingue de vos modifications initiées par l'utilisateur. Pour plus d'informations, consultez observer les fonctionnalités activées.

Pour une visibilité à l'échelle du compte, vous pourrez interroger une table système pour voir chaque événement Auto Upgrades par table, fonctionnalité et horodatage. Par exemple, pour voir toutes les opérations de mise à niveau automatique qui ont eu lieu pour toutes les fonctionnalités sur une table spécifique :

Prise en main

Auto Upgrades fonctionne sur les tables gérées UC. Ainsi, l'étape la plus importante que vous puissiez franchir pour commencer est de vous assurer que vos tables sont converties vers ce type de table.

Vous ne savez pas lesquelles de vos tables sont gérées par Unity Catalog ? Vérifiez le type de table dans Catalog Explorer, ou exécutez DESCRIBE EXTENDED sur votre table.

Pour auditer les tables en masse, vous pouvez également utiliser la table système Auto Upgrades pour savoir quelles fonctionnalités ont été activées sur quelles tables, et à quels moments :

Si vous avez des tables externes que vous souhaitez importer, vous pouvez les convertir avec un simple SET MANAGED, et Auto Upgrades s'occupe du reste.

Pour en savoir plus sur le fonctionnement de Auto Upgrades, les fonctionnalités qu'il active et comment observer son activité, consultez notre documentation.

Avec Auto Upgrades, vos tables gérées se gèrent d'elles-mêmes. À mesure que Databricks propose de nouvelles fonctionnalités, vos tables continuent de s'améliorer — sans marathons de ALTER TABLE, audits de compatibilité ou projets de migration. Vous bénéficiez de tables plus rapides, plus fiables et plus interopérables, automatiquement.

FAQ

Comment Auto Upgrades garantit-il qu'une table peut être mise à niveau en toute sécurité ?

Auto Upgrades applique uniquement des fonctionnalités généralement disponibles qui ne réduisent pas sensiblement les performances et n'augmentent pas les coûts. Il attend la fin d'une fenêtre d'observation de 100 jours, exige que chaque client qui y accède soit compatible, ignore les tables qu'il ne peut pas entièrement vérifier et vous permet de désactiver n'importe quelle fonctionnalité par table à tout moment.

Si ma table a changé, comment puis-je savoir s'il s'agit de Auto Upgrades ?

Chaque modification apportée par Auto Upgrades apparaît dans le résultat de DESCRIBE HISTORY de la table et dans l'onglet d'historique de Catalog Explorer, signalée de manière distincte de vos propres modifications. Pour une visibilité à l'échelle du compte, la requête sur system.storage.table_auto_upgrade_operations_history affichera également à quel moment une fonctionnalité a été ajoutée à une table.

Est-ce que Auto Upgrades risque de compromettre une table lue par mes outils externes ou OSS ?

Non. Les tables auxquelles accèdent des clients externes ou OSS sont hors de portée pour le moment. Auto Upgrades n'intervient que lorsqu'il peut vérifier que chaque client accédant à une table prend en charge la fonctionnalité. À l'avenir, nous étendrons cette possibilité aux tables avec accès externe ou OSS, une fois que Auto Upgrades pourra confirmer que ces clients sont compatibles.

Est-ce que Auto Upgrades est payant ? Cela va-t-il augmenter ma facture de DBU ou de stockage ?

Dans l'actuelle Gated Public Preview, Databricks ne facture pas Auto Upgrades lui-même (le travail ALTER TABLE en arrière-plan), et nous espérons continuer à le proposer gratuitement. Consultez la documentation de Auto Upgrades pour obtenir les informations les plus récentes.

Combien de temps faut-il pour que mes tables soient mises à niveau ? Quand verrai-je les changements ?

Auto Upgrades utilise une fenêtre d'observation de 100 jours pour capturer les charges de travail peu fréquentes (par exemple, les tâches par lots mensuelles, les rapports trimestriels, les analyses ad hoc) avant d'agir. Une fois la compatibilité d'une table vérifiée, la fonctionnalité sera appliquée peu de temps après via une tâche en arrière-plan. Gardez également à l'esprit que lorsqu'une fonctionnalité est déployée pour la première fois, le déploiement est progressif selon les clients et le pourcentage de tables. Cela peut donc prendre de 3 à 5 mois pour qu'elle atteigne vos tables avec des charges de travail compatibles.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original