Présentation de Delta Time Travel pour les lacs de données à grande échelle

Obtenez un aperçu du nouveau livre électronique d'O'Reilly pour obtenir les conseils étape par étape dont vous avez besoin pour commencer à utiliser Delta Lake.

Contrôle de version des données pour la reproduction d’expériences, la restauration et l’audit des données

Nous sommes ravis de présenter les fonctionnalités de voyage dans le temps dans Databricks Delta Lake, le moteur d’analytique unifié de nouvelle génération basé sur Apache Spark, pour tous nos utilisateurs. Grâce à cette nouvelle fonctionnalité, Delta versionne automatiquement le Big Data que vous stockez dans votre Data Lake, et vous pouvez accéder à n’importe quelle version antérieure de ces données. Cette gestion des données temporelles simplifie votre pipeline de données en facilitant l’audit, la restauration des données en cas de mauvaises écritures ou suppressions accidentelles, et la reproduction des expériences et des rapports. Votre organisation peut enfin se standardiser sur un référentiel de Big Data propre, centralisé et versionné dans son propre stockage cloud pour son analytique.

Défis courants liés à la modification des données

• Auditer les modifications de données : l’audit des modifications de données est essentiel à la fois en termes de conformité des données et de simple débogage pour comprendre comment les données ont évolué au fil du temps. Les organisations qui passent des systèmes de données traditionnels aux technologies Big Data et au cloud rencontrent des difficultés dans de tels scénarios.
• Reproduire les expériences et les rapports : pendant la formation du modèle, les scientifiques des données exécutent diverses expériences avec différents paramètres sur un ensemble de données donné. Lorsque les scientifiques revisitent leurs expériences après un certain temps pour reproduire les modèles, les données sources ont généralement été modifiées par les pipelines en amont. Souvent, ils sont pris au dépourvu par ces modifications de données en amont et ont donc du mal à reproduire leurs expériences. Certains scientifiques et organisations conçoivent les meilleures pratiques en créant plusieurs copies des données, ce qui entraîne une augmentation des coûts de stockage. Il en va de même pour les analystes qui génèrent des rapports.
• Restaurations : les pipelines de données peuvent parfois écrire des données incorrectes pour les consommateurs en aval. Cela peut se produire en raison de problèmes allant des instabilités de l’infrastructure aux données désordonnées en passant par les bogues dans le pipeline. Pour les pipelines qui effectuent de simples ajouts à des répertoires ou à une table, les restaurations peuvent facilement être traitées par partitionnement basé sur la date. Avec les mises à jour et les suppressions, cela peut devenir très compliqué, et les ingénieurs de données doivent généralement concevoir un pipeline complexe pour faire face à de tels scénarios.

Présentation du voyage dans le temps

Les fonctionnalités de voyage dans le temps de Delta simplifient la création de pipelines de données pour les cas d’utilisation ci-dessus. Lorsque vous écrivez dans une table ou un répertoire Delta, chaque opération est automatiquement versionnée. Vous pouvez accéder aux différentes versions des données de deux manières différentes :

1. Utilisation d’un horodatage

Syntaxe Scala :

Vous pouvez fournir l’horodatage ou la chaîne de date en tant qu’option au lecteur DataFrame :

En Python :

Syntaxe SQL :

Si le code du lecteur se trouve dans une bibliothèque à laquelle vous n’avez pas accès, et si vous transmettez des paramètres d’entrée à la bibliothèque pour lire les données, vous pouvez toujours remonter dans le temps pour une table en transmettant l’horodatage au format yyyyMMddHHmmssSSS au chemin d’accès :

2. Utilisation d’un numéro de version
Dans Delta, chaque écriture a un numéro de version, et vous pouvez également utiliser le numéro de version pour remonter dans le temps.

Syntaxe Scala :

Syntaxe Python :

Syntaxe SQL :

Auditer les modifications de données

Vous pouvez consulter l’historique des modifications de table à l’aide de la commande DESCRIBE HISTORY ou via l’interface utilisateur.

Reproduire les expériences et les rapports

Le voyage dans le temps joue également un rôle important dans le Machine Learning et la science des données. La reproductibilité des modèles et des expériences est un élément clé pour les scientifiques des données, car ils créent souvent des centaines de modèles avant d’en mettre un en production, et au cours de ce processus long et fastidieux, ils aimeraient revenir à des modèles antérieurs. Toutefois, comme la gestion des données est souvent distincte des outils de science des données, il est très difficile d’y parvenir.

Databricks résout ce problème de reproductibilité en intégrant les fonctionnalités de voyage dans le temps de Delta à MLflow, une plateforme Open Source pour le cycle de vie du Machine Learning. Pour une formation reproductible en Machine Learning, vous pouvez simplement enregistrer une URL horodatée vers le chemin d’accès en tant que paramètre MLflow pour suivre la version des données qui a été utilisée pour chaque tâche de formation. Cela vous permet de revenir à des paramètres et des ensembles de données antérieurs pour reproduire des modèles antérieurs. Vous n’avez pas besoin de vous coordonner avec les équipes en amont sur les données ni de vous soucier du clonage des données pour différentes expériences. C’est la puissance de l’analytique unifiée, où la science des données est étroitement liée à l’ingénierie des données.

Restaurations

Le voyage dans le temps facilite également les restaurations en cas de mauvaises écritures. Par exemple, si votre tâche de pipeline RGPD avait un bogue qui supprimait accidentellement des informations utilisateur, vous pouvez facilement corriger le pipeline :

Vous pouvez également corriger les mises à jour incorrectes comme suit :

Vue épinglée d’une table Delta mise à jour en continu sur plusieurs tâches en aval

Avec les requêtes AS OF, vous pouvez désormais épingler l’instantané d’une table Delta mise à jour en continu pour plusieurs tâches en aval. Prenons l’exemple d’une situation où une table Delta est mise à jour en continu, par exemple toutes les 15 secondes, et où une tâche en aval lit périodiquement à partir de cette table Delta et met à jour différentes destinations. Dans de tels scénarios, vous souhaitez généralement une vue cohérente de la table Delta source afin que toutes les tables de destination reflètent le même état. Vous pouvez désormais gérer facilement de tels scénarios comme suit :

Requêtes pour l’analytique des séries chronologiques simplifiées

Le voyage dans le temps simplifie également l’analytique des séries chronologiques. Par exemple, si vous souhaitez savoir combien de nouveaux clients vous avez ajoutés au cours de la semaine dernière, votre requête pourrait être très simple comme celle-ci :

Conclusion

Le voyage dans le temps dans Delta améliore considérablement la productivité des développeurs. Il permet de :

• Les scientifiques des données gèrent mieux leurs expériences
• Les ingénieurs de données simplifient leurs pipelines et restaurent les mauvaises écritures
• Les analystes de données effectuent des rapports faciles

Les organisations peuvent enfin se standardiser sur un référentiel de Big Data propre, centralisé et versionné dans leur propre stockage cloud pour l’analytique. Nous sommes ravis de voir ce que vous serez en mesure d’accomplir avec cette nouvelle fonctionnalité.

La fonctionnalité est disponible en préversion publique pour tous les utilisateurs. En savoir plus sur la fonctionnalité. Pour la voir en action, inscrivez-vous pour un essai gratuit de Databricks.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original