Présentation de Delta Lake : améliorez la fiabilité des données dans le stockage cloud

Qu'est-ce que Delta Lake ? 

Les organisations axées sur les données sont aujourd'hui confrontées à un défi majeur : comment construire une infrastructure de données à la fois suffisamment flexible pour gérer diverses charges de travail d'IA et suffisamment fiable pour alimenter des applications critiques. Les data lakes traditionnels promettent de la flexibilité mais deviennent souvent des data swamps minés par des problèmes de qualité, des lectures/écritures incohérentes et des pipelines peu fiables.

Développé par Databricks, Delta Lake offre un changement fondamental dans le stockage et la gestion des données, apportant fiabilité, performance et des Transactions ACID aux data lakes. Désormais open source et utilisé quotidiennement par des milliers d'organisations, l'architecture lakehouse de Delta Lake combine la flexibilité des data lakes avec la fiabilité des data warehouses. Delta Lake transforme les data lakes en systèmes prêts pour la production sans sacrifier la flexibilité ou la rentabilité. 

Pourquoi les data lakes traditionnels sont insuffisants

Les data lakes promettaient une approche révolutionnaire : stocker toutes vos données dans un stockage cloud bon marché et les interroger en cas de besoin. Mais les organisations ont découvert que le manque de gouvernance peut entraîner des "marais de données" avec des problèmes tels qu'une mauvaise qualité des données, des doublons et des schémas incohérents.

Si les lacs de données traditionnels offrent un stockage bon marché et de la flexibilité, ils manquent de fonctionnalités de fiabilité essentielles. En conséquence, les organisations sont confrontées à des problèmes courants, notamment :

• Aucune garantie transactionnelle : une opération d'écriture qui échoue peut corrompre vos données sans qu'il soit possible d'annuler les modifications.
• Application du schéma : sans mécanisme de validation, de mauvaises données sont écrites, ce qui interrompt les processus en aval. Les data scientists et les ingénieurs passent souvent plus de temps à déboguer les problèmes de qualité des données qu'à créer des modèles ou à générer des insights.
• Performances des queries lentes : sans indexation intelligente, les queries doivent analyser des datasets entiers, ce qui gaspille du temps et des Ressources de compute.
• Contrôle de version : l'absence de contrôle de version et de pistes d'audit empêche le suivi et l'audit des modifications de données, ce qui est essentiel pour la conformité réglementaire et le debugging.

Ces limitations obligent de nombreuses organisations à maintenir des data warehouses distincts en parallèle de leurs data lakes, ce qui entraîne une duplication des données et des efforts de Data Engineering. Les données doivent être extraites du lac, transformées pour être compatibles avec l'entrepôt et chargées avant de pouvoir alimenter des tableaux de bord ou de l'analytique stratégique. Il en résulte des données obsolètes, une complexité accrue et une surcharge de Data Engineering plus importante.

Comment Delta Lake assure la fiabilité à grande échelle

Delta Lake garantit la fiabilité via trois fonctionnalités interconnectées : les transactions ACID, la gestion des schémas et un versionnage complet.

Transactions ACID et Logs

Delta Lake met en œuvre des transactions ACID (Atomicité, Cohérence, Isolation et Durabilité) complètes. Ceci est important pour les pipelines de données, car les opérations s'achèvent entièrement ou pas du tout, ce qui empêche la corruption, les mises à jour partielles et les incohérences, et garantit la fiabilité et l'intégrité des données les plus élevées possibles. 

Chaque modification apportée à une table Delta est enregistrée en tant que commit au format JSON dans le journal des transactions, ce qui crée une piste d'audit complète. Le Logs des transactions sépare les actions logiques (modifications des métadonnées) des actions physiques (modifications des fichiers de données), pour que les fichiers Parquet se comportent comme un stockage mutable tout en conservant les avantages en termes de performances. Ce processus empêche les écritures corrompues, garantit des lectures cohérentes même pendant les Opérations simultanées et permet un traitement batch et un streaming fiables.

application des schémas et évolution du schéma

Delta Lake valide les types de données à chaque opération d'écriture, ce qui permet de détecter les erreurs en amont plutôt que lorsqu'elles provoquent des défaillances dans l'analytique ou les modèles de ML en aval. Lorsque des données incompatibles tentent d'être écrites dans une table, Delta Lake annule la transaction. Il permet également de mettre à jour les schémas de table (en ajoutant des colonnes ou en modifiant des types si nécessaire, par exemple) sans avoir à réécrire les données. Ce contrôle des modifications de schéma offre de la flexibilité tout en conservant une structure, ce qui permet aux organisations de protéger l'intégrité des données tout en s'adaptant aux besoins de l'entreprise. 

Voyage dans le temps et versionnement des données

Dans Delta Lake, chaque écriture crée une nouvelle version de la table, chaque version étant enregistrée avec un numéro de version et un horodatage. Le journal des transactions conserve un historique complet, et vous pouvez utiliser la fonctionnalité de voyage dans le temps (Time Travel) pour interroger n'importe quelle version antérieure de vos données à des fins d'audit, de débogage et de conformité réglementaire. Vous pouvez annuler les suppressions accidentelles, comparer les données sur différentes périodes et reproduire les datasets d'entraînement de ML. Les données historiques sont facilement accessibles avec une syntaxe simple, telle que VERSION AS OF ou TIMESTAMP AS OF. Par exemple, vous pouvez restaurer vos données à tout moment à l'aide d'une commande RESTORE.

Les optimisations des performances qui distinguent Delta Lake

Delta Lake offre un analytique rapide et fiable à l'échelle grâce à un layout intelligent des données, un traitement unifié par lots et en streaming et une architecture lakehouse flexible mais fiable.

Layout et indexation intelligentes des données

Le saut de données représente l'une des optimisations les plus puissantes de Delta Lake. Lors de l'écriture des données, Delta Lake collecte des statistiques min/max dans le journal des transactions, ce qui permet au moteur d'ignorer les fichiers non pertinents lors des requêtes et d'accélérer le processus. Le compactage de fichiers consolide les petits fichiers en fichiers plus volumineux pour réduire la surcharge de métadonnées et améliorer les performances de lecture, tandis que le Z-Ordering colocalise les données associées au sein des fichiers pour maximiser l'efficacité du saut de données. Le liquid clustering, une fonctionnalité plus récente, adopte une approche adaptative, en optimisant automatiquement le layout des données en fonction des modèles de requête réels. Grâce à ces fonctionnalités, les entreprises signalent des améliorations des performances des requêtes de 10 à 100 fois dans Delta Lake par rapport à l'analyse des fichiers Parquet bruts dans un data lake.

Unifier batch et streaming

Avec les architectures traditionnelles, les utilisateurs devaient choisir entre le traitement batch et le traitement en streaming. L'architecture Lambda est apparue comme un moyen de prendre en charge les deux, mais en pratique, sa complexité supplémentaire l'emportait souvent sur les avantages.

Delta Lake gère les deux avec une seule copie des données grâce à une intégration étroite avec Apache Spark Structured Streaming. Les écritures en streaming sont inscrites dans les tables Delta et deviennent immédiatement disponibles pour les queries batch, ce qui simplifie les pipelines de données tout en garantissant la cohérence.

Delta Lake dans l'architecture Lakehouse

L'architecture lakehouse repense fondamentalement la gestion de données en combinant la flexibilité, la montée en charge et la rentabilité des data lakes avec la fiabilité, les performances et la gouvernance des data warehouses.

Delta Lake fournit la couche de stockage fondamentale du lakehouse. Il repose sur le stockage d'objets cloud existant (tel que S3, Azure Blob ou GCS), y ajoutant une couche de gestion qui transforme le simple stockage de fichiers en une plateforme de données robuste. Cela élimine le problème traditionnel du double pipeline où les données sont chargées dans le lac de données, puis extraites et rechargées dans des entrepôts de données. Avec Delta Lake, il n'est pas nécessaire de maintenir des ETL distincts pour l'ingestion dans le lac de données et le chargement dans l'entrepôt de données.

Cela signifie que les tableaux de bord de BI et les modèles de ML sont alimentés avec des données actuelles, plutôt qu'avec des données obsolètes extraites précédemment, pour des rapports plus précis et des décisions plus opportunes. Les utilisateurs métier peuvent désormais interroger les données directement dans le lac avec des outils de BI qui nécessitaient auparavant des warehouses, ce qui simplifie le processus tout en préservant la cohérence et la fiabilité.

Architecture Medallion avec Delta Lake

Databricks recommande d'organiser les données du lakehouse à l'aide de l'architecture medallion — en affinant progressivement les données à travers les couches Bronze, Silver et Gold.

Le niveau Bronze contient des données brutes provenant de sources avec une transformation minimale, préservant ainsi l'historique complet. Le niveau Silver contient des données nettoyées et validées, avec des doublons supprimés et des schémas conformes — la « source de vérité » de l'organisation. Gold contient des agrégats de niveau métier et des tables de caractéristiques optimisés pour des cas d'usage spécifiques tels que les tableaux de bord BI ou l'entraînement de modèles de ML.

Les fonctionnalités de Delta Lake rendent cette architecture possible. L'application du schéma maintient la qualité de Bronze à Silver, puis à Gold, avec des garanties ACID à chaque couche. Les mises à jour et les Merges sont exécutées efficacement et time travel retrace le lignage à travers les couches.

Delta Lake vs Autres formats de table

Delta Lake n'est pas le seul format de table de lakehouse ; Apache Iceberg et Apache Hudi offrent des alternatives. Bien que tous les trois résolvent des problèmes fondamentaux (ACID, versioning et performances), le choix dépend souvent de la stack existante et de l'expertise de l'équipe.

Les points forts de Delta Lake incluent une intégration approfondie avec la plateforme Databricks et le runtime Spark, un support de streaming robuste et un traitement incrémentiel, ainsi qu'un modèle opérationnel plus simple que Hudi. Le format universel Delta (UniForm) permet de lire les tables Delta avec les clients Iceberg et Hudi pour l'interopérabilité. Delta Lake a été éprouvé en production à très grande échelle, traitant quotidiennement des exaoctets de données pour ses clients.

Les organisations devraient choisir Delta Lake lorsqu'elles :

• Utilisation des écosystèmes Databricks ou centrés sur Spark
• Unification puissante du traitement par lot et en streaming
• Une technologie mature et éprouvée en production

En revanche, Iceberg répond aux besoins de flexibilité multi-moteurs, et Hudi excelle pour les charges de travail riches en opérations d'upsert et les pipelines incrémentiels.

Cas d'usage et applications concrets

De l'ingestion en temps réel et des garanties ACID à l'entraînement de ML reproductible, en passant par la BI de niveau entrepôt et la gouvernance auditable, Delta Lake alimente les pipelines de production qui soutiennent l'analytique, les modèles et la conformité modernes.

Pipelines d'ingénierie des données

Delta Lake permet l'ingestion de données brutes provenant de sources multiples dans des tables Delta Bronze, exactement telles qu'elles sont reçues. Il transforme et nettoie les données au niveau Silver avec des garanties ACID qui empêchent les mises à jour partielles. Il crée des agrégats dans la couche Gold pour une consommation analytique rapide.

Le e-commerce en est un exemple : grâce à Delta Lake, les entreprises suivent les événements utilisateur, les commandes et les stocks en temps réel, avec des données cohérentes pour toutes les équipes. 

Flux de travail de Machine Learning

Delta Lake permet aux ingénieurs d'entraîner des ensembles de données versionnés grâce au time travel afin de garantir une reproduction exacte des modèles ultérieurement. Ils peuvent mettre à jour les datasets d'entraînement de manière incrémentielle, à mesure que de nouvelles données arrivent, sans retraitement complet. Les Magasins de fonctionnalités construits sur Delta Lake maintiennent la cohérence entre l'entraînement et la mise en service. La data lineage et le suivi des versions facilitent l'audit des modèles et la conformité. 

Business Intelligence et analytique

Delta Lake permet aux utilisateurs d'interroger directement les tables Delta Lake avec des outils de BI, avec des performances similaires à celles d'un entrepôt de données. Les tableaux de bord sont toujours à jour, de sorte qu'il n'y a pas de décalage ETL entre le lac de données et l'entrepôt, et l'analytique en libre-service permet aux utilisateurs métier d'accéder à des données propres et gouvernées dans la couche Gold. 

Cela signifie, par exemple, que les entreprises de services financiers peuvent fournir à leurs dirigeants des tableaux de bord des risques en temps réel tout en conservant des pistes d'audit, et que les détaillants peuvent suivre leurs stocks et leurs ventes avec des données à jour.

Conformité réglementaire et gouvernance des données

Delta Lake offre une gouvernance des données forte et centralisée sans sacrifier les performances analytiques. Ses fonctionnalités Time Travel fournissent des pistes d'audit complètes afin que les organisations puissent montrer l'état des données à n'importe quel moment, tandis que l'application du schéma empêche les problèmes de conformité causés par des données de mauvaise qualité. Les garanties ACID fiables assurent la conformité au GDPR/CCPA. 

Démarrer avec Delta Lake

Delta Lake est facile à adopter, que ce soit par le biais de la plateforme entièrement optimisée de Databricks, de l'écosystème open source ou de migrations rapides et sans interruption depuis les lacs de données existants. Les équipes peuvent startent rapidement et en constater les avantages immédiatement.

Intégration avec la plateforme Databricks[[ ## completed ## ]]

Databricks rend Delta Lake simple et transparent. Toutes les tables sont des tables Delta par défaut, sans aucune configuration requise. L'environnement entièrement managé élimine la configuration et le réglage de l'infrastructure. Des optimisations avancées exclusives à Databricks s'exécutent automatiquement, notamment l'accélération du moteur Photon, les E/S prédictives, l'élagage dynamique de fichiers et le liquid clustering.

L'intégration de Unity Catalog fournit une gouvernance centralisée sur les tables Delta, en gérant les contrôles d'accès, la découverte des données et leur lignage à partir d'une interface unique, ce qui simplifie considérablement les opérations.

Delta Lake open source

Delta Lake est open-source, régi par la Fondation Linux. Il n'est donc pas exclusif à Databricks et peut être utilisé n'importe où. Il inclut des connecteurs pour Presto, Trino, Athena, Flink, Hive, Snowflake, BigQuery et Redshift. Déployez sur n'importe quel cloud (AWS, Azure, GCP) ou on-premise avec HDFS. Les API prennent en charge Scala, Java, Python et Rust. Et vous ne serez pas seul : des milliers de contributeurs sont actifs au sein de la communauté Delta Lake.

Pour commencer, il suffit d'écrire des DataFrames au format Delta dans Spark — à partir de là, les avantages sont automatiques.

Migration depuis les data lakes existants

La migration depuis des data lakes existants vers Delta Lake est un processus simplifié. Les tables Parquet ou Iceberg existantes se convertissent en Delta Lake avec de simples commandes qui mettent à jour les métadonnées sans réécrire les données. Les datasets volumineux se convertissent en quelques secondes, tout en préservant l'historique et les métadonnées. La migration incrémentielle élimine la nécessité de réécrire toutes les données en une seule fois. Databricks fournit également des outils pour accélérer la migration et valider l'intégrité des données pour une disruption minimale des pipelines existants pendant la transition. 

L'avenir de Delta Lake

Delta Lake continue d'améliorer les performances grâce à des innovations qui étendent ses capacités et l'intégration de l'écosystème. Le format universel Delta (UniForm) permet de lire les tables Delta avec les clients Iceberg ou Hudi sans conversion : écrivez une fois dans Delta et exécutez des requêtes à l'aide de n'importe quel outil compatible. Le clustering liquide optimise de manière adaptative le layout des données, les vecteurs de suppression permettent des suppressions rapides sans réécrire les fichiers et des algorithmes améliorés accélèrent les opérations de merge.

Un écosystème en expansion signifie que de plus en plus de moteurs et d'outils ajoutent une prise en charge native de Delta Lake, y compris AWS, Azure, Google Cloud et Alibaba Cloud, ce qui conduit à une adoption croissante. La gouvernance ouverte via la Fondation Linux garantit une évolution indépendante des fournisseurs et un développement piloté par la communauté.

Conclusion

Delta Lake résout les problèmes de fiabilité fondamentaux qui affectent les lacs de données. En tant que fondation de l'architecture lakehouse, Delta Lake élimine la complexité de la double architecture lac-warehouse et apporte les Transactions ACID, l'application des schémas, le time travel et des optimisations de performance au stockage d'objets dans le cloud. Delta Lake a fait ses preuves à grande échelle, traitant quotidiennement des exaoctets de données au sein de milliers d'organisations. C'est une solution open source, dotée d'une communauté solide, mais entièrement optimisée et simple d'utilisation sur Databricks.

À une époque où les données et l'IA définissent l'avantage concurrentiel, Delta Lake transforme les data swamps en plateformes de données prêtes pour la production. Il offre la fiabilité et les performances dont les équipes de données modernes ont besoin, qu'il s'agisse de startups qui créent leurs premières plateformes de données ou d'entreprises mondiales qui modernisent leur infrastructure existante.

Prêt à créer une plateforme de données fiable et ultra-performante ? Découvrez comment Delta Lake et l'architecture lakehouse peuvent transformer votre infrastructure de données. Démarrez avec Databricks et découvrez la puissance de Delta Lake avec des optimisations entièrement gérées, un réglage automatique et une gouvernance transparente, le tout sur une seule plateforme.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original