Lakeflow : Ingénierie de données agentiques unifiée

Le terme de pipeline de données désigne généralement un processus à plusieurs étapes qui déplace et transforme les données. Les pipelines de données sont essentiels en data engineering. Ils importent les données à partir d'une source, les nettoient, les modifient, les enrichissent et les rendent utilisables. Pour toutes ces raisons, les pipelines de données font partie intégrante de tous les projets ou presque d'analytique et d'IA. La complexité des pipelines de données varie selon les cas. Ils peuvent être amenés à traiter différents types de données (structurées et non structurées, notamment), parfois en temps réel. Ils doivent également pouvoir évoluer pour traiter de grandes quantités de données.

Le streaming de données fait référence aux données qui sont générées en temps réel et sont souvent organisées et consommées sous la forme de flux. Aujourd'hui, de plus en plus de données sont générées en temps réel par des capteurs, des sites web, des applications mobiles, etc. Les organisations qui cherchent à utiliser des flux de données pour mettre en œuvre des solutions telles que l'analyse en temps réel constatent souvent que les flux de données peuvent être difficiles à gérer et à traiter efficacement. C'est pourquoi de nombreux clients Databricks se tournent vers la plateforme Data + AI, qui offre des capacités de streaming intégrées qui rendent le traitement des flux facile, efficace et hautement évolutif.

Databricks fournit un moteur d'ingénierie de données puissant et unifié via Lakeflow, conçu pour tout gérer, de l'ingestion à la transformation, en passant par l'orchestration à grande échelle. Les principales capacités incluent l'ingestion de données provenant d'un large éventail de sources avec Lakeflow Connect, le développement et la gestion de pipelines de données avec les pipelines déclaratifs Lakeflow Spark et l'orchestration de flux de travail avec Lakeflow Jobs. Ces fonctionnalités ne n'adressent pas uniquement aux data engineers. Grâce à des interfaces comme l'éditeur de Databricks SQL et Lakeflow Designer (en utilisant le SQL, le langage naturel ou des workflows visuels), les spécialistes du SQL et les utilisateurs non techniques peuvent, eux aussi, profiter de la puissance de ce moteur ainsi que des performances, de l'automatisation et de la fiabilité de la plateforme sous-jacente. Avec Genie Code, les équipes peuvent aller plus loin dans l'ingénierie des données agentiques, en utilisant l'IA agentique pour générer, affiner et optimiser des pipelines en ayant une pleine connaissance de leurs données.

Lakeflow est conçu pour chaque équipe impliquée dans la création de pipelines de données, et pas seulement pour les ingénieurs de données dédiés. Les professionnels de SQL et d'autres utilisateurs non techniques peuvent créer, gérer et dépanner des pipelines via des interfaces telles que l'éditeur SQL Databricks et Lakeflow Designer, en utilisant SQL, un langage naturel ou des workflows visuels. Dans le même temps, les équipes d'ingénierie des données travaillent sur le même moteur sous-jacent, afin de bénéficier des performances, de l'automatisation et de la fiabilité de la plateforme. Cette base partagée permet aux organisations d'étendre le travail des pipelines de données au-delà d'une seule équipe spécialisée.

Lakeflow combine l'ingestion, la transformation et l'orchestration dans une seule pile d'outils unifiée plutôt que de nécessiter des solutions ponctuelles distinctes pour chaque étape. Cela réduit les coûts et les frais d'intégration par rapport à la gestion de plusieurs outils déconnectés, et permet de conserver les données sous une gouvernance et un traçage intégrés et unifiés tout au long du pipeline. Des composants tels que Lakeflow Connect pour l'ingestion, Spark Declarative Pipelines pour la transformation et Lakeflow Jobs pour l'orchestration s'exécutent tous sur le même moteur, qui optimise automatiquement l'utilisation des ressources pour les cas d'utilisation par batch et en temps réel.

Vous pouvez commencer à utiliser Lakeflow en suivant la formation gratuite en ingénierie des données, un programme conçu pour vous familiariser avec les bases de l'ingénierie des données en 90 minutes. À partir de là, la documentation Lakeflow couvre tout ce dont vous avez besoin pour commencer à créer des pipelines, y compris l'ingestion, la transformation et l'orchestration. Les équipes qui veulent voir la plateforme en action peuvent également regarder les démonstrations d'ingénierie de données couvrant la plateforme Databricks Data + AI.