Annonce de Lakeflow Designer : ETL sans code, optimisé par la plateforme d'intelligence des données

Nous sommes ravis d'annoncer Lakeflow Designer, un générateur de pipelines sans code et optimisé par l'IA, entièrement intégré à la plateforme d'intelligence des données Databricks. Avec une toile visuelle et une interface en langage naturel intégrée, Designer permet aux analystes métier de créer des pipelines de production évolutifs et d'effectuer des analyses de données sans écrire une seule ligne de code – le tout dans un produit unique et unifié.

Chaque pipeline créé dans Designer génère un pipeline déclaratif Lakeflow sous-jacent. Les ingénieurs de données peuvent examiner, comprendre et améliorer ces pipelines sans changer d'outil ni réécrire la logique, car il s'agit de la même norme ANSI SQL utilisée sur Databricks. Cela permet aux utilisateurs sans code de participer au travail sur les données sans créer de surcharge supplémentaire pour les ingénieurs.

Lakeflow Designer sera disponible en aperçu privé dans les mois à venir, suite à la disponibilité générale de Lakeflow annoncée aujourd'hui. Nous sommes impatients que vous découvriez l'impact qu'il peut avoir.

Les outils sans code existants fonctionnent en dehors de la plateforme d'intelligence des données, créant des silos, provoquant des lacunes de production et limitant la productivité de l'IA

Les équipes de données et les analystes métier veulent la même chose : transformer rapidement les données brutes en informations exploitables. Mais les outils qu'ils utilisent et les environnements dans lesquels ils travaillent les tirent souvent dans des directions différentes.

Les analystes métier apportent de précieuses connaissances du domaine et une compréhension des questions qui orientent les décisions d'une organisation. Pour agir rapidement, ils créent souvent des solutions rapides à l'aide de feuilles de calcul ou, lorsque celles-ci ne suffisent pas, ils se tournent vers des outils sans code hérités. Ces outils sont faciles et directs, mais les pipelines qu'ils créent fonctionnent en dehors de la plateforme de données, dans des environnements différents, séparés des pipelines que les ingénieurs créent et maintiennent.

Cette séparation crée trois défis persistants :

• Flux de travail cloisonnés : Les analystes et les ingénieurs créent dans des outils différents, ce qui entraîne un travail redondant et des frais de coordination. Lorsque les flux de travail doivent traverser la plateforme de données, les ingénieurs doivent souvent les reconstruire entièrement, en partant de zéro.
• Défis de production : Les pipelines externes fonctionnent sans gouvernance ni observabilité de la plateforme, ce qui les rend fragiles et plus difficiles à maintenir.
• Productivité limitée de l'IA : Les assistants IA n'ont pas accès aux métadonnées, à la lignée et aux modèles d'utilisation, de sorte que leurs suggestions sont souvent génériques, similaires à l'utilisation d'un modèle linguistique sans accès au contexte de vos données.

Lakeflow Designer : Outils unifiés sans code, intégrés à la plateforme d'intelligence des données

Lakeflow Designer résout ces problèmes en réunissant les équipes métier et les équipes de données dans un environnement unique et unifié où les pipelines sont créés, gérés et gouvernés sur Databricks. Avec tous les pipelines créés nativement au sein de la plateforme, les équipes bénéficient d'une observabilité, d'une gouvernance et d'une évolutivité intégrées dès le premier jour : aucune réécriture nécessaire.

Flux de travail partagés et collaboratifs

Lakeflow Designer aborde directement les flux de travail cloisonnés en fournissant une plateforme unifiée où les équipes peuvent créer ensemble. Les utilisateurs métier créent des pipelines dans un environnement visuel sans code, familier et intuitif. En coulisses, les pipelines visuels sont implémentés en tant que pipelines déclaratifs Lakeflow. Ils utilisent le même runtime évolutif et fiable que les pipelines développés directement dans les pipelines déclaratifs Lakeflow.

Étant donné que la sortie de Designer est la même que si elle avait été codée, les ingénieurs de données peuvent inspecter et modifier les pipelines comme tout autre pipeline Lakeflow. Cela signifie que si les analystes métier rencontrent des problèmes, les ingénieurs peuvent intervenir pour aider sans avoir à apprendre un nouvel outil, car il s'agit des mêmes pipelines déclaratifs auxquels ils sont habitués. Tout cela se traduit par des transferts plus fluides et moins de reconstructions qui consomment des cycles d'ingénierie.

Un chemin intégré vers la production

Les pipelines Lakeflow Designer sont déployés en tant que pipelines déclaratifs Lakeflow – point final. Cela signifie qu'ils sont immédiatement prêts pour une utilisation en production. Ils sont versionnés, gouvernés par Unity Catalog, et entièrement observables avec les outils de surveillance Lakeflow.

Tout est conçu pour la production dès le départ, il n'est donc pas nécessaire de reconstruire les pipelines pour l'évolutivité et la fiabilité. Vous bénéficiez de la planification, des tests et des alertes dès le premier jour.

Une IA qui comprend votre entreprise

Designer offre une expérience de développement axée sur l'IA, aidant les utilisateurs à passer de l'idée au pipeline grâce à des invites en langage naturel. Ce qui est unique à l'IA de Designer, c'est qu'elle est ancrée dans la structure, la sémantique et les modèles d'utilisation de vos données, rendue possible par la plateforme unifiée d'intelligence Databricks. Elle sait comment les données sont réellement discutées et utilisées dans l'entreprise, y compris les définitions de table, les noms de colonnes et l'historique des requêtes.

D'autres outils peuvent offrir des fonctionnalités d'IA, mais comme ils fonctionnent en dehors de la plateforme, ils opèrent sans ce riche contexte. L'IA de Designer est différente : profondément intégrée à Databricks, entraînée sur la structure et la sémantique de vos données, et conçue pour générer des pipelines fiables et prêts pour la production qui s'alignent sur vos flux de travail et vos normes de gouvernance existants.

Disponible bientôt en aperçu privé

Lakeflow Designer sera disponible en aperçu privé dans les mois à venir. Nous collaborons étroitement avec les premiers utilisateurs de divers secteurs pour affiner l'expérience et élargir l'accès.

Si votre équipe souhaite permettre à davantage d'utilisateurs de créer des pipelines fiables sans augmenter les risques ou ajouter de nouveaux outils, contactez votre équipe de compte Databricks pour demander l'accès.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original