Présentation de Genie Code

Nous sommes ravis d'annoncer Genie Code, le dernier né de la famille Databricks Genie. Au cours des six derniers mois, les outils de codage agentifs ont radicalement transformé le Data Engineering. Genie Code apporte cette même Transformations aux équipes de données. Genie Code peut effectuer de manière autonome des tâches complexes telles que la création de pipelines, le debugging des défaillances, le déploiement de tableaux de bord et la maintenance des systèmes de production.

Contrairement aux agents qui se concentrent uniquement sur l'écriture de code, Genie Code fonctionne également comme un agent de production proactif. Il surveille vos Lakeflow pipelines et vos modèles d'IA en arrière-plan, trie les échecs, gère les mises à niveau de routine de DBR et examine les anomalies avant même que votre équipe ne s'en aperçoive.

Pour ce faire, il s'intègre profondément à Unity Catalog afin de comprendre les données, la sémantique et les politiques de gouvernance de votre entreprise. Genie Code est plus de deux fois plus performant qu'un agent de codage de premier plan sur des tâches de Data Science réelles.

L'essor du travail de données agentique

Les outils de codage agentifs ont transformé le génie logiciel, faisant passer les développeurs de la saisie semi-automatique au développement piloté par des agents. Avec une seule invite, les ingénieurs peuvent désormais échafauder des fonctionnalités, refactoriser du code et déployer des prototypes en quelques secondes. Cette évolution est due aux progrès des LLM et aux systèmes agentifs capables d'interpréter le contexte complexe des bases de code logicielles modernes.

La plupart des agents sur le marché se concentrent sur le code comme produit final. Cependant, pour les équipes de données, le code n'est qu'un moyen de manipuler et de comprendre les données sous-jacentes. C'est précisément la raison pour laquelle les agents centrés sur les logiciels ont souvent des difficultés avec le travail sur les données. Dans un écosystème de données, le contexte ne réside pas seulement dans le script, mais aussi dans les modèles d'utilisation, le lignage et la sémantique métier. 

L'accès à ce contexte est vital, car les enjeux sont élevés. Les tableaux de bord orientent les décisions de l'entreprise, les pipelines alimentent les systèmes de production et les modèles de machine learning influencent les résultats du monde réel. Pour les équipes de données, la vitesse et l'effet de levier offerts par les agents doivent être associés à une précision, une reproductibilité et une gouvernance absolues.

Genie Code est un agent d'IA conçu spécifiquement pour les données. Il s'appuie sur Unity Catalog pour organiser automatiquement les données et le contenu les plus pertinents au fur et à mesure que vous travaillez. Il crée des index de recherche personnalisés, des instructions personnalisées, des bases de connaissances et extrait des modèles d'utilisation du lignage des données. Mieux encore, il devient plus intelligent à mesure que votre équipe l'utilise. Cette intégration profonde dans Unity Catalog est bien supérieure à tout système qui se contente de lire les données de l'extérieur.

Nous avons constaté de visu l'impact de Genie et de Genie Code chez Databricks, tant auprès des utilisateurs techniques que non techniques. Notre équipe Ventes l'utilise pour obtenir une vue d'ensemble complète de chaque client avant les réunions, en résumant en quelques secondes les principaux indicateurs de consommation, les tickets de support et les interactions récentes. Les chefs de produit utilisent Genie Code pour créer des tableaux de bord à partir d'un croquis de diagrammes et de graphiques dessiné à la main. Notre équipe financière effectue des analyses du budget par rapport aux dépenses réelles et des modélisations avancées du retour sur investissement. Notre équipe de direction répond aux questions relatives aux données en temps réel lors des discussions stratégiques, ce qui réduit les suivis et accélère les décisions complexes. Dans toute l'entreprise, ces outils ont changé notre façon de travailler avec les données.

Ce que fait Genie Code :

• Agit comme un ingénieur expert en machine learning : Genie Code gère les workflows de ML complets de bout en bout. Il analyse des problèmes complexes pour planifier, écrire et déployer des modèles, tout en consignant les Experimentation dans MLflow et en réalisant l'affinement des Endpoints pour des performances optimales.
• Expertise approfondie en Data Engineering : alors qu'un ingénieur novice pourrait écrire un script qui fonctionne sur des données de test, Genie Code conçoit comme un architecte senior. Il tient compte des différences entre les environnements de préproduction et de production, crée des workflows pour la capture des données modifiées et applique les exigences en matière de qualité des données.
• Maintient et optimise de manière proactive : Genie Code surveille les pipelines Lakeflow et les modèles d'IA en arrière-plan pour trier les défaillances et examiner les anomalies. Il analyse de manière autonome les traces de l'agent pour corriger les hallucinations et ajuste l'allocation des ressources avant qu'un humain n'intervienne.
• Comprend le contexte de l'entreprise : intégré à Unity Catalog, Genie Code applique les politiques de gouvernance et les contrôles d'accès existants. Il comprend la sémantique métier et les exigences d'audit et fédère les données d'entreprise, y compris celles provenant de plateformes externes.
• S'améliore avec le temps : Genie Code devient plus intelligent à mesure que les équipes l'utilisent. Grâce à une mémoire persistante, il met automatiquement à jour les instructions internes en fonction des interactions passées et des préférences de codage. Sur les tâches de Data Science internes, Genie Code surpasse les principaux agents de codage de 77,1 % contre 32,1 % en termes de qualité.

Avec Genie Code, les équipes de données passent de la simple sollicitation d'un copilote à la délégation de tâches réelles : créer des pipelines, debugging des pannes, livrer des tableaux de bord et maintenir les systèmes de production, de manière autonome et de bout en bout.

Chez SiriusXM, Genie Code prend en charge un large éventail de tâches, de la création de notebooks et de requêtes SQL complexes à l'analyse des relations entre les tables et au debugging de pipelines. Il agit comme un partenaire de développement pratique qui aide nos équipes de données à fournir un travail de haute qualité en moins de temps. — Bernie Graham, vice-président de l'ingénierie des données, Sirius XM

L'agent de la plus haute qualité pour les données et l'IA

Genie Code n'est pas alimenté par un modèle unique. Il s'agit d'un système agentique qui dirige les tâches vers plusieurs modèles et outils, en sélectionnant automatiquement le meilleur modèle pour chaque job, qu'il s'agisse d'un LLM de pointe, d'un modèle open source ou d'un modèle personnalisé hébergé sur Databricks. Les utilisateurs n'ont ainsi plus besoin de changer manuellement de modèle ou de deviner lequel produira le meilleur résultat.

Genie Code est également profondément intégré aux APIs Databricks, ce qui lui permet d'identifier les bons assets, de rassembler un contexte riche et de générer des queries de meilleure qualité. Databricks Research ajuste continuellement le système, en évaluant les derniers modèles des principaux laboratoires d'IA ainsi que les modèles personnalisés exécutés sur la plateforme.

Lors de notre récente analyse comparative des performances sur des tâches réelles de Data Science et d'analytique collectées auprès d'utilisateurs internes, Genie Code a nettement surperformé un agent de codage de premier plan équipé des serveurs du Model Context Protocol (MCP) de Databricks.

• Genie Code : 77,1 % de tâches résolues
• Agent de codage de premier plan + Databricks MCP : 32,1 % des tâches résolues

Genie Code prend en charge le cycle de vie complet du traitement des données

Entraîner et évaluer des modèles de Machine Learning

Genie Code agit comme un ingénieur ML dédié et intégré à votre workflow. Demandez-lui d'« entraîner un modèle de prévision des ventes dans @sales_table» et il analysera l'ensemble du pipeline : 

• Identification et profilage des caractéristiques
• Répartir correctement les jeux de données d'entraînement, de validation et de test
• Entraînez plusieurs types de modèles et comparez-les, en exécutant des balayages d'hyperparamètres pour entraîner le meilleur modèle possible.
• Évalue les résultats à travers des métriques telles que AUC, F1, RMSE et R²
• Générer des graphiques pour l'importance des caractéristiques, les matrices de confusion et les courbes ROC
• Suivre les expérimentations dans MLflow
• Recommander des améliorations basées sur les diagnostics du modèle

Une fois déployé sur Databricks Model Serving, Genie Code reste dans la boucle : il peut vérifier l'état des points de terminaison, analyser les traces et recommander des optimisations. Vous pouvez en savoir plus à ce sujet dans la section « Du code à la production : l'observabilité avec Genie Code » ci-dessous.

Genie Code change la façon dont nos équipes de données fonctionnent. Au lieu d'assembler manuellement des Notebooks, des pipelines et des modèles, nous pouvons confier des workflows complexes à un partenaire IA qui comprend nos données, notre gouvernance des données, notre contexte métier et nos bibliothèques internes telles que Repsol Artificial Intelligence Products. Il accélère tout, de la prévision de séries chronologiques au déploiement en production, sans sacrifier la rigueur ni le contrôle. — Emilio Martín Gallardo, data scientist principal, gestion de données et analytique, Repsol

Créer des pipelines de données prêts pour la production

Genie Code est votre data engineer expert, conçu pour vous aider à concevoir et à faire évoluer des pipelines de données fiables.

• Créez des pipelines à partir du langage naturel : décrivez ce dont vous avez besoin et Genie Code génère un pipeline déclaratif Spark complet avec ingestion, transformations et attentes en matière de qualité des données intégrées.
• Étendre les pipelines existants : ajoutez des jeux de données, modifiez les transformations, écrivez des flux AutoCDC, configurez Auto Loader et appliquez des attentes en matière de qualité des données, le tout dans le contexte de votre pipeline actuel.
• Comprendre le comportement des pipelines : inspectez les sorties, suivez le flux de données dans les tables en aval et faites apparaître les changements inattendus dans le nombre de lignes ou les schémas.

Genie Code nous a fait passer du codage assisté à une véritable Data Engineering agentique. Il peut analyser nos Lakeflow pipelines, proposer des modifications multifichiers avec des diffs, exécuter des runs avec des garde-fous et itérer sur les échecs jusqu'à ce que les problèmes soient résolus. On a moins l'impression d'utiliser une saisie semi-automatique que de collaborer avec un partenaire intégré à notre workflow. — Nishit Gajjar, responsable technique, fournisseur mondial de technologies d'infrastructure

Créer des tableaux de bord avec des définitions sémantiques réutilisables

Genie Code peut générer des visualisations, configurer des filtres et organiser des mises en page de tableaux de bord multi-pages, le tout avec des définitions sémantiques réutilisables. Il connecte ces définitions à des filtres, des calculs et des layouts qui montent en charge à mesure que les tableaux de bord se développent, aidant ainsi les équipes à avancer plus rapidement tout en maintenant la cohérence.

Avec Genie Code, nos équipes fournissent de l'analytique basée sur l'IA et des workflows automatisés en quelques semaines, et non en quelques mois. Les agents low-code nous aident à avancer plus rapidement tout en restant conformes à la gouvernance, ce qui permet aux équipes de projet et de Data Engineering d'obtenir des insights en langage naturel à partir de données complexes sans ralentir la livraison. — Russell Singer, architecte de données en chef, Bechtel Corporation

Planification et exécution multi-étapes autonomes 

Fournissez un objectif de haut niveau, tel que « Identifier les risques de retard de vol et créer un tableau de bord de suivi ». Genie Code analyse les exigences, formule un plan en plusieurs étapes et l'exécute sur l'ensemble des Databricks Notebooks, des tableaux de bord d'AI/BI et de Lakeflow dans un seul fil de conversation.

Ce que nous constatons chez Danfoss, c'est que Genie Code modifie les rôles au sein d'une équipe data, soutenant ainsi notre orientation stratégique sur la digitalisation et l'IA. Les data scientists continuent de fournir une orientation et d'effectuer des révisions, mais les ingénieurs, les analystes et les experts du domaine peuvent désormais travailler activement dans des notebooks avec l'assistant et contribuer à des workflows d'analytique avancée. Cela transforme la Data Science en une activité d'équipe beaucoup plus collaborative. — Radu Dragusin, ingénieur principal, Données et IA, Danfoss

Analyse exploratoire des données avec recherche contextuelle approfondie

Genie Code utilise la popularité, le lignage, des exemples de code et les métadonnées d'Unity Catalog pour trouver les jeux de données les plus pertinents pour n'importe quelle analyse. Cette recherche contextuelle approfondie élimine l'effort manuel de recherche de données et garantit que votre travail est basé sur les tables les plus précises et les plus fréquemment utilisées au sein de votre organisation.

Je suis sincèrement fasciné. Genie Code donne un aperçu de la future manière de travailler avec les données. — Sameer Yasser, data engineer senior, Sundt Construction

Personnalisation et extensibilité

Genie Code est une plateforme flexible conçue pour être adaptée aux normes spécifiques de votre équipe et à votre pile technologique externe. Il existe trois manières principales d'étendre ses capacités :

1. Outils externes via le Model Context Protocol (MCP)
   Genie Code prend en charge le Model Context Protocol (MCP), un standard ouvert qui lui permet d'interagir en toute sécurité avec vos outils externes, API et documentation. Cela permet des workflows autonomes qui s'étendent au-delà du workspace Databricks.

Par exemple, lorsqu'une tâche Jira vous est assignée pour entraîner un nouveau modèle de ML, Genie Code peut automatiquement en extraire le contexte, effectuer la tâche et mettre à jour le ticket avec les résultats.

Connectez Genie à vos outils internes Confluence, Google Drive, GitHub ou Notion via MCP afin qu'il puisse référencer les runbooks et les dictionnaires de données spécifiques à votre équipe lors de la résolution de problèmes.

2. Compétences d'agent : Définissez des capacités spécifiques au domaine pour apprendre à Genie Code comment effectuer des tâches complexes de manière cohérente. Qu'il s'agisse d'une manière spécifique dont votre entreprise gère le masquage des PII ou d'un framework personnalisé pour la validation des données, les Compétences garantissent que l'IA suit les bonnes pratiques de votre organisation à chaque fois. Les Compétences suivent le format ouvert des Compétences d'agent.
3. Mémoire : Genie Code devient plus intelligent à mesure que vous l'utilisez. Grâce à la mémoire persistante, l'agent met automatiquement à jour ses instructions internes en fonction de vos interactions passées. Il apprend vos préférences en matière de codage, mémorise les jeux de données que vous utilisez le plus fréquemment et conserve le contexte d'une session à l'autre.

Du code à la production : observabilité avec Genie Code

Écrire du code n'est que la première étape. Le maintenir est le véritable défi. Genie Code agit comme un agent d'observabilité pour maintenir la santé de vos workflows de données et d'IA. Alors que des milliers de clients utilisent Databricks pour servir des applications d'IA sophistiquées, le debugging de ces modèles en production est souvent la partie la plus chronophage du cycle de vie.

Genie Code s'intègre désormais directement à Databricks Model Serving et MLflow 3.0 pour automatiser ce processus. Au lieu de rechercher manuellement dans les logs et les traces, vous pouvez utiliser Genie pour :

• Vérifications de l'état des Endpoint : Obtenez un rapport d'état complet sur le compute, le traitement des requêtes et les journaux du serveur en une seule invite.

• Analyse de la qualité de l'agent : faites apparaître les problèmes subtils comme les hallucinations, les appels d'outils incorrects et les modèles de frustration des utilisateurs à travers les traces d'agent complexes en temps réel.

• Dépannage en production : lorsque des incidents se produisent, Genie recoupe les logs et les métriques du serveur pour automatiser la première phase de diagnostic et réduire le temps de résolution.
• Endpoint optimization: Obtenez des recommandations sur la simultanéité provisionnée, les configurations matérielles et la mise à l'échelle automatique basées sur les meilleures pratiques de Databricks.

Agents d'arrière-plan qui assurent le bon fonctionnement des charges de travail

Genie Code est conçu pour fonctionner en arrière-plan afin que vos données restent saines même après avoir fermé votre ordinateur portable. Vous pouvez déployer plusieurs agents en parallèle pour gérer le travail opérationnel qui occupe généralement la semaine d'un data engineer. Ces agents en arrière-plan vont au-delà du support réactif pour assurer une maintenance pro-active en gérant des tâches répétitives telles que la réponse aux échecs de jobs et la gestion des mises à niveau de routine. Lorsqu'un pipeline tombe en panne, l'agent identifie la cause première et ne suggère un correctif qu'après l'avoir validé dans un environnement sandbox sécurisé. 

Par exemple, si un pipeline de production échoue en raison d'une non-concordance de schéma, comme une colonne passant d'un INT (150) à STRING (« 150 USD »), Genie Code identifiera la défaillance et corrigera automatiquement le pipeline défectueux. 

Les agents d'arrière-plan seront bientôt disponibles. 

Ancré dans Unity Catalog : sécurité et gouvernance intégrées

Genie Code est directement construit sur Unity Catalog. Cette intégration garantit que l'agent respecte les mêmes règles de sécurité et de gouvernance que le reste de la plateforme Databricks.

Lorsque Genie Code recherche des données, il n'affiche que les ressources auxquelles l'utilisateur est autorisé à accéder. Lorsqu'il crée un pipeline, il respecte le lignage et les contrôles d'accès existants.

• Historique des révisions natif : Chaque modification est suivie via le système de gestion de versions de Databricks. Vous pouvez annuler les modifications dans les Notebooks, les queries, les fichiers et les Lakeflow pipelines en toute confiance.
• Garde-fous intégrés : Genie Code est conçu pour demander une confirmation de manière proactive avant d'exécuter du code susceptible de modifier les tables sous-jacentes.
• Application du contrôle d'accès : Genie Code n'expose jamais les asset qu'un utilisateur n'est pas autorisé à voir.
• Journalisation d'audit complète : Votre organisation conserve une visibilité totale sur la manière dont Genie Code est utilisé grâce à l'infrastructure d'audit existante.

Disponible dans votre Workspace dès aujourd'hui

Genie Code est en disponibilité générale dans votre workspace Databricks dès maintenant. Vous pouvez trouver le panneau Genie Code dans vos notebooks, votre éditeur SQL et votre éditeur Lakeflow Pipelines dès aujourd'hui — aucune configuration complexe n'est requise.

En savoir plus

Si vous souhaitez en savoir plus sur Genie Code :

• Consultez notre page web pour comprendre les fonctionnalités clés et les cas d'utilisation de Genie Code et découvrir son fonctionnement sur la plateforme Databricks
• Regardez la démo pour voir Genie Code planifier et exécuter des workflows de données réels de bout en bout.
• Lisez la documentation pour commencer à utiliser Genie Code dans votre propre workspace dès aujourd'hui

Nous avons hâte de voir ce que vous allez construire avec Genie Code et comment les agents autonomes vont remodeler la façon dont vos équipes data travaillent dans Databricks.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original