Interroger, construire, composer : ce que notre 5e Hackathon Genie nous a appris sur Databricks Genie

Comment fonctionnent les hackathons Databricks

Nous organisons ces hackathons pour une raison simple : le moyen le plus rapide de s'approprier un produit est de concevoir un projet avec. Chaque hackathon commence par une session de formation pour permettre aux équipes de découvrir le produit et sa feuille de route. Ensuite, la phase de création commence. Les équipes collaborent pendant environ une semaine et soumettent un projet, et les meilleures solutions remportent des prix.

Il s'agissait de notre cinquième édition, et le produit à l'honneur était Databricks Genie.

Pourquoi Genie se prête particulièrement bien à un hackathon

Les produits Databricks Genie permettent d'interagir avec les données en langage naturel plutôt qu'en SQL, ce qui offre un large éventail de possibilités pour un hackathon. Genie n'est pas une simple fonctionnalité ; c'est une gamme qui se décline en trois approches distinctes :

• Interroger. Un Genie Agent est une interface de chat connectée à vos données gouvernées.
• Créer. Genie Code est un partenaire IA autonome qui vous assiste dans vos workflows de données, d'analyse et de ML.
• Composer. Un Genie Agent peut être exposé sous forme d'outil que d'autres agents et applications peuvent appeler de manière autonome.

Chacune de ces approches répond aux besoins de différentes équipes au sein d'une organisation, c'est pourquoi nous avons proposé trois parcours. Nous les détaillerons dans cet ordre, de l'utilisateur métier qui souhaite simplement obtenir une réponse rapide à l'ingénieur qui intègre des Genie Agents dans une flotte complète. Le point commun de ces trois parcours est que Unity Catalog régit les droits d'accès aux données, quelle que soit la formulation de la question, tandis que Genie Ontology assure une compréhension sémantique partagée.

Parcours 1 : Dialoguez avec vos données grâce aux Genie Agents

À qui s'adresse ce parcours : aux utilisateurs métiers qui souhaitent poser des questions à des agents gouvernés et spécialisés. Un Genie Agent est une interface de chat thématique qu'un analyste configure sur un ensemble de données gouvernées, puis partage avec les utilisateurs métiers pour qu'ils puissent poser des questions en langage naturel. Le créateur de l'agent peut cibler des tables Unity Catalog, ajouter quelques exemples de requêtes, définir le vocabulaire métier à l'aide d'expressions SQL et de vues de métriques, et épingler des ressources de confiance (fonctions gouvernées) pour les questions nécessitant une réponse exacte. Ensuite, l'utilisateur métier n'a plus qu'à saisir sa question pour obtenir un résultat, un graphique et la requête correspondante. À quoi cela ressemble-t-il lorsque des équipes réelles déploient des Genie Agents ?

OneTrust s'est directement confronté à l'un des mécanismes fondamentaux des Genie Agents. Un seul agent est conçu pour se concentrer sur un maximum de 30 tables afin de garantir des réponses rapides et précises, mais les données utiles pour un analyste chez OneTrust s'étendent sur 190 tables et plus de 300 vues. Ils ont donc développé une couche de supervision qui répartit les données entre plusieurs Genie Agents spécialisés, oriente chaque question vers l'agent approprié et regroupe les réponses au sein d'une seule et même conversation. Pour l'utilisateur, rien ne change : il s'adresse toujours à un seul agent. En coulisses, le libre-service en langage naturel s'étend désormais à l'ensemble du patrimoine de l'entreprise, sans faire l'impasse sur la gouvernance qui en garantit la fiabilité.

Une autre équipe a connecté le Genie Agent à environ 160 000 dossiers de prêt et lui a appris le jargon de l'équipe, en définissant ce que signifie « cure » et ce que désigne l'acronyme « DNC », afin que le modèle associe les questions du quotidien aux bonnes données. Rapidement, l'équipe de recouvrement a pu poser des questions en langage naturel et découvrir, par exemple, que la plupart des prêts en souffrance sont régularisés sous 15 jours. Le meilleur moment a été totalement imprévu : une fois le vocabulaire assimilé, l'agent a commencé à suggérer des questions pertinentes auxquelles l'équipe n'avait même pas pensé. C'est ce qu'un bon contexte permet d'obtenir d'une simple boîte de chat.

Parcours 2 : Créez avec Genie Code

Poser des questions n'est qu'un début. La question suivante est de savoir qui peut créer, et à quelle vitesse.

À qui s'adresse ce parcours : aux analystes et aux créateurs. Les profils semi-techniques qui connaissent leurs données et savent écrire du SQL, mais qui se heurtaient auparavant à un mur dès qu'un projet nécessitait des pipelines, des fonctions ou un tableau de bord soigné.

Genie Code est le créateur de la gamme. Vous décrivez ce que vous voulez en langage naturel, et il s'occupe du reste : rédaction de vues de métriques, de fonctions Unity Catalog, de pipelines et de tableaux de bord, le tout directement dans Databricks sans environnement de développement distinct à configurer. Grâce à sa profonde intégration avec Unity Catalog, il comprend votre schéma réel et votre sémantique, ce qui lui permet de choisir les bonnes jointures plutôt que d'inventer des noms de colonnes. Pour un analyste, c'est un levier formidable. Un travail qui nécessitait auparavant l'ouverture d'un ticket auprès de l'ingénierie des données ou une semaine de requêtes SQL écrites à la main ne prend plus qu'une après-midi, ce qui est précisément ce que ce parcours visait à démontrer.

Une équipe a appliqué Genie aux propres outils de l'équipe de données. Elle a utilisé Genie Code pour concevoir une plateforme d'intelligence de gouvernance qui signale les rapports inactifs à archiver, utilise le lignage et la logique SQL pour regrouper les rapports en doublon dissimulés dans l'organisation, et évalue si les données sont réellement prêtes à être exploitées par l'IA. C'est le genre de projet de gouvernance transversal qui nécessite habituellement un trimestre entier et une feuille de route complexe. Développé avec Genie Code, il a été finalisé le temps d'un hackathon.

Procore a conçu une expérience analytique complète pour une plateforme de location de vacances sans jamais quitter Databricks. Avinash, Abdullah, Amy et Jason ont utilisé des fonctions IA intégrées comme ai_extract() pour classer et évaluer automatiquement les annonces, puis ont déployé un tableau de bord regroupant des KPI, des tendances d'une année sur l'autre et des prévisions, accompagné d'un Genie Agent capable de répondre en quelques secondes à la question d'un gestionnaire de portefeuille : « quels équipements dois-je ajouter pour améliorer la satisfaction ? ». Un produit complet et soigné, développé en quelques jours seulement au lieu de plusieurs semaines.

Fanatics Betting and Gaming a développé un outil d'expérience client qui fournit aux responsables une liste d'actions classées et justifiées par le ROI sur simple demande, de bout en bout en une seule après-midi. Ils ont ensuite réalisé une initiative que nous avons adorée : ils ont utilisé Genie pour tester la résistance de leur propre modèle de churn, ont découvert que deux caractéristiques historiques portaient la quasi-totalité du signal, et en ont conclu en toute franchise qu'une approche plus simple fonctionnait tout aussi bien. Ils ont même packagé le workflow sous forme de compétence d'analyste réutilisable. Quand le développement est aussi rapide, on peut se permettre de remettre en question son propre travail, ce qui correspond exactement à la manière dont les bons analystes doivent exploiter cet outil.

Parcours 3 : Composez Genie au sein d'agents

Vous pouvez dialoguer avec vos données et créer des projets grâce à elles. La dernière étape est celle qui nous enthousiasme le plus.

À qui s'adresse ce parcours : aux « vibe coders ». C'est le niveau avancé, là où tout s'articule. L'objectif était de concevoir un agent complet sur Databricks Apps en utilisant Genie comme l'un de ses outils, tout en y intégrant vos propres solutions.

Cette partie redéfinit ce qu'est Genie. Un Genie Agent n'est plus seulement une destination finale. Grâce aux API Genie Conversation et au serveur MCP managé intégré de Databricks, un Genie Agent devient un outil gouverné que n'importe quel agent peut appeler pour poser une question sur les données en langage naturel et obtenir une réponse fiable. Ainsi, un ingénieur conçoit un agent sur Databricks Apps, connecte Genie aux côtés d'autres serveurs MCP, de points de terminaison Model Serving et d'une logique personnalisée, suit l'ensemble du processus dans MLflow et gouverne chaque appel avec OAuth et Unity Catalog. Genie s'occupe de « dialoguer avec le warehouse ». Vous composez le reste.

ShipBob a conçu le projet qui a marqué tous les esprits, le « 11 PM Ops Brief » (le brief opérationnel de 23 h). Généralement, les équipes de la supply chain découvrent les perturbations alors qu'elles sont déjà en cours. Le système de ShipBob rédige le brief de la nuit avant leur réveil, grâce à un superviseur qui coordonne plusieurs agent spécialisés : Genie est celui qui interroge le warehouse, tandis que d'autres fusionnent 17 flux publics en direct, identifient les schémas récurrents, rédigent et vérifient les faits. Le résultat est un rapport clair en langage naturel contenant des chiffres réels, comme environ 192 000 $ de chiffre d'affaires à risque, avec des actions d'écriture en attente d'approbation humaine, et chaque étape est suivie dans MLflow. Un point d'équipe de 30 minutes se transforme en une lecture de 30 secondes. C'est l'illustration parfaite de Genie en tant que joueur d'équipe plutôt que soliste.

Reach Mobile a créé DBX Lens, qui applique cette même idée à Databricks lui-même. Il associe un agent Genie intégré à son propre serveur MCP pour que vous puissiez demander « afficher les DBU par SKU sur les 30 derniers jours » et obtenir des réponses sur les coûts et la gouvernance en langage clair, limitées à vos autorisations, sur les tables système de Unity Catalog. Il comprend même une fonctionnalité qui transforme une règle de gouvernance en langage naturel en SQL nettoyé à l'aide de Model Serving. Voyez-le comme un analyste FinOps intégré qui aide les équipes à rester efficaces et à la pointe des meilleures pratiques.

Kin Insurance a créé un agent pour la croissance et le marketing qui recherche de nouveaux marchés, effectue des analyses avec Genie dans la boucle, et fournit des recommandations exploitables pour l'équipe. En associant la planification autonome à un agent Genie, il transforme un travail fastidieux de recherche et de reporting en plusieurs étapes en une seule demande. Moins de questions, plus d'action.

Deux autres projets illustrent cette même idée de composition sous des angles différents.

Ripple a créé un agent de briefing KYC (Know Your Customer) pour le secteur de la finance réglementée : Genie fournit le contexte CRM interne tandis que l'agent effectue des vérifications par rapport aux sanctions externes, aux mesures d'application et aux sources de médias défavorables, réduisant ainsi trois à quatre heures de recherche manuelle préparatoire en une seule invite et un brief de moins d'une minute, entièrement documenté. Des vues de métriques certifiées garantissent l'exactitude des chiffres, et chaque exécution est enregistrée dans Unity Catalog pour une piste d'audit claire.

Fanatics Betting and Gaming a créé FirstBet Coach, un guide d'intégration pour les nouveaux clients de paris sportifs qui combine Genie sur une douzaine de tables gouvernées avec un serveur MCP de données sportives personnalisé que l'équipe a elle-même développé, ainsi qu'une mémoire persistante et le traçage MLflow pour une piste d'audit intégrée. Deux serveurs MCP, une seule conversation, avec des garde-fous pour le jeu responsable définis dès le départ.

Vue d'ensemble

En lisant ces trois parcours les uns après les autres, vous obtenez un aperçu concret de la famille Databricks Genie. Un responsable des collections pose une question à l'aide d'un agent Genie. Un analyste déploie une plateforme de gouvernance avec Genie Code. Un ingénieur confie Genie à un agent autonome comme un outil parmi tant d'autres. Échangez avec lui, développez avec lui, composez avec lui.

Si ces trois solutions peuvent être mises à disposition d'utilisateurs réels en toute sécurité, c'est grâce à une couche à laquelle aucun d'eux n'a eu besoin de réfléchir longuement : Unity Catalog. La même gouvernance qui détermine ce qu'un utilisateur métier peut voir dans un agent Genie définit également ce que Genie Code peut toucher et ce qu'un agent peut renvoyer. Décrivez et gouvernez correctement vos données une fois pour toutes, et Genie s'adaptera parfaitement à l'environnement de travail d'un utilisateur métier, d'un créateur et d'un ingénieur.

Chapeau bas aux dix équipes pour avoir créé des solutions concrètes. Voici quelques ressources recommandées pour démarrer avec la famille Databricks Genie :

• Suivez les sessions d'analyse conversationnelle et d'agents de la Data + AI Summit.
• Vous découvrez les agents Genie ? Commencez par le guide d'intégration de Genie et les meilleures pratiques pour gérer un agent.
• Vous souhaitez créer vos propres solutions ? Découvrez Genie Code, et découvrez comment placer un agent Genie derrière un agent.
• Prêt à essayer ? Commencez un essai gratuit et connectez un agent Genie à vos propres données.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original