AI/BI Genie est maintenant disponible de manière générale

En juin dernier, nous avons annoncé Databricks AI/BI, notre entrée dans la catégorie de l’informatique décisionnelle (Business Intelligence), basée sur l’IA qui comprend en profondeur vos données, votre sémantique et vos modèles d’utilisation, et conçue dès le départ pour exploiter la Data Intelligence Platform. AI/BI offre non seulement une expérience BI conventionnelle via des tableaux de bord, mais il propose également Genie, une expérience d’analyse conversationnelle qui permet à chacun de répondre à ses propres questions sur les données en utilisant le langage naturel. Aujourd’hui, nous sommes ravis d’annoncer que AI/BI Genie rejoindra désormais AI/BI Dashboards en tant que version généralement disponible sur tous les clouds.

Qu’est-ce que Genie ?

Essentiellement, AI/BI Genie permet aux utilisateurs de poser des questions en langage naturel et d’obtenir des informations instantanées à partir des données. Les utilisateurs professionnels peuvent poser des questions telles que « Comment se porte mon pipeline de ventes ? » et Genie répondra en combinant des résumés de texte, des données tabulaires et des visualisations. Avec chaque réponse, Genie fournit également une explication de la façon dont il est parvenu à la réponse afin de donner aux utilisateurs confiance dans ce résultat.

Notre objectif avec Genie est d’offrir une expérience d’analyse conversationnelle qui fonctionne réellement comme annoncé dans le monde réel : des réponses fiables, exactes et pertinentes dans le contexte unique de votre organisation. Il s’agit d’un défi, même pour les LLM les plus récents et les plus performants, car ils ne comprennent pas le contexte unique ou la sémantique propre aux données et à l’activité de chaque organisation.

AI/BI Genie résout ce problème en permettant aux analystes d’empaqueter des données (telles que des tables et des vues) avec la sémantique (comme les définitions de métriques, les exemples de requêtes, les instructions textuelles et les actifs certifiés) dans un espace Genie axé sur un sujet spécifique, par exemple, le pipeline de ventes.

L’espace Genie agit comme un magasin de connaissances local, associant la sémantique extraite des actifs existants sur la Data Intelligence Platform à la conservation et aux commentaires fournis par des analystes experts. Essentiellement, ce système permet aux analystes de données d’étendre leur impact en créant un agent compétent capable de répondre aux questions sur les données comme ils le feraient eux-mêmes. Il permet aux utilisateurs professionnels de répondre eux-mêmes aux questions qui ne sont pas couvertes par les tableaux de bord et les rapports existants, ce qui permet aux analystes de se concentrer sur un travail à plus forte valeur ajoutée.

Mises à jour depuis l’annonce

Depuis que nous avons annoncé AI/BI Genie en juin dernier, nous avons travaillé dur pour introduire davantage de fonctionnalités, une qualité de réponse fiable et des expériences utilisateur affinées en fonction des commentaires de nos clients en version préliminaire. Voici quelques points saillants :

• Précision inégalée : La qualité de la réponse est la priorité absolue de l’équipe de produit Genie, et nous nous sommes concentrés sur la résolution des problèmes du monde réel soulevés par des milliers de clients actifs. Par exemple, nous avons ajouté le concept de dictionnaires de valeurs, qui, comme le montre l’exemple ci-dessous, permet à Genie de faire correspondre sémantiquement une demande de « groupe de premier niveau » à la valeur littérale « groupe de support de première ligne » en fonction de ce qui se trouve dans les données sous-jacentes. Genie est également désormais en mesure de gérer des ensembles de données beaucoup plus volumineux (aucune restriction sur le nombre de colonnes), des instructions complexes, et a subi plusieurs cycles de mises à jour du modèle.

• Vues de métriques Unity Catalog : Genie est intégré nativement à la Data Intelligence Platform, et nous continuons à développer cette base. Par exemple, nous avons ajouté la prise en charge des métriques Unity Catalog, ce qui permet aux clients d’utiliser des modèles de données régis et fiables pour garantir la précision des cas d’utilisation critiques. Avec AI/BI Genie, Unity Catalog sert de source unique de vérité pour les données et la sémantique, ce qui élimine le besoin de modélisation redondante.
• Prise en charge de l’évaluation et des benchmarks : Les ingénieurs qualifiés vous diront que tout effort d’IA doit commencer par une phase d’évaluation. Ne pas le faire signifie un échec en production. Les expériences d’analyse conversationnelle ne sont pas différentes : lorsque vous créez un nouvel espace Genie, vous créez en réalité un nouveau système d’IA pour un domaine spécifique. C’est pourquoi nous avons ajouté des fonctionnalités telles que Benchmarks et Demander une révision. Les benchmarks Genie sont des questions de test organisées avec des réponses SQL attendues qui permettent aux auteurs d’évaluer et d’améliorer systématiquement la précision des réponses de Genie au fil du temps, tandis que « Demander une révision » permet aux utilisateurs finaux de signaler des réponses spécifiques pour vérification ou correction par les administrateurs d’espace, favorisant ainsi la confiance et la collaboration entre les utilisateurs professionnels et les équipes de données.

• Analyse ad hoc avec le chargement de fichiers Genie : Un modèle d’analyse courant que nous avons découvert pendant la période d’aperçu était la nécessité de fusionner une feuille de calcul locale (comme une liste de prospects d’une campagne) avec un ensemble de données géré dans Unity Catalog (tel que les comptes et les contacts Salesforce) pour effectuer une tâche ad hoc. Avec le chargement de fichiers Genie, vous pouvez simplement glisser-déposer des fichiers Excel ou CSV dans Genie et effectuer toute analyse complète en langage naturel.

• Genie partout : Les tableaux de bord et Genie fonctionnent mieux ensemble, c’est pourquoi chaque tableau de bord AI/BI comprend un espace Genie intégré. Les tableaux de bord montrent quelles données sont disponibles pour l’exploration, tandis que Genie permet aux utilisateurs d’aller au-delà des limites des tranches, des filtres et des combinaisons prédéfinis, le tout dans la même expérience. De plus, avec les nouvelles API de conversation Genie, les développeurs peuvent également intégrer Genie dans des outils de collaboration tels que Slack, Microsoft Teams ou des applications internes personnalisées. Cela ouvre de nouvelles façons pour les utilisateurs professionnels d’accéder à l’analyse conversationnelle dans le flux de travail, sans changer de contexte ni se connecter à une interface distincte.

Nous avons également fourni une gamme d’autres améliorations, allant des visualisations améliorées à une interface utilisateur repensée pour guider les utilisateurs finaux tout au long de leur analyse. Nous prévoyons de maintenir ce niveau élevé de vélocité des fonctionnalités après la mise à disposition générale ; veuillez consulter les notes de publication AI/BI et restez à l’écoute pour plus de blogs au fur et à mesure que nous continuons à ajouter des fonctionnalités au fil du temps.

Succès concrets avec Genie

Nous avons été ravis de l’adoption rapide de Genie ; plus de 4 000 clients ont adopté AI/BI Genie pendant son aperçu pour démocratiser les données et responsabiliser leurs utilisateurs non techniques. Voici un échantillon de ce que certains de nos clients en version préliminaire ont partagé avec nous à propos de Genie :

Genie change la façon dont nous responsabilisons les équipes chez HP. Grâce à son interface intuitive en langage naturel, nous permettons aux utilisateurs d’accéder instantanément aux données critiques, sans avoir besoin de coder, ce qui rend les informations basées sur les données plus rapides et plus efficaces. — Bruce Hillsberg, VP, Data Engineering & Insights, Technology & Innovation, HP Inc

Les utilisateurs envoyaient constamment des pings aux analystes pour leur demander : Hé, à quoi ressemblaient les ventes pour la région sud-ouest par rapport à l’année précédente ? L’idée de pouvoir simplement demander à Genie, plutôt que de chercher le bon analyste et d’espérer qu’il obtienne la bonne réponse, a été très excitante pour l’entreprise. — Shahmeer Mirza, directeur principal des données, AI/ML et R&D, 7-Eleven

Les dirigeants et autres chefs de secteur du marketing et des finances peuvent utiliser Genie pour accéder aux données dont ils ont besoin en utilisant simplement l’anglais courant. Absolument incroyable. — Felix Baker, responsable des services de données, SEGA Europe

Nous avons de nombreux autres clients qui ont connu un succès considérable avec Genie, notamment Premier Inc, Magic Orange, The AA et Casas Bahia, pour n’en citer que quelques-uns. Nous sommes ravis de permettre à davantage d’organisations de les rejoindre en rendant Genie généralement disponible.

Magasin de connaissances de nouvelle génération

Le cœur de Genie est son magasin de connaissances, un modèle sémantique vivant que le système d’IA de Genie consulte chaque fois qu’il répond à une question. Nous publions maintenant la prochaine génération de notre magasin de connaissances, qui permet aux auteurs de conserver les connaissances avec une granularité beaucoup plus fine et avec beaucoup moins d’efforts. Les auteurs peuvent ajouter des connaissances directement aux actifs de données, y compris les synonymes au niveau des colonnes et les valeurs échantillonnées, ainsi que le contexte au niveau des tables, tels que les jointures de clés primaires/étrangères ou les métriques certifiées, et plus encore. Le système d’IA composé de Genie peut récupérer les bonnes connaissances pour chaque question afin de fournir des réponses précises aux questions des utilisateurs.

Même avec ces améliorations, la conservation de la sémantique reste une corvée. Pour rendre ce processus beaucoup plus facile, Genie effectue maintenant l’exploration de connaissances et l’extraction.

L’exploration de connaissances (ci-dessus) permet à Genie de passer au crible la lignée d’Unity Catalog et l’historique des requêtes, tout en préservant les garanties de gouvernance d’Unity Catalog, pour suggérer de nouvelles instructions ou mettre en évidence les modèles récurrents qui méritent d’être promus au magasin de connaissances, réduisant ainsi la conservation manuelle pour les propriétaires d’espace.

Nous avons également de nombreux clients qui utilisent Genie pour de nouveaux cas d’utilisation où il n’y a aucune référence préalable pour amorcer le magasin de connaissances. Pour gérer ces cas, nous avons amélioré l’extraction des connaissances de Genie afin que la conservation se produise dans le cadre d’une utilisation régulière. Au cours de chaque session de chat, Genie extrait des informations sémantiques, propose des extraits de connaissances concis et, une fois que l’utilisateur les approuve, les enregistre dans le magasin.

Associée à la surveillance de l’activité intégrée et aux boucles de rétroaction, l’utilisation quotidienne elle-même devient un pipeline d’apprentissage continu qui maintient le modèle sémantique de Genie précis sans révisions périodiques.

Recherche approfondie Genie

Bien que la mise à disposition générale de Genie soit une étape importante, nous ne ralentissons pas notre parcours pour réimaginer la BI avec une approche axée sur l’IA. Nous sommes ravis d’annoncer l’aperçu de Genie Deep Research, un nouveau mode dans Genie conçu pour répondre à des questions plus complexes et à plusieurs étapes. Jusqu’à présent, Genie a été optimisé pour les questions « ce qui s’est passé » (par exemple, « Quel est notre pipeline de ventes ? »). Répondre aux questions « pourquoi » et « comment » (par exemple, « Pourquoi les ventes sont-elles en baisse ? » ou « Comment pouvons-nous augmenter notre pipeline ? ») exigeait que les utilisateurs formulent leurs propres hypothèses et demandent à Genie de tester chacune d’elles individuellement. Avec Deep Research, Genie tirera parti des dernières avancées de la recherche LLM pour aborder ces types de questions en produisant un plan de recherche et en analysant plusieurs hypothèses en parallèle avant de résumer les résultats.

Comme pour le reste de Genie, Deep Research s’appuiera sur le magasin de connaissances de Genie et l’étendra pour fournir des résultats précis et fiables. Genie fournira également explicitement des citations pour les conclusions qu’il a tirées et fournira des expériences simples en un clic pour examiner tout le travail effectué en cours de route. Deep Research sera mis à disposition en tant que fonctionnalité expérimentale pour les clients Genie plus tard cet été.

Amener AI/BI Genie à vos équipes commerciales

L’une des rares préoccupations que nous avons entendues de la part des clients au sujet du déploiement généralisé de Genie est que l’accès à AI/BI a jusqu’à présent nécessité de naviguer dans l’espace de travail technique Databricks, une expérience qui peut sembler intimidante pour les utilisateurs professionnels non techniques. Dans le cadre de nos annonces du Data and AI Summit, nous présentons également Databricks One, une nouvelle expérience qui offre aux équipes commerciales un accès simple et sûr aux tableaux de bord AI/BI et aux espaces Genie, ainsi qu’aux applications Databricks. Tout comme AI/BI, Databricks One est disponible gratuitement pour tous les clients Databricks SQL.

En savoir plus

AI/BI Genie et Dashboards sont maintenant disponibles pour les clients Databricks SQL sans licences supplémentaires requises. Si vous souhaitez en savoir plus, vous pouvez consulter la page Web AI/BI Genie et commencer en explorant le contenu suivant :

1. Documentation : Plongez plus en profondeur dans les détails avec notre documentation.
2. Démos : Regardez nos vidéos de démonstration, faites des visites guidées du produit et obtenez des tutoriels pratiques pour voir ces AI/BI en action.
3. Formation : Commencez avec la formation gratuite sur les produits via Databricks Academy
4. eBook : Téléchargez l’eBook Business Intelligence Meets AI eBook

Si vous n’êtes pas déjà client Databricks, vous pouvez également tester Genie et d’autres produits Databricks en vous inscrivant à un essai gratuit.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original