Présentation de ai_decide : prenez des décisions rapides sur vos données gouvernées

Aujourd'hui, nous lançons une nouvelle Databricks AI Function ai_decide qui prend des décisions rapides sur vos données gouvernées.

Nous constatons que de nombreuses équipes utilisent des LLM pour des tâches qui ne nécessitent pas de raisonnement complexe ni de génération de texte. À quelle catégorie ce ticket d'assistance appartient-il ? Ce document nécessite-t-il une révision humaine ? Quel modèle doit traiter ce prompt ?

Ces questions alimentent de nombreux workflows d'entreprise à grande échelle de nos clients, du traitement de millions de documents au contrôle de la logique applicative en temps réel. Cependant, utiliser des LLM pour ces décisions structurées plus simples implique de payer pour une latence et des coûts supplémentaires qui s'accumulent à l'échelle de l'entreprise. Un modèle de décision comme Jev de TypeSafe AI comble cette lacune : au lieu de générer du texte, il prend une entrée non structurée et un ensemble de questions, et renvoie directement des décisions et leurs probabilités.

ai_decide est une nouvelle Databricks AI Function alimentée par un modèle de décision. Elle évalue une ou plusieurs questions par rapport à un texte en une fraction de seconde et, pour chaque question, renvoie soit une probabilité, soit un choix parmi des critères définis, soit un score sur une échelle ordonnée. Parce que ai_decide est optimisée pour des décisions rapides, elle offre une latence et un coût inférieurs à ceux d'un LLM pour des tâches similaires.

Essayez ai_decide dès aujourd'hui

ai_decide est désormais disponible en version Beta sur Databricks. Appelez-la depuis SQL pour prendre des décisions structurées à l'échelle sur vos données, ou via l'API REST pour des applications et des agents en temps réel. Pour les équipes qui développent déjà avec l'API de TypeSafe AI, la fonction ai_decide est directement compatible.

Vous ne savez pas par où commencer ? Si vous disposez de données non structurées et que vous devez les classifier, leur attribuer un score ou décider de la suite des événements, ai_decide est une excellente solution. Voici quelques cas d'usage que vous pouvez essayer dès aujourd'hui :

Analyser les avis clients pour identifier les problèmes de produits récurrents

Vous recevez des milliers d'avis sur vos produits chaque mois. Les clients décrivent tout, des instructions de configuration confuses aux erreurs de facturation.

Avec ai_decide, vous pouvez étiqueter chaque avis avec son problème principal et indiquer si le client souhaite retourner le produit, le tout en une seule requête SQL. Regroupez ces étiquettes par produit et par mois pour suivre les réclamations récurrentes et identifier les problèmes qui apparaissent le plus souvent avec les retours signalés.

Acheminer les prompts des utilisateurs vers le bon modèle

Imaginons que vous soyez un éditeur de logiciels développant un assistant AI. Vos utilisateurs demandent à l'assistant de tout faire, de la réécriture d'une phrase à la conception d'une architecture de base de données. Vous disposez de plusieurs modèles avec des coûts et des capacités différents, et vous souhaitez choisir le modèle approprié pour chaque requête.

Utilisez ai_decide pour déterminer le niveau de raisonnement et la difficulté du prompt. Acheminez ensuite la requête vers le modèle correspondant.

Un exemple de résultat response.answers :

Évaluer les réponses générées par l'AI avec un juge

Imaginons que vous gériez un site de commerce électronique doté d'un assistant d'assistance AI. Avant de publier une nouvelle version, vous souhaitez évaluer ses réponses par rapport à votre politique de remboursement. Vous disposez d'un ensemble de questions de clients, de réponses générées et de politiques de référence.

Utilisez ai_decide comme juge pour vérifier si une réponse respecte la politique et attribuer un score indiquant dans quelle mesure elle répond à la demande du client.

Voici un exemple de ligne de résultat, montrant response.answers :

Déterminer l'action suivante dans les applications en temps réel

Parce que ai_decide renvoie une décision en une fraction de seconde, elle est suffisamment rapide pour piloter une application en temps réel, où chaque décision dépend de l'état de l'instant précédent.

Pour le prouver, nous avons développé une démo en direct du jeu Snake, hébergée sur Databricks Apps. ai_decide joue au jeu : à chaque étape, l'application envoie le plateau actuel à ai_decide et lui demande dans quelle direction le serpent doit se déplacer ensuite.

Comme l'ensemble de la boucle de décision se ferme en une fraction de seconde, vous pouvez intégrer ai_decide derrière n'importe quelle décision en temps réel qu'un agent ou une application doit prendre : quel outil appeler, quelle branche choisir, quelle action effectuer ensuite.

Prise en main 

ai_decide est désormais disponible en version Beta. Utilisez-la en SQL pour classifier, attribuer des scores et prendre des décisions à l'échelle sur des données gouvernées, ou appelez l'API REST pour ajouter des décisions rapides à des applications et des agents en temps réel. Au-delà de la fonction managée, il existe un écosystème vaste et croissant de modèles de décision open-weight, et vous pouvez déployer et exécuter n'importe lequel d'entre eux directement en SQL sur Databricks. Consultez notre récent guide open-Jev ici.

Explorez la documentation SQL de ai_decide ou commencez à utiliser l'API REST.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original