Présentation de Agent Bricks : des agents auto-optimisés utilisant vos données

L'année dernière, la promesse de l'intelligence des données – construire une IA capable de raisonner sur vos données – est arrivée avec Mosaic AI, une plateforme complète pour construire, évaluer, surveiller et sécuriser les systèmes d'IA. Depuis, des milliers de nos clients ont mis en production des systèmes d'intelligence des données, construisant des agents spécifiques à leur domaine, alimentés par leurs données d'entreprise :

• Mastercard a déployé des assistants numériques pour accélérer l'intégration des clients
• AT&T protège les clients de la téléphonie mobile contre la fraude et les préjudices
• Crisis Text Line a créé des agents IA spécialisés dans la santé mentale pour former la prochaine génération de conseillers de crise
• Block a lancé goose, un assistant de codage IA basé sur le contexte de l'entreprise

Cependant, l'immaturité de la technologie générative signifiait que le chemin vers la production restait difficile. La construction d'agents de haute qualité était souvent trop complexe, pour plusieurs raisons :

• L'évaluation est difficile : De nombreuses tâches d'IA d'entreprise sont difficiles à évaluer, tant pour les humains que pour les juges LLM automatisés. Les benchmarks académiques tels que les examens de mathématiques ne se traduisent pas par des cas d'utilisation réels. La construction d'évaluations nuancées nécessitait souvent un étiquetage manuel coûteux. En conséquence, des projets prometteurs ont stagné dans des cycles de réglage sans fin, les parties prenantes perdant confiance en raison d'un manque de progrès clairs.
• Trop de paramètres : Les agents sont des systèmes d'IA complexes avec de nombreux composants, chacun ayant ses propres paramètres. Du réglage des invites aux stratégies de découpage d'index en passant par les choix de modèles et les paramètres de réglage fin, chaque ajustement crée des effets inconnus dans tout le système. Ce qui devrait être une amélioration itérative rapide devient un essai et erreur manuel coûteux et fastidieux, ralentissant le temps de mise en production.
• Coût et qualité : Même après que les équipes aient résolu les problèmes ci-dessus et construit un agent de haute qualité, elles sont souvent surprises de constater que l'agent est trop coûteux à déployer en production. Les équipes sont donc bloquées soit dans un long processus d'optimisation des coûts, soit forcées de faire des compromis entre coût et qualité.

Agent Bricks : des agents auto-optimisés pour vos tâches de domaine

Sur la base de nos expériences ci-dessus avec les clients pour déployer l'IA en production, nous avons passé l'année dernière à repenser la façon de construire des agents. Aujourd'hui, nous introduisons Agent Bricks, un nouveau produit qui change la façon dont les entreprises développent des agents spécifiques à leur domaine. Plutôt que de gérer la complexité écrasante du développement d'agents, les équipes peuvent se concentrer sur ce qui compte le plus : définir le but de leur agent et fournir des conseils stratégiques sur la qualité grâce à des retours en langage naturel. Agent Bricks s'occupe du reste, générant automatiquement des suites d'évaluation et auto-optimisant la qualité.

Voici comment cela fonctionne :

1. Déclarez votre tâche. Sélectionnez votre tâche, définissez en langage naturel une description de haut niveau de ce que vous voulez que l'agent accomplisse, et connectez vos sources de données.

2. Évaluation automatique : Agent Bricks créera alors automatiquement des benchmarks d'évaluation spécifiques à votre tâche, ce qui peut impliquer la génération synthétique de nouvelles données ou la construction de juges LLM personnalisés. 

   

3. Optimisation automatique : Agent Bricks recherche et combine intelligemment diverses techniques d'optimisation, telles que l'ingénierie des invites, le réglage fin des modèles, les modèles de récompense ou l'optimisation adaptative au moment du test (TAO) pour obtenir une haute qualité.
4. Coût et qualité : Agent Bricks garantit que les agents sont non seulement très efficaces, mais aussi rentables. Les utilisateurs peuvent choisir entre des modèles optimisés pour le coût ou pour la qualité. Dans de nombreux cas, la solution finale est de meilleure qualité et moins coûteuse par rapport aux autres approches DIY.

Avec Agent Bricks, éliminez les conjectures grâce aux évaluations automatiques. Nous optimisons automatiquement les paramètres, afin que vous puissiez faire confiance aux performances de votre agent et savoir qu'il fonctionne à son efficacité maximale. Le résultat final est que vous pouvez désormais déployer en production des agents de haute qualité et rentables. Agent Bricks est optimisé pour les cas d'utilisation courants de l'industrie, notamment l'extraction d'informations structurées, l'assistance fiable à la connaissance, la transformation de texte personnalisée et les systèmes multi-agents orchestrés.

Construisez des agents de haute qualité avec Agent Bricks

Agent Bricks est capable de mesurer, construire et améliorer continuellement la qualité. Par exemple, en construisant des agents conversationnels sur des documents, nous avons mesuré la qualité moyenne sur plusieurs benchmarks de questions-réponses. Comparé à d'autres produits dans ce domaine, Agent Bricks a construit des agents de qualité significativement supérieure (Figure 1). De plus, grâce à la capacité d'apprentissage continu, les performances continuent de s'améliorer avec le temps. 

Pour la compréhension de documents, Agent Bricks construit des systèmes de meilleure qualité et moins coûteux, par rapport aux LLM propriétaires optimisés par des invites (Figure 2). Nous pouvons obtenir un système de meilleure qualité sur un benchmark d'analyse de documents, mais jusqu'à 10 fois moins cher.  

Au-delà de ces benchmarks, nos clients sont également en mesure de construire des agents de qualité avec Agent Bricks :

"Agent Bricks nous a permis de doubler notre précision médicale par rapport aux LLM commerciaux standard, tout en respectant les normes internes élevées de Flo Health en matière de précision clinique, de sécurité, de confidentialité et de sûreté." — Roman Bugaev, CTO, Flo Health

« Agent Bricks a considérablement surpassé notre implémentation open-source d'origine en termes de métriques de précision, tant pour le LLM-comme-juge que pour l'évaluation humaine. » — Joel Wasson, Enterprise Data & Analytics, Hawaiian Electric

« [Agent Bricks] a accéléré nos capacités d'IA dans toute l'entreprise, nous guidant dans l'amélioration de la qualité de la boucle de rétroaction et l'identification d'options moins coûteuses qui fonctionnent tout aussi bien. » — Chris Nishnick, Directeur de l'IA, Lippert

Propulsé par les dernières recherches en apprentissage d'agents

Agent Bricks est capable d'obtenir ces résultats car il est alimenté par les recherches de notre équipe de recherche Databricks Mosaic AI. Il existe une multitude de méthodes pour améliorer la qualité des agents, et de nouvelles recherches sont publiées à un rythme effréné. Notre équipe sélectionne à la fois les recherches existantes et développe de nouvelles innovations qui sont ensuite utilisées par Agent Bricks pendant la phase d'évaluation et d'optimisation automatiques. Bien que nous ayons un large éventail de méthodes, nous sommes aujourd'hui ravis de mettre en avant l'une de nos innovations : l'apprentissage d'agents à partir de retours humains (ALHF).

Apprentissage d'agents à partir de retours humains (ALHF)

Un défi clé pour la qualité est la capacité à orienter le comportement de l'agent à partir des retours. C'est particulièrement difficile car les retours sont souvent limités à un pouce levé ou baissé, et il n'est pas clair quels composants et paramètres à l'intérieur d'un système d'agent doivent être ajustés pour tenir compte des retours. L'approche actuelle, qui consiste à intégrer toutes les instructions dans une seule invite LLM massive, est fragile et ne se généralise pas à un système d'agent plus complexe.

Avec ALHF, nous avons résolu ce problème avec deux approches. Premièrement, nous sommes capables de recevoir le contexte riche des conseils en langage naturel (par exemple, ignorer toutes les données avant mai 1990). Deuxièmement, sur la base de ces conseils en langage naturel, nos algorithmes traduisent intelligemment les conseils en optimisations techniques – affinant l'algorithme de récupération, améliorant les invites, filtrant la base de données vectorielle ou même modifiant le modèle agentique.

Cette approche démocratise le développement d'agents, permettant aux experts du domaine de contribuer directement à l'amélioration du système sans expertise technique approfondie en infrastructure IA.

"La capacité d'évaluer et d'améliorer continuellement la précision est une capacité clé pour Experian, en particulier dans une industrie hautement réglementée." — James Lin, Responsable de l'innovation IA ML, Experian

La voie à suivre : du laboratoire à la production en quelques jours, pas en quelques mois

Les premiers clients constatent déjà la transformation apportée par Agent Bricks – des améliorations de précision qui doublent les performances de référence et réduisent les délais de développement de plusieurs semaines à une seule journée. Plus important encore, ils obtiennent quelque chose qui semblait impossible il y a quelques mois : des systèmes d'IA durables et évolutifs qui apportent une valeur commerciale constante.

Agent Bricks représente plus qu'une évolution des outils – c'est un changement fondamental vers le développement d'IA matures, prêtes pour la production. Alors que les systèmes d'agents deviennent de plus en plus centraux dans les opérations d'entreprise, les approches de type « vérification d'ambiance » du passé ne seront tout simplement pas évolutives. Les organisations ont besoin d'une approche robuste et systématique pour construire et optimiser des agents intelligents capables de gérer la complexité et les exigences des applications commerciales du monde réel.

Clients utilisant Agent Bricks

De nombreux clients Databricks ont déjà créé des agents d'IA avec Agent Bricks, et nous sommes impatients de voir ce qu'ils pourront faire à l'avenir.

Regardez la vidéo avec Experian et Flo Health

« Avec Agent Bricks, nos équipes ont pu analyser plus de 400 000 documents d'essais cliniques et extraire des points de données structurés, sans écrire une seule ligne de code. En moins de 60 minutes, nous avions un agent fonctionnel capable de transformer des données complexes non structurées en données utilisables pour l'analyse. » — Joseph Roemer, Head of Data & AI, Commercial IT, AstraZeneca

« Agent Bricks nous a permis de créer un agent rentable auquel nous pouvions faire confiance en production. Grâce à une évaluation personnalisée, nous avons développé en toute confiance un agent d'extraction d'informations qui a analysé des calendriers législatifs non structurés, économisant 30 jours d'optimisation manuelle par essais et erreurs. » — Ryan Jockers, Assistant Director of Reporting and Analytics à la North Dakota University System

Essayez Agent Bricks dès aujourd'hui

Prêt à combler le fossé entre la « qualité de démonstration » et la « qualité de production » ? Agent Bricks est maintenant disponible en version bêta.

Pour commencer :

• Lisez la documentation
• Regardez la keynote
• Regardez les clients décrire les avantages de l'utilisation d'Agent Bricks
• Découvrez la visite du produit pour explorer comment Databricks Agent Bricks vous permet de créer des agents d'IA intelligents sans code qui s'optimisent automatiquement à l'aide de vos propres données

L'avenir de l'IA d'entreprise ne consiste pas à gérer la complexité, mais à se concentrer sur les résultats qui comptent, tandis qu'Agent Bricks s'occupe du reste.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original