Databricks + MosaicAI

Aujourd'hui, nous sommes ravis de vous annoncer que nous avons finalisé notre acquisition de MosaicML, une plateforme leader pour la création et la personnalisation de modèles d'IA générative pour votre entreprise. Depuis la création de Databricks, notre mission a été de démocratiser les données et l'IA pour chaque entreprise. L'IA générative alimentera la prochaine vague d'applications de données d'entreprise, et ensemble avec MosaicAI, nous prévoyons de fournir l'expérience de premier ordre pour l'entraînement, la personnalisation et le déploiement d'applications d'IA générative.

Nous travaillerons ensemble avec l'équipe MosaicAI pour accélérer ce que nous considérons comme les trois développements les plus importants requis pour faire passer l'IA générative au grand public pour les entreprises :

Démocratisation rapide des capacités des modèles. Nous croyons en un avenir où les modèles seront largement disponibles pour chaque entreprise. La démocratisation de toute technologie nécessite une réduction des prix et un accès accru. L'équipe MosaicAI s'est concentrée sur l'amélioration de l'efficacité du matériel et des logiciels pour réduire considérablement le coût d'entraînement et de personnalisation des grands modèles linguistiques. Nous continuerons à travailler ensemble pour réduire les coûts d'entraînement et de service afin de fournir des capacités de modélisation de haute qualité à une part de plus en plus importante du marché. La démocratisation nécessite également l'accès aux techniques. Nous travaillerons avec l'équipe de recherche de MosaicAI pour continuer à innover, en open source, sur les architectures de modélisation comme celles qui ont alimenté les populaires LLM de base MPT-7B et MPT-30B. À ce jour, MPT-7B a été téléchargé plus de 3 millions de fois, ce qui en fait le LLM open source le plus téléchargé jamais vu.

Faire fonctionner les modèles d'IA générative pour les entreprises. Nous nous sommes tous familiarisés avec les chatbots généralistes. Comme les chatbots grand public, les applications d'IA d'entreprise bénéficient également de capacités de raisonnement et d'interfaces basées sur le langage. Mais contrairement aux chatbots généralistes, les applications d'entreprise ont de nombreuses exigences supplémentaires. Elles doivent intégrer de grands volumes de données personnalisées : informations sur les processus métier, les clients, les comptes, les commandes ou d'autres aspects de leur activité. Elles doivent garantir la confidentialité et la sécurité de leurs utilisateurs et de leurs données. Les applications d'entreprise ont également peu de tolérance pour les hallucinations ou les réponses incorrectes. Databricks et MosaicAI ensemble rendront beaucoup plus facile pour les entreprises d'intégrer leurs propres données pour déployer des applications d'IA sûres, sécurisées et efficaces.

Unification de la pile IA et données. Chaque partie du cycle de vie du développement de modèles nécessite de bonnes données. Les entreprises se différencieront de leurs concurrents en utilisant des données propriétaires qui leur permettront de créer de meilleurs modèles et des applications plus intelligentes. Avec MosaicAI, Databricks continuera à placer les données au centre du parcours IA. Cela inclut la préparation des données en amont comme le nettoyage, la vectorisation et l'intégration des données pour une utilisation dans les modèles. Cela inclut également l'utilisation des données pour améliorer les modèles, dans une boucle de renforcement positif, en apprenant des données générées comment les modèles se comportent, et en enseignant aux modèles sur la base des résultats générés précédemment. À chaque étape du cycle de vie de l'apprentissage automatique, les données et les modèles doivent être co-curés afin de construire les meilleures applications. Ceci est encore plus important pour les modèles génératifs, où la qualité et la sécurité dépendent tellement de bonnes données d'entraînement.

Le produit de MosaicAI, qui permet aux entreprises de construire efficacement de grands modèles d'IA sur leurs propres données et processus métier, restera disponible à l'achat direct. À l'avenir, nous intégrerons étroitement MosaicAI à la plateforme Lakehouse AI, rapprochant ainsi la pile d'entraînement des données client et des autres capacités de Lakehouse AI. 

Nous sommes enthousiasmés par l'avenir de Databricks et MosaicAI et par la manière dont nous pouvons aider nos clients dans leurs ambitions en matière d'IA générative.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original