Mosaic AI Gateway vous permet de gérer des modèles comme OpenAI GPT-4, Meta Llama 3 ou Anthropic Claude 3 pour les besoins de vos cas d'usage. Vous pouvez également affiner ou créer vos propres modèles personnalisés : modèles prédictifs, LLM personnalisés, etc. Vous pouvez enfin créer, publier et partager des outils d'IA permettant de récupérer des données non structurées, d'exécuter du code ou d'interagir avec des services distants.

Mosaic AI Model Serving facilite le déploiement d'agents, de chaînes, de modèles d'IA générative et de modèles d'IA classiques. MLflow, solution open source de pointe pour les MLOps et les LLMOps, simplifie l'ensemble du cycle de vie de l'IA pour tous les modèles, de l'entraînement au déploiement. Elle accélère les cas d'usage du ML et de l'IA générative grâce à un processus fiable de préparation des données, de développement des modèles, de déploiement et de supervision.

Mosaic AI Agent Evaluation fournit une évaluation intégrée pour les agents qui utilisent n'importe quelle combinaison de modèles GenAI et ML. Cette solution mesure la qualité des résultats à l'aide de juges assistés par IA qui notent les réponses et permet aux experts humains de donner du feedback. Lorsqu'elle détecte des problèmes de qualité, vous pouvez remonter jusqu'à la cause profonde, évaluer les corrections et redéployer rapidement.

Avec Unity Catalog, seul Mosaic AI fournit une gouvernance de bout en bout pour les agents. Vous pouvez piloter l'ensemble des modèles d'IA, y compris lorsqu'ils sont hébergés en dehors de Databricks, et y appliquer des mesures de protection. La solution vous permet d'appliquer des contrôles d'accès adaptés, de définir des taux limites, de bloquer le contenu dangereux et d'assurer la traçabilité des données, de la source au déploiement.