Mise à disposition de modèles

Databricks Model Serving est utilisé par les équipes de données et d'IA qui ont besoin de déployer et de gérer des modèles à l'échelle de la production, y compris des charges de travail à QPS élevé et en temps réel. Condé Nast s'appuie sur cette solution pour la personnalisation et les recommandations en temps réel dans l'ensemble de ses marques, You.com l'utilise pour déployer des modèles avec la fiabilité et l'échelle nécessaires aux applications en temps réel, GoGuardian sert des milliards d'inférences par jour pour protéger les étudiants dans des situations à enjeux élevés, et Edmunds l'utilise pour accéder et gérer en toute sécurité plusieurs modèles SaaS et ouverts. Cela le rend idéal pour les équipes exécutant à la fois des pipelines d'inférence par lots à grande échelle et des applications en temps réel critiques.

Model Serving vous permet de gérer des modèles ML personnalisés tels que les modèles PyFunc, scikit-learn et LangChain, des modèles de fondation hébergés sur Databricks tels que Llama 3, MPT et BGE, et des modèles de fondation hébergés ailleurs tels que ChatGPT, Claude 3, Cohere et Stable Diffusion. Tous ces éléments sont accessibles via une interface et une API unifiées, qu'ils soient hébergés par Databricks ou par un autre fournisseur de modèles sur Azure ou AWS. Cela signifie que vous pouvez déployer tout type de modèle, des modèles open source pré-entraînés aux modèles personnalisés construits à partir de vos propres données, sur des CPU et des GPU.

Model Serving permet de réaliser des inférences IA efficaces et serverless sur de grands datasets, tous les types de données et tous les modèles, sans avoir à gérer une infrastructure. Il s'intègre à Databricks SQL, Notebooks et Workflows pour que vous puissiez appliquer l'IA à grande échelle directement dans vos pipelines existants. Avec AI Functions, vous pouvez exécuter des inférences par lots à grande échelle instantanément, sans gestion d'infrastructure, tout en conservant la vitesse, l'évolutivité et la gouvernance.

Model Serving s'intègre à AI Gateway pour répondre aux exigences strictes de sécurité et de gouvernance dans chaque modèle servi. Cela vous permet d'appliquer des autorisations appropriées, de surveiller la qualité des modèles, de définir des limites de débit et de suivre le lineage, que les modèles soient hébergés par Databricks ou par un autre fournisseur. La gouvernance s'étend aux modèles augmentés par la génération augmentée par récupération (RAG) ou affinés en fonction de vos données d'entreprise, avec des recherches et une surveillance automatisées tout au long du cycle de vie de l'IA.

Le service de modèles s'exécute en tant qu'API à faible latence sur un service serverless hautement disponible avec prise en charge du CPU et du GPU, à un tarif soit payé par jeton à la demande sans engagement, soit payé pour le calcul provisionné pour un débit garanti. Le service évolue à partir de zéro pour répondre à la demande et diminue à mesure que les besoins changent, afin que vous ne payiez que ce que vous utilisez. Databricks se charge de la gestion et de la maintenance de l'infrastructure afin que votre équipe puisse se concentrer sur la création de valeur métier plutôt que sur l'exploitation des serveurs.

Vous pouvez essayer Databricks gratuitement ou planifier une démo directement depuis la page produit. À partir de là, vous pouvez commencer avec un ou plusieurs modèles pré-déployés ou déployer vos propres modèles personnalisés ou affinés, en choisissant une tarification de paiement par jeton ou de débit provisionné en fonction de votre charge de travail. La documentation de Model Serving et la documentation des API de Foundation Models fournissent des guides étape par étape pour le déploiement et la gestion de modèles.