Service de modèle de fondation Mosaic AI
Servez des modèles de fondation haut de gamme pour vos charges de travail d'inférence en batch et en temps réel. Créez des applications rapidement et simplement en profitant de modèles d'IA générative de grande qualité, sans avoir à maintenir votre propre déploiement.
Prix des modèles de fondation à la demande
* Disponibilité régionale : AWS, Azure, GCP, SAP
1. La bande de débit est une unité de capacité disponible pour le débit provisionné. Le débit dans une bande varie selon le modèle ; consultez le tableau ci-dessous pour plus d'informations
2. Le throughput maximal provisionné par bande pour les charges d'inférence par lots est supérieur d'environ 50 % aux charges de travail en temps réel indiquées dans le tableau
3. Le tarif horaire est facturé par tranche d'une minute.
Service de modèles de fondation – Tarif des DBU et throughput
| Modèle | Paiement par jeton | Throughput provisionné pour les bandes de mise à l'échelle1 |
Throughput provisionné pour la bande d'entrée (disponible uniquement pour les modèles de base aux États-Unis, au Canada et au Brésil)3 |
|||
|---|---|---|---|---|---|---|
| DBU/1 million de jetons d'ENTRÉE (Global) |
DBU/1 million de jetons de SORTIE (Global) |
DBU/heure (Global) |
Bande de throughput2 (jetons max./sec) |
DBU/heure (global) |
Jetons max/seconde | |
| Modèles actuels | ||||||
| Llama 3.1 405B | 35,714 | 142,857 | 600,000 | 3 400 | 150 000 | 850 |
| Llama 4 Maverick | 7,143 | 21,429 | 85,715 | 3 875 | 85,715 | 3 875 |
| Llama 3.3 70B | 7,143 | 21,429 | 342,857 | 10 500 | 85,714 | 2 600 |
| Llama 3.1 70B | N/A | N/A | 342,857 | 10 500 | 85,714 | 2 600 |
| Llama 3.1 8B | 2,143 | 6,429 | 106,000 | 23 000 | 53,571 | 11 500 |
| Llama 3.2 3B | N/A | N/A | 92,857 | 22 000 | 46,429 | 10 900 |
| Llama 3.2 1B | N/A | N/A | 85,714 | 35 000 | 42,857 | 15 800 |
| GTE | 1,857 | N/A | 20,000 | 9 450 | 20,000 | 9 450 |
| BGE Large | 1,429 | N/A | 24,000 | 11 800 | 24,000 | 11 800 |
| Modèles hérités | ||||||
| DBRX | N/A | N/A | 171,429 | 650 | 171,429 | 650 |
| Llama 3 70B | N/A | N/A | 212,143 | 1 000 | 212,143 | 1 000 |
| Llama 3 8B | N/A | N/A | 106,000 | 3 000 | 106,000 | 3 000 |
| Llama 2 70B | N/A | N/A | 290,800 | 1 200 | 290,800 | 1 200 |
| Llama 2 13B | N/A | N/A | 112,000 | 980 | 112,000 | 980 |
| Mixtral 8x7B | N/A | N/A | 290,857 | 620 | 290,857 | 5 000 |
| MPT 30B | N/A | N/A | 112,000 | 450 | 112,000 | 450 |
| MPT 7B | N/A | N/A | 20,000 | 2 450 | 20,000 | 2 450 |
1 : La bande de throughput est un throughput maximum (en jetons par seconde) propre au modèle, fourni au tarif horaire indiqué ci-dessus. Dans le cas du service de throughput provisionné, le throughput du modèle est fourni en incréments de la « bande de throughput » spécifique. Pour profiter d'un throughput supérieur, le client devra définir un multiple approprié de la bande de throughput de départ, qui sera facturé en multipliant le tarif horaire ci-dessus.
1 : Le throughput indiqué est un exemple basé sur un cas d'usage typique en temps réel avec un nombre d'entrées/sorties de 3 500/300 jetons. Le throughput réel varie en fonction du cas d'usage, de la forme des requêtes et d'autres facteurs. Les ratios d'entrées/sorties ne s'appliquent pas à l'intégration des modèles.
3: La bande d'entrée est disponible uniquement sur AWS aux États-Unis, au Canada et au Brésil, et sur Azure aux États-Unis, au Canada, au Brésil et en Union européenne. La bande d'entrée n'est pas non plus disponible pour les versions affinées des modèles de base.
Payez à l'utilisation avec un essai gratuit de 14 jours. Ou contactez-nous pour connaître les remises sur engagements de dépenses et nous détailler vos besoins spécifiques.