Économies sur le calcul serverless pour les Notebooks, les Jobs et les Pipelines

Nous avons récemment annoncé la disponibilité générale de nos offres de calcul serverless pour les Notebooks, les Jobs et les Pipelines. Le calcul serverless offre un démarrage rapide des charges de travail, une mise à l'échelle automatique de l'infrastructure et des mises à niveau transparentes du runtime Databricks. Nous nous engageons à continuer d'innover avec notre offre serverless et à améliorer continuellement le rapport prix/performance pour vos charges de travail. Aujourd'hui, nous sommes ravis de faire quelques annonces qui contribueront à améliorer votre expérience des coûts serverless :

1. Améliorations de l'efficacité qui se traduisent par une réduction de plus de 25 % des coûts de calcul serverless existants et futurs pour la plupart des clients, en particulier ceux dont les charges de travail sont de courte durée.
2. Observabilité des coûts améliorée qui permet de suivre et de surveiller les dépenses au niveau de chaque Notebook, Job et Pipeline.
3. Contrôles simples (disponibles à l'avenir) pour les Jobs et les Pipelines qui vous permettront d'indiquer une préférence pour optimiser l'exécution des charges de travail en fonction des coûts plutôt que des performances.
4. Disponibilité continue de la réduction de 50 % pour les offres de calcul serverless pour les jobs et les pipelines, et de 30 % pour les notebooks.

Améliorations de l'efficacité

Sur la base des informations recueillies lors de l'exécution des charges de travail des clients, nous avons mis en œuvre des améliorations de l'efficacité qui permettront à la plupart des clients de réduire leurs dépenses de calcul serverless de 25 % ou plus. Ces améliorations réduisent principalement le coût des charges de travail courtes. Ces changements seront déployés automatiquement au cours des prochaines semaines, garantissant que vos Notebooks, Jobs et Pipelines bénéficient de ces mises à jour sans avoir à prendre de mesures.

Observabilité des coûts améliorée

Pour rendre la gestion des coûts plus transparente, nous avons amélioré nos capacités de suivi des coûts. Tous les coûts de calcul associés au serverless seront désormais entièrement traçables jusqu'à l'exécution individuelle du Notebook, du Job ou du Pipeline. Cela signifie que vous ne verrez plus de coûts de calcul serverless partagés non attribués à une charge de travail particulière. Cette attribution granulaire offre une visibilité sur le coût total de chaque charge de travail, facilitant le suivi et la gouvernance des dépenses. De plus, nous avons ajouté de nouveaux champs au tableau système d'utilisation facturable, notamment le nom du Job, le chemin du Notebook et l'identité de l'utilisateur pour les Pipelines afin de simplifier le reporting des coûts. Nous avons créé un modèle de tableau de bord qui facilite la visualisation des tendances de coûts dans vos espaces de travail. Vous pouvez en savoir plus et télécharger le modèle ici.

Contrôles futurs permettant d'indiquer une préférence pour l'optimisation des coûts

Pour chacune de vos charges de travail de plateforme de données, vous devez déterminer le bon équilibre entre performance et coût. Avec le calcul serverless, nous nous engageons à simplifier la manière dont vous atteignez les objectifs de prix/performance de vos charges de travail spécifiques. Actuellement, notre offre serverless se concentre sur la performance - nous optimisons l'infrastructure et gérons notre flotte de calcul afin que vos charges de travail bénéficient d'un démarrage rapide et de temps d'exécution courts. C'est idéal pour les charges de travail nécessitant une faible latence et lorsque vous ne souhaitez pas gérer ou payer pour des pools d'instances.

Cependant, nous avons également entendu vos commentaires concernant le besoin d'options plus rentables pour certains Jobs et Pipelines. Pour certaines charges de travail, vous êtes prêt à sacrifier un certain temps de démarrage ou une certaine vitesse d'exécution pour des coûts inférieurs. En réponse, nous sommes ravis de présenter un ensemble de contrôles simples et directs qui vous permettront de donner la priorité aux économies de coûts par rapport aux performances. Cette nouvelle flexibilité vous permettra de personnaliser votre stratégie de calcul pour mieux répondre aux exigences spécifiques de prix et de performance de vos charges de travail. Restez à l'écoute pour plus d'informations sur cette évolution passionnante dans les mois à venir.

Bénéficiez de 50 % de réduction sur le calcul serverless – Offre d'introduction à durée limitée !

Profitez de nos réductions d'introduction : obtenez 50 % de réduction sur le calcul serverless pour les Jobs et les Pipelines, et 30 % pour les Notebooks, valables jusqu'au 30 avril 2025. Cette offre à durée limitée est l'occasion idéale d'explorer le calcul serverless à moindre coût – ne la manquez pas !

Commencez à utiliser le calcul serverless dès aujourd'hui :

• Activez le calcul serverless dans votre compte sur AWS ou Azure
• Assurez-vous que votre espace de travail est activé pour utiliser Unity Catalog et se trouve dans une région prise en charge sur AWS ou Azure
• Pour les charges de travail PySpark existantes, assurez-vous qu'elles sont compatibles avec le mode d'accès partagé et DBR 14.3+
• Suivez les instructions spécifiques pour connecter vos Notebooks, Jobs, Pipelines au calcul serverless
• Utilisez le calcul serverless à partir de tout système tiers à l'aide de Databricks Connect. Développez localement depuis votre IDE, ou intégrez de manière transparente vos applications avec Databricks en Python pour un flux de travail fluide et efficace.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original