Présentation des clusters Databricks Fleet pour AWS

Nous sommes ravis d'annoncer la disponibilité générale des clusters Databricks Fleet sur AWS.

Qu'est-ce qu'un cluster Fleet ?

Les clusters Databricks Fleet libèrent le potentiel des tarifs Spot sans les tracas de la sélection manuelle des instances, en permettant à Databricks d'optimiser et d'automatiser intelligemment le processus pour vous. Vous pouvez utiliser les instances AWS Spot au coût le plus bas possible, tout en garantissant la disponibilité, grâce à la capacité de Databricks à s'adapter à plusieurs instances dans un seul cluster. Évitez la complexité de la gestion de votre infrastructure cloud et consacrez votre temps à ce qui compte vraiment : vos informations basées sur les données.

Les clusters Databricks Fleet introduisent un ensemble de nouvelles familles d'instances fleet pour nos clients AWS : m-fleet, md-fleet, r-fleet et rd-fleet dans les tailles xlarge, 2xlarge, 4xlarge et 8xlarge. Les instances m ont 4 Go de mémoire/vCPU, les instances r ont 8 Go de mémoire/vCPU, et les instances avec d ont un NVME SSD local attaché.

En coulisses, lorsqu'un cluster utilise l'un de ces types d'instances fleet, Databricks sélectionne les types d'instances physiques AWS correspondants avec le meilleur prix et la meilleure disponibilité à utiliser dans votre cluster. Databricks a restreint l'ensemble des combinaisons d'instances possibles pour garantir que vous obteniez une stabilité et des performances maximales de votre cluster. Nous continuerons à mettre à jour les instances que nous utilisons en arrière-plan à mesure qu'AWS lance de nouveaux types, de sorte que vous n'ayez plus à ajuster manuellement les définitions de votre cluster. Lorsque votre cluster utilise des instances spot, nous sélectionnerons les types d'instances avec le prix le plus bas et la moindre probabilité de terminaison spot.

Par exemple, si un cluster a la configuration suivante :

  Driver : rd-fleet.xlarge
  Workers : rd-fleet.4xlarge
  Nombre de Workers : 3

Le cluster peut finir par acquérir les types d'instances suivants :

  Driver : r6id.xlarge
  Workers : r6id.4xlarge, r6id.4xlarge, r5d.4xlarge

Les instances spécifiques sont déterminées par les conditions de prix et de capacité au moment de la création du cluster. Databricks vous facturera selon les tarifs DBU normaux pour chacune des instances acquises.

Comment puis-je l'utiliser ?

Créez simplement un nouveau cluster ou un pool d'instances pour utiliser un type d'instance fleet. Nous recommandons l'utilisation des types d'instances fleet pour les workers et les drivers.

Vous devrez également vous assurer que le rôle IAM AWS de votre espace de travail Databricks inclut les autorisations les plus récentes listées dans notre documentation. Si des autorisations manquent, vous serez invité à les ajouter lorsque vous tenterez de démarrer un cluster fleet.

NOTE : Les anciens espaces de travail seront mis à jour pour prendre en charge les clusters fleet dans les semaines à venir. Si vous rencontrez des problèmes d'accès, veuillez contacter le support client.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original