Einführung von Databricks Fleet-Clustern für AWS

Wir freuen uns, die allgemeine Verfügbarkeit von Databricks Fleet-Clustern auf AWS bekannt zu geben.

Was sind Fleet-Cluster?

Databricks Fleet-Cluster erschließen das Potenzial von Spot-Preisen ohne den Aufwand der manuellen Instanzauswahl, indem sie es Databricks ermöglichen, den Prozess für Sie intelligent zu optimieren und zu automatisieren. Sie können AWS Spot-Instanzen zu den geringstmöglichen Kosten nutzen, und das alles bei gleichzeitiger Gewährleistung der Verfügbarkeit, dank der Fähigkeit von Databricks, über mehrere Instanzen in einem einzigen Cluster zu flexibilisieren. Vermeiden Sie die Komplexität der Verwaltung Ihrer Cloud-Infrastruktur und widmen Sie Ihre Zeit dem, was wirklich zählt: Ihren datengesteuerten Erkenntnissen.

Databricks Fleet-Cluster führen eine Reihe neuer Fleet-Instanzfamilien für unsere AWS-Kunden ein: m-fleet, md-fleet, r-fleet und rd-fleet in den Größen xlarge, 2xlarge, 4xlarge und 8xlarge. m-Instanzen haben 4 GB Speicher/vCPU, r-Instanzen haben 8 GB Speicher/vCPU, und Instanzen mit d haben angehängte lokale NVME-SSDs.

Im Hintergrund wählt Databricks bei Verwendung dieser Fleet-Instanztypen die passenden physischen AWS-Instanztypen mit dem besten Preis und der besten Verfügbarkeit für Ihren Cluster aus. Databricks hat die Menge der möglichen Instanzkombinationen eingeschränkt, um sicherzustellen, dass Sie maximale Stabilität und Leistung aus Ihrem Cluster herausholen. Wir werden weiterhin aktualisieren, welche Instanzen wir im Hintergrund verwenden, wenn AWS zusätzliche Typen auf den Markt bringt, sodass Sie Ihre Cluster-Definitionen nicht mehr manuell abstimmen müssen. Wenn Ihr Cluster Spot-Instanzen verwendet, wählen wir die Instanztypen mit dem niedrigsten Preis und der geringsten Wahrscheinlichkeit einer Spot-Beendigung aus.

Wenn ein Cluster beispielsweise die folgende Konfiguration hat:

  Driver: rd-fleet.xlarge
  Workers: rd-fleet.4xlarge
  Number of Workers: 3

Der Cluster kann die folgenden Instanztypen erwerben:

  Driver: r6id.xlarge
  Workers: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge

Die spezifischen Instanzen werden durch die Preis- und Kapazitätsbedingungen zum Zeitpunkt der Clustererstellung bestimmt. Databricks berechnet Ihnen die normalen DBU-Sätze für jede der erworbenen Instanzen.

Wie kann ich es nutzen?

Erstellen Sie einfach einen neuen Cluster oder einen Instanzpool, um einen Fleet-Instanztyp zu verwenden. Wir empfehlen die Verwendung von Fleet-Instanztypen sowohl für Worker als auch für den Driver.

Sie müssen außerdem sicherstellen, dass die AWS IAM-Rolle für Ihren Databricks-Workspace die aktuellsten Berechtigungen enthält, die in unserer Dokumentation aufgeführt sind. Wenn Berechtigungen fehlen, werden Sie aufgefordert, diese hinzuzufügen, wenn Sie versuchen, einen Fleet-Cluster zu starten.

HINWEIS: Ältere Workspaces werden in den kommenden Wochen aktualisiert, um Fleet-Cluster zu unterstützen. Wenn Sie Probleme mit dem Zugriff haben, wenden Sie sich bitte an den Kundensupport.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag