Introduzione ai cluster Databricks Fleet per AWS

Siamo entusiasti di annunciare la disponibilità generale dei cluster Databricks Fleet su AWS.

Cosa sono i cluster Fleet?

I cluster Databricks Fleet sbloccano il potenziale dei prezzi Spot senza la complessità della selezione manuale delle istanze, consentendo a Databricks di ottimizzare e automatizzare in modo intelligente il processo per te. Puoi utilizzare le istanze Spot di AWS al minor costo possibile, garantendo al contempo la disponibilità, grazie alla capacità di Databricks di adattarsi a più istanze in un singolo cluster. Evita le complessità della gestione della tua infrastruttura cloud e dedica il tuo tempo a ciò che conta davvero: le tue intuizioni basate sui dati.

I cluster Databricks Fleet introducono una serie di nuove famiglie di istanze fleet per i nostri clienti AWS: m-fleet, md-fleet, r-fleet e rd-fleet nelle dimensioni xlarge, 2xlarge, 4xlarge e 8xlarge. Le istanze m hanno 4 GB di memoria/vCPU, le istanze r hanno 8 GB di memoria/vCPU e le istanze con d hanno SSD NVME locali collegati.

Sotto il cofano, quando un cluster utilizza uno di questi tipi di istanze fleet, Databricks selezionerà i tipi di istanze fisiche AWS corrispondenti con il miglior prezzo e disponibilità da utilizzare nel tuo cluster. Databricks ha limitato l'insieme delle possibili combinazioni di istanze per garantire la massima stabilità e prestazioni dal tuo cluster. Continueremo ad aggiornare le istanze che utilizziamo in background man mano che AWS lancia tipi aggiuntivi, in modo che tu non debba più ottimizzare manualmente le definizioni del tuo cluster. Quando il tuo cluster utilizza istanze spot, selezioneremo i tipi di istanze con il prezzo più basso e la minore probabilità di terminazione spot.

Ad esempio, se un cluster ha la seguente configurazione:

  Driver: rd-fleet.xlarge
  Workers: rd-fleet.4xlarge
  Numero di Workers: 3

Il cluster potrebbe finire per acquisire i seguenti tipi di istanze:

  Driver: r6id.xlarge
  Workers: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge

Le istanze specifiche sono determinate dalle condizioni di prezzo e capacità al momento della creazione del cluster. Databricks ti fatturerà in base alle normali tariffe DBU per ciascuna delle istanze acquisite.

Come posso usarlo?

Crea semplicemente un nuovo cluster o una pool di istanze per utilizzare un tipo di istanza fleet. Si consiglia di utilizzare tipi di istanza fleet sia per i worker che per il driver.

Dovrai anche assicurarti che il ruolo IAM di AWS per il tuo workspace Databricks includa le autorizzazioni più aggiornate elencate nella nostra documentazione. Se mancano delle autorizzazioni, ti verrà richiesto di aggiungerle quando tenterai di avviare un cluster fleet.

NOTA: i workspace più vecchi verranno aggiornati per supportare i cluster fleet nelle prossime settimane. In caso di problemi di accesso, contatta il supporto clienti.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale