Presentamos los clústeres Databricks Fleet para AWS
Nos complace anunciar la disponibilidad general de los clústeres Databricks Fleet en AWS.
¿Qué son los clústeres Fleet?
Los clústeres Databricks Fleet liberan el potencial de los precios Spot sin la molestia de la selección manual de instancias, permitiendo que Databricks optimice y automatice inteligentemente el proceso por usted. Puede usar instancias AWS Spot al menor costo posible, garantizando la disponibilidad gracias a la capacidad de Databricks de adaptarse a múltiples instancias en un solo clúster. Evite las complejidades de administrar su infraestructura en la nube y dedique su tiempo a lo que realmente importa: sus insights basados en datos.
Los clústeres Databricks Fleet introducen un conjunto de nuevas familias de instancias fleet para nuestros clientes de AWS: m-fleet, md-fleet, r-fleet y rd-fleet en tamaños xlarge, 2xlarge, 4xlarge y 8xlarge. Las instancias m tienen 4 GB de memoria/vCPU, las instancias r tienen 8 GB de memoria/vCPU, y las instancias con d tienen SSD NVME local adjunto.
En segundo plano, cuando un clúster utiliza uno de estos tipos de instancia fleet, Databricks seleccionará los tipos de instancia física de AWS que coincidan con el mejor precio y disponibilidad para usar en su clúster. Databricks ha restringido el conjunto de combinaciones de instancias posibles para garantizar que obtenga la máxima estabilidad y rendimiento de su clúster. Continuaremos actualizando las instancias que usamos en segundo plano a medida que AWS lance tipos adicionales, para que ya no tenga que ajustar manualmente las definiciones de su clúster. Cuando su clúster utilice instancias spot, seleccionaremos los tipos de instancia con el precio más bajo y la menor probabilidad de terminación spot.
Por ejemplo, si un clúster tiene la siguiente configuración:
Driver: rd-fleet.xlarge
Workers: rd-fleet.4xlarge
Number of Workers: 3
El clúster puede terminar adquiriendo los siguientes tipos de instancia:
Driver: r6id.xlarge
Workers: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge
Las instancias específicas se determinan por las condiciones de precio y capacidad en el momento de la creación del clúster. Databricks le facturará según las tarifas DBU normales para cada una de las instancias adquiridas.
¿Cómo puedo usarlo?
Simplemente cree un nuevo clúster o grupo de instancias para usar un tipo de instancia fleet. Recomendamos usar tipos de instancia fleet tanto para el worker como para el driver.
También deberá asegurarse de que el rol IAM de AWS para su espacio de trabajo de Databricks incluya los permisos más actualizados que se enumeran en nuestra documentación. Si faltan permisos, se le pedirá que los agregue al intentar iniciar un clúster fleet.
NOTA: Los espacios de trabajo más antiguos se actualizarán para admitir clústeres fleet en las próximas semanas. Si tiene algún problema de acceso, póngase en contacto con el soporte al cliente.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original