Apresentando os Clusters Fleet da Databricks para AWS
Temos o prazer de anunciar a disponibilidade geral dos clusters Databricks Fleet na AWS.
O que são clusters Fleet?
Os clusters Databricks Fleet desbloqueiam o potencial dos preços Spot sem o incômodo da seleção manual de instâncias, permitindo que a Databricks otimize e automatize inteligentemente o processo para você. Você pode usar instâncias Spot da AWS pelo menor custo possível, garantindo a disponibilidade, graças à capacidade da Databricks de se adaptar a várias instâncias em um único cluster. Evite as complexidades de gerenciar sua infraestrutura de nuvem e gaste seu tempo no que realmente importa: seus insights baseados em dados.
Os clusters Databricks Fleet introduzem um conjunto de novas famílias de instâncias fleet para nossos clientes AWS: m-fleet, md-fleet, r-fleet e rd-fleet nos tamanhos xlarge, 2xlarge, 4xlarge e 8xlarge. Instâncias m têm 4 GB de memória/vCPU, instâncias r têm 8 GB de memória/vCPU, e instâncias com d têm NVME SSD local anexado.
Por baixo dos panos, quando um cluster usa um desses tipos de instância fleet, a Databricks selecionará os tipos de instância física da AWS correspondentes com o melhor preço e disponibilidade para usar em seu cluster. A Databricks restringiu o conjunto de combinações de instâncias possíveis para garantir que você obtenha o máximo de estabilidade e desempenho do seu cluster. Continuaremos a atualizar quais instâncias usamos nos bastidores à medida que a AWS lança tipos adicionais, para que você não precise mais ajustar manualmente as definições do seu cluster. Quando seu cluster usa instâncias spot, selecionaremos os tipos de instância com o menor preço e menor probabilidade de interrupção do spot.
Por exemplo, se um cluster tiver a seguinte configuração:
Driver: rd-fleet.xlarge
Workers: rd-fleet.4xlarge
Número de Workers: 3
O cluster pode acabar adquirindo os seguintes tipos de instância:
Driver: r6id.xlarge
Workers: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge
As instâncias específicas são determinadas pelas condições de preço e capacidade no momento da criação do cluster. A Databricks cobrará de você com base nas taxas normais de DBU para cada uma das instâncias adquiridas.
Como posso usar?
Simplesmente crie um novo cluster ou pool de instâncias para usar um tipo de instância fleet. Recomendamos o uso de tipos de instância fleet tanto para worker quanto para driver.
Você também precisará garantir que a função IAM da AWS para seu workspace Databricks inclua as permissões mais atualizadas listadas em nossa documentação. Se alguma permissão estiver faltando, você será solicitado a adicioná-la ao tentar iniciar um cluster fleet.
OBSERVAÇÃO: Workspaces mais antigos serão atualizados para dar suporte a clusters fleet nas próximas semanas. Se você tiver algum problema de acesso, entre em contato com o suporte ao cliente.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original