AWS용 Databricks Fleet 클러스터 소개

AWS에서 Databricks Fleet 클러스터의 일반 공급을 발표하게 되어 기쁩니다.

Fleet 클러스터란 무엇인가요?

Databricks Fleet 클러스터는 Databricks가 프로세스를 지능적으로 최적화하고 자동화하도록 함으로써 수동 인스턴스 선택의 번거로움 없이 Spot 가격 책정의 잠재력을 발휘합니다. Databricks가 단일 클러스터에서 여러 인스턴스에 걸쳐 유연하게 조정할 수 있어 가용성을 보장하면서 가능한 가장 저렴한 비용으로 AWS Spot 인스턴스를 사용할 수 있습니다. 클라우드 인프라 관리에 대한 복잡성을 피하고 진정으로 중요한 데이터 기반 인사이트에 시간을 할애하세요.

Databricks Fleet 클러스터는 AWS 고객을 위해 새로운 fleet 인스턴스 제품군 세트를 도입합니다. xlarge, 2xlarge, 4xlarge 및 8xlarge 크기의 m-fleet, md-fleet, r-fleet 및 rd-fleet입니다. m 인스턴스는 4GB 메모리/vCPU, r 인스턴스는 8GB 메모리/vCPU를 가지며, d가 포함된 인스턴스에는 로컬 NVME SSD가 연결됩니다.

내부적으로 클러스터가 이러한 fleet 인스턴스 유형 중 하나를 사용할 때 Databricks는 클러스터에서 사용할 최적의 가격과 가용성을 가진 일치하는 물리적 AWS 인스턴스 유형을 선택합니다. Databricks는 클러스터에서 최대 안정성과 성능을 얻을 수 있도록 가능한 인스턴스 조합 세트를 제한했습니다. AWS가 추가 유형을 출시함에 따라 백그라운드에서 사용하는 인스턴스를 계속 업데이트하여 클러스터 정의를 수동으로 조정할 필요가 없도록 할 것입니다. 클러스터가 spot 인스턴스를 사용할 때 가장 저렴한 가격과 spot 종료 가능성이 가장 적은 인스턴스 유형을 선택합니다.

예를 들어 클러스터에 다음과 같은 구성이 있는 경우:

  드라이버: rd-fleet.xlarge
  워커: rd-fleet.4xlarge
  워커 수: 3

클러스터는 다음과 같은 인스턴스 유형을 획득할 수 있습니다:

  드라이버: r6id.xlarge
  워커: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge

특정 인스턴스는 클러스터 생성 시점의 가격 및 용량 조건에 따라 결정됩니다. Databricks는 획득한 각 인스턴스에 대해 일반 DBU 요율에 따라 요금을 청구합니다.

어떻게 사용할 수 있나요?

fleet 인스턴스 유형을 사용하려면 새 클러스터 또는 인스턴스 풀을 만들기만 하면 됩니다. 워커와 드라이버 모두에 fleet 인스턴스 유형을 사용하는 것이 좋습니다.

또한 Databricks 작업 공간에 대한 AWS IAM 역할에 문서에 나열된 최신 권한이 포함되어 있는지 확인해야 합니다. 권한이 누락된 경우 fleet 클러스터를 시작하려고 할 때 추가하라는 메시지가 표시됩니다.

참고: 이전 작업 공간은 향후 몇 주에 걸쳐 fleet 클러스터를 지원하도록 업데이트됩니다. 액세스에 문제가 있는 경우 고객 지원팀에 문의하십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)