Databricks 자산 번들 데모

학습할 내용

Databricks asset bundles 는 데이터, 분석, 그리고 ML 프로젝트를 bundle이라는 소스 파일의 모음으로 표현할 수 있게 해줍니다. 번들의 소스 파일은 프로젝트의 종단간 정의 역할을 합니다. 이 소스 파일들은 어떻게 테스트하고 배포할지에 대한 정보를 포함하고 있습니다. 이 end-to-end 정의는 소스 제어, 코드 리뷰, 테스팅, 그리고 CI/CD와 같은 데이터 엔지니어링의 모범 사례를 적용하기 쉽게 만들어줍니다.

번들에는 다음 부분이 포함됩니다:

  • 소스 파일, 예를 들어 노트북과 파이썬 파일,은 비즈니스 로직을 포함하고 있습니다.

  • Databricks 자원에 대한 선언과 설정, 예를 들어 Databricks 작업, Delta Live Tables 파이프라인, Model Serving 엔드포인트, MLflow 실험, 그리고 MLflow 등록된 모델들.

  • 단위 테스트와 통합 테스트.

  • 번들이 배포될 작업 공간 또는 작업 공간을 정의하는 구성.