Automated Deployment with Databricks Asset Bundles - Korean
이 과정에서는 DevOps 원칙과 이를 Databricks 프로젝트에 적용하는 방법을 포괄적으로 살펴봅니다. 이 과정은 핵심 DevOps, DataOps, continuous integration (CI), continuous deployment (CD) 및 테스트에 대한 개요부터 시작하여 이러한 원칙을 데이터 엔지니어링 파이프라인에 어떻게 적용할 수 있는지 알아봅니다.
그런 다음 이 과정은 CI/CD 프로세스 내에서 지속적 배포에 초점을 맞추고 프로젝트 배포를 위한 Databricks REST API, SDK, CLI와 같은 도구를 살펴봅니다. Databricks Asset Bundles (DAB)에 대해 알아보고 이것이 CI/CD 프로세스에 어떻게 적용되는지 알아보겠습니다. Databricks Asset Bundles의 핵심 구성 요소, 폴더 구조 및 이를 통해 다양한 대상 환경에서 배포를 간소화하는 방법에 대해 자세히 알아보겠습니다. 또한 Databricks CLI를 사용하여 다양한 구성의 여러 환경에서 Databricks Asset Bundles를 변수 추가, 수정, 검증, 배포 및 실행하는 방법도 알아봅니다.
마지막으로, 이 과정에서는 Databricks Asset Bundles를 로컬에서 빌드, 테스트 및 배포하여 개발 프로세스를 최적화하기 위한 대화형 개발 환경(IDE)인 Visual Studio Code를 소개합니다. 이 과정은 Databricks Asset Bundles를 사용하여 CI/CD 워크플로를 개선하기 위해 GitHub Actions를 사용하여 배포 파이프라인을 자동화하는 방법을 소개하면서 마무리됩니다.
이 과정을 마치면 Databricks Asset Bundles를 사용하여 Databricks 프로젝트 배포를 자동화하고 DevOps 방식을 통해 효율성을 개선할 수 있습니다.
참고: 이 강좌는 ‘Databricks을 사용한 고급 데이터 엔지니어링’ 시리즈의 네 번째 강좌입니다.
- Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog, Delta Live Tables, Workflows를 포함한 Databricks 플랫폼에 대한 강력한 지식. 특히, Delta Live Table을 통한 Expectations 활용에 대한 지식이 필요합니다.
- PySpark를 사용하여 데이터 처리 및 DataFrame 조작에 능숙하며, 데이터 수집 및 변환에 대한 경험이 있습니다. 지원자는 또한 데이터 분석 및 변환을 위한 중간 복잡도의 SQL 쿼리를 작성한 경험이 있어야 합니다.
- 함수 및 클래스를 설계하고 구현하는 능력과 Python 패키지를 만들고, 가져오고, 활용하는 경험을 포함한 Python 프로그래밍에 대한 능숙함.
- DevOps 방법론, 특히 continuous integration 및 continuous delivery/deployment (CI/CD) 원칙에 대한 친숙함.
- Git 버전 제어에 대한 기본적인 이해.
- 선행 과목 데이터 엔지니어링을 위한 DevOps 필수 과목
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
