데이터브릭스 델타 라이브 테이블(DLT)은 데이터 엔지니어가 작성하고 유지 관리해야 하는 코드의 양을 줄여 강력한 데이터 처리 파이프라인의 개발을 획기적으로 간소화합니다. 또한 데이터 유지 관리 및 인프라 운영의 필요성을 줄여주며, 사용자가 환경 간에 코드 및 파이프라인 구성을 원활하게 추진할 수 있도록 지원합니다. 하지만 여전히 사람들은 파이프라인에서 코드 테스트를 수행해야 하며, 이를 효율적으로 수행할 수 있는 방법에 대한 질문을 자주 받습니다.
이 블로그 게시물에서는 여러 고객과 함께 일한 경험을 바탕으로 다음 항목을 다룹니다:
델타 라이브 테이블에 데브옵스 모범 사례를 적용하는 방법.
단위 및 통합 테스트를 용이하게 하기 위해 DLT 파이프라인의 코드를 구조화하는 방법.
DLT 파이프라인의 개별 변환에 대한 단위 테스트를 수행하는 방법.
전체 DLT 파이프라인을 실행하여 통합 테스트를 수행하는 방법.
개발 운영 스테이지 간에 DLT 구성을 프로모션 하는 방법
모든 것을 통합하여 CI/CD 파이프라인을 구성 하는 방법(Azure DevOps를 예로 들어 설명).
DLT에 데브옵스(DevOps) 사례 적용하기
데브옵스 수행은 소프트웨어 개발 수명 주기(SDLC)를 단축하는 동시에 높은 품질을 제공하는 것을 목표로 합니다. 일반적으로 아래 단계를 포함합니다:
소스 코드 및 인프라의 버전 관리.
코드 리뷰.
환경 분리(개발/스테이지/프로덕션).
단위 및 통합 테스트를 통해 개별 소프트웨어 구성 요소 및 전체 제품에 대한 자동화된 테스트.
지속적인 통합(테스트) 및 변경 사항의 지속적인 배포(CI/CD).
이러한 모든 사례는 델타 라이브 테이블 파이프라인에도 적용할 수 있습니다:
그림: DLT 개발 워크플로우
이를 위해 데이터브릭스 제품 포트폴리오의 다음과 같은 기능을 사용합니다:
Databricks Repos는 다양한 Git 서비스에 대한 인터페이스를 제공하므로 코드 버전 관리, CI/CD 시스템과의 통합, 환경 간 코드 프로모션에 사용할 수 있습니다.
CI/CD 시스템이 커밋에 반응하여 빌드 파이프라인(CI/CD의 CI 부분)을 시작하여 스테이징 데이터브릭스 Repo를 변경 사항으로 업데이트하고 단위 테스트 실행을 트리거합니다.
a) 통합 테스트도 함께 실행할 수 있지만, 경우에 따라 일부 브랜치에 대해서만 또는 별도의 파이프라인만 실행할 수도 있습니다.
모든 테스트가 성공적으로 완료되고 코드가 검토되면 변경 사항이 Git 리포지토리의 메인(또는 전용 브랜치)에 병합됩니다.
변경 사항을 특정 브랜치(예: releases)로 병합하면 프로덕션 환경의 데이터브릭스 Repo를 업데이트하는 릴리스 파이프라인(CI/CD의 CD 부분)이 트리거될 수 있으므로 다음에 파이프라인이 실행될 때 코드 변경 사항이 적용됩니다.