당신의 dbt 작업을 조정하고 실행하세요
학습할 내용
dbt는 데이터를 변환하고 레이크하우스에 로드하는데 사용되는 인기 있는 데이터 프레임워크입니다. Databricks는 Databricks SQL 웨어하우스를 사용하여 생산용 dbt 파이프라인을 매우 쉽게 시작할 수 있게 해줍니다.
이 dbt와 Databricks 데모에서는 다음을 다룰 예정입니다:
- 고객 데이터 세트를 수집하기 위해 dbt 파이프라인을 구축하는 방법. ('lakehouse-retail-c360' 데모에서 사용 가능한 것과 동일한 파이프라인을 구축할 예정입니다).
- 당신의 아이디어로부터 dbt 파이프라인을 시작하는 방법.
- 그리고 결국에는 Databricks 워크플로우가 어떻게 dbt 작업을 시작하여 생산 실행을 조정할 수 있는지에 대해 알아보겠습니다.
참고: 이 데모는 귀하의 개인 폴더에 있는 저장소를 복제합니다.
https://github.com/databricks-demos/dbt-databricks-c360
데모를 설치하려면 무료 Databricks 워크스페이스 를 받아 Python 노트북에서 다음 두 명령을 실행하세요
Dbdemos는 Python 라이브러리로, 여러분의 워크스페이스에 완전한 Databricks 데모를 설치합니다. Dbdemos는 노트북, DLT 파이프라인, 클러스터, Databricks SQL 대시보드, 웨어하우스 모델 등을 로드하고 시작합니다... dbdemos 사용 방법을 확인해 보세요.