Lakeflow 선언형 파이프라인 - 소개

이 데모는 모든 사람이 데이터 엔지니어링에 접근할 수 있도록 하는 ETL 프레임워크인 Lakeflow Declarative Pipeline에 대한 소개입니다. SQL 또는 Python에서 변환을 간단히 선언하면, 선언형 파이프라인이 데이터 엔지니어링의 복잡성을 대신 처리해줍니다:

• ETL 개발 가속화: 간단한 파이프라인 개발 및 유지보수로 분석가와 데이터 엔지니어가 빠르게 혁신할 수 있게 합니다
• 운영 복잡성 제거: 복잡한 관리 작업을 자동화하고 파이프라인 작업에 대한 보다 넓은 시야를 얻음
• 기본 내장 품질 관리 및 모니터링을 통해 신뢰할 수 있는 데이터를 제공하여 정확하고 유용한 BI, 데이터 사이언스 및 ML 보장
• AI로 데이터를 강화하세요: Databricks SQL AI 쿼리를 사용하여 최첨단 변환을 수행하세요
• 배치 및 스트리밍 간소화: 배치 또는 스트리밍 처리를 위한 자동 최적화 및 자동 스케일링 데이터 파이프라인

이 데모에서는 우리의 자전거 대여 시스템에 대한 정보를 포함하는 원시 데이터셋을 입력으로 사용할 것입니다. 우리의 목표는 이 데이터를 거의 실시간으로 수집하고, 데이터 품질을 보장하면서 분석팀을 위한 테이블을 구축하는 것입니다.

데모를 설치하려면, 무료 Databricks 작업공간 을 받아 Python 노트북에서 다음 두 명령을 실행하세요

Dbdemos는 완전한 Databricks 데모를 작업 공간에 설치하는 Python 라이브러리입니다. Dbdemos는 노트북, DLT 파이프라인, 클러스터, Databricks SQL 대시보드, 웨어하우스 모델 등을 로드하고 시작합니다... dbdemos 사용 방법을 참조하세요

Dbdemos는 GitHub 프로젝트로 배포됩니다.

자세한 내용은 GitHub의 README.md 파일 을 참조하고 문서를 따르십시오.
Dbdemos는 그대로 제공됩니다. 라이센스 와 공지 를 참조하여 자세한 정보를 확인하십시오.
Databricks는 dbdemos 및 관련 자산에 대한 공식 지원을 제공하지 않습니다.
문제가 발생한 경우 티켓을 열어주시면 데모 팀이 최선을 다해 살펴보겠습니다.