Databricks Streaming and Lakeflow Spark Declarative Pipelines - Korean
이 과정은 Spark Structured Streaming과 Delta Lake에 대한 포괄적인 이해를 제공하며, 여기에는 계산 모델, 스트리밍 읽기 구성, 스트리밍 환경에서의 데이터 품질 유지 관리 등이 포함됩니다.
참고: 이 과정은 'Databricks을 사용한 고급 데이터 엔지니어링' 과정 시리즈의 일부입니다.
Languages Available: English | 日本語 | Português BR | 한국어
이 과정에서는 다음과 같은 기술/지식/능력을 가진 참가자들을 위해 내용이 개발되었습니다:
• Databricks 데이터 엔지니어링 및 데이터 사이언스 워크스페이스를 사용하여 기본 코드 개발 태스크 수행 능력 (클러스터 생성, 노트북에서 코드 실행, 기본 노트북 작업 사용, git에서 저장소 가져오기 등)
• PySpark를 활용한 중급 프로그래밍 경험
• 다양한 파일 형식 및 데이터 소스에서 데이터 추출
• 데이터 정제를 위한 여러 일반적인 변환 적용
• 고급 내장 함수를 활용한 복잡한 데이터 재구성 및 조작
• Delta Lake를 활용한 중급 프로그래밍 경험(테이블 생성, 완전 및 증분 업데이트 수행, 파일 압축, 이전 버전 복원 등)
• Lakeflow Spark 선언적 파이프라인 UI를 사용한 데이터 파이프라인 구성 및 스케줄링 초급 경험
• PySpark를 사용한 Lakeflow Spark Declarative Pipeline 정의 초급 경험
• Auto Loader 및 PySpark 구문을 사용한 데이터 수집 및 처리
• APPLY CHANGES INTO 구문을 사용한 변경 데이터 캡처(CDCU) 피드 처리
• Declarative Pipeline 구문 문제 해결을 위한 파이프라인 이벤트 로그 및 결과 검토
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
지금 등록하세요
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
지금 등록하세요
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
