Data Ingestion with Lakeflow Connect - Korean
이 과정에서는 다양한 소스에서 Databricks로 데이터를 수집하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. 먼저 다양한 유형의 Lakeflow Connect 커넥터(표준 및 관리형)를 탐색하고 배치, 증분 배치 및 스트리밍 수집을 포함한 다양한 데이터 수집 기술을 알아봅니다. 또한 Delta 테이블 및 Medallion 아키텍처를 사용할 때의 주요 이점도 검토합니다.
다음으로, Lakeflow Connect 표준 커넥터를 사용하여 클라우드 객체 스토리지에서 데이터를 수집하기 위한 실용적인 기술을 개발합니다. 여기에는 CREATE TABLE AS SELECT(CTAS), COPY INTO 및 Auto Loader와 같은 방법을 사용하는 작업이 포함되며 각 방법의 이점과 고려 사항에 중점을 둡니다. 또한 Databricks Data Intelligence Platform로 수집하는 동안 브론즈 수준 테이블에 메타데이터 열을 추가하는 방법도 알아봅니다. 그런 다음 이 과정에서는 복구된 데이터 열을 사용하여 테이블 스키마와 일치하지 않는 레코드를 처리하는 방법과 이 데이터를 관리하고 분석하기 위한 전략을 다룹니다. 또한 반정형 JSON 데이터를 수집하고 평면화하는 기술을 살펴봅니다.
그런 다음 Lakeflow Connect 관리형 커넥터를 사용하여 엔터프라이즈급 데이터 수집을 수행하여 데이터베이스 및 SaaS(Software-as-a-Service) 애플리케이션에서 데이터를 가져오는 방법을 살펴봅니다. 또한 이 과정에서는 파트너 도구를 수집 워크플로우에 통합하기 위한 옵션으로 Partner Connect를 소개합니다.
마지막으로, 이 과정은 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 수집 전략으로 마무리하여 최신 데이터 엔지니어링 사용 사례를 지원할 수 있는 강력한 기반을 제공합니다.
Languages Available: English | 日本語 | Português BR | 한국어
- Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture 및 Unity Catalog를 포함한 Databricks Data Intelligence Platform에 대한 기본적인 이해.
- 다양한 파일 형식(예: Parquet, CSV, JSON, TXT)으로 작업한 경험.
- SQL 및 Python에 능숙합니다.
- Databricks Notebooks에서 코드를 실행하는 데 익숙합니다.
Outline
Databricks에서의 데이터 엔지니어링 소개
- Databricks에서의 데이터 엔지니어링
- Lakeflow Connect란 무엇인가?
- Delta Lake 검토
- 실험 환경 탐색
클라우드 스토리지 데이터 수집을 위한 LakeFlow Connect 표준 커넥터
- 클라우드 스토리지로부터의 데이터 수집 소개
- 수집 시 메타데이터 열 추가
- 복구된 데이터 열 작업
- 반구조화 데이터(JSON) 가져오기
LakeFlow Connect 관리형 커넥터를 사용한 기업 데이터 가져오기
- Databricks로의 기업 데이터 가져오기 개요
- Lakeflow Connect를 사용한 기업 데이터 가져오기
가져오기 대안
- Databricks 마켓플레이스를 사용한 데이터 가져오기
- 기존 Delta 테이블로의 데이터 가져오기
- MERGE INTO를 사용한 데이터 가져오기
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
