Data Ingestion with Lakeflow Connect - Korean

이 과정에서는 다양한 소스에서 Databricks로 데이터를 수집하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. 먼저 다양한 유형의 Lakeflow Connect 커넥터(표준 및 관리형)를 탐색하고 배치, 증분 배치 및 스트리밍 수집을 포함한 다양한 데이터 수집 기술을 알아봅니다. 또한 Delta 테이블 및 Medallion 아키텍처를 사용할 때의 주요 이점도 검토합니다.

다음으로, Lakeflow Connect 표준 커넥터를 사용하여 클라우드 객체 스토리지에서 데이터를 수집하기 위한 실용적인 기술을 개발합니다. 여기에는 CREATE TABLE AS SELECT(CTAS), COPY INTO 및 Auto Loader와 같은 방법을 사용하는 작업이 포함되며 각 방법의 이점과 고려 사항에 중점을 둡니다. 또한 Databricks Data Intelligence Platform로 수집하는 동안 브론즈 수준 테이블에 메타데이터 열을 추가하는 방법도 알아봅니다. 그런 다음 이 과정에서는 복구된 데이터 열을 사용하여 테이블 스키마와 일치하지 않는 레코드를 처리하는 방법과 이 데이터를 관리하고 분석하기 위한 전략을 다룹니다. 또한 반정형 JSON 데이터를 수집하고 평면화하는 기술을 살펴봅니다.

그런 다음 Lakeflow Connect 관리형 커넥터를 사용하여 엔터프라이즈급 데이터 수집을 수행하여 데이터베이스 및 SaaS(Software-as-a-Service) 애플리케이션에서 데이터를 가져오는 방법을 살펴봅니다. 또한 이 과정에서는 파트너 도구를 수집 워크플로우에 통합하기 위한 옵션으로 Partner Connect를 소개합니다.

마지막으로, 이 과정은 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 수집 전략으로 마무리하여 최신 데이터 엔지니어링 사용 사례를 지원할 수 있는 강력한 기반을 제공합니다.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

- Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture 및 Unity Catalog를 포함한 Databricks Data Intelligence Platform에 대한 기본적인 이해.

- 다양한 파일 형식(예: Parquet, CSV, JSON, TXT)으로 작업한 경험.

- SQL 및 Python에 능숙합니다.

- Databricks Notebooks에서 코드를 실행하는 데 익숙합니다.

Outline

Databricks에서의 데이터 엔지니어링 소개

- Databricks에서의 데이터 엔지니어링

- Lakeflow Connect란 무엇인가?

- Delta Lake 검토

- 실험 환경 탐색

클라우드 스토리지 데이터 수집을 위한 LakeFlow Connect 표준 커넥터

- 클라우드 스토리지로부터의 데이터 수집 소개

- 수집 시 메타데이터 열 추가

- 복구된 데이터 열 작업

- 반구조화 데이터(JSON) 가져오기

LakeFlow Connect 관리형 커넥터를 사용한 기업 데이터 가져오기

- Databricks로의 기업 데이터 가져오기 개요

- Lakeflow Connect를 사용한 기업 데이터 가져오기

가져오기 대안

- Databricks 마켓플레이스를 사용한 데이터 가져오기

- 기존 Delta 테이블로의 데이터 가져오기

- MERGE INTO를 사용한 데이터 가져오기

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building Reliable Conversational Agents with Genie - Korean

이 코스에서는 Databricks Genie Space를 설계, 구축, 유지 관리하는 방법을 배웁니다. Genie Space는 비즈니스 사용자가 거버넌스된 데이터에 대해 질문하고 코드를 작성하지 않고도 SQL 기반 답변을 받을 수 있는 자연어 인터페이스입니다.

Genie가 Databricks AI/BI 제품군에 어떻게 들어맞는지, 그리고 자연어를 어떻게 신뢰할 수 있는 SQL 쿼리로 변환하는지 배웁니다. 이 코스는 정확하고 일관되며 신뢰할 수 있는 결과를 제공하는 Genie Space를 만드는 데 무엇이 필요한지에 초점을 맞춥니다.

소스 데이터를 이해하고 벤치마크를 정의하는 것에서부터, Knowledge Store의 큐레이션 도구 전체를 사용해 Genie Space를 구성하고 개선하는 것까지, 완전한 엔드 투 엔드 워크플로를 따라갑니다. 이 도구에는 메타데이터, 동의어, 프롬프트 매칭, SQL 로직, 예시 쿼리, 텍스트 instructions가 포함됩니다.

또한 Databricks One을 통해 비즈니스 사용자와 Genie Space를 공유하는 방법, Unity Catalog 거버넌스가 어떻게 자동으로 적용되는지를 이해하고, 모니터링과 사용자 피드백을 사용해 시간이 지나면서 품질을 지속적으로 개선하는 방법을 배웁니다.

코스를 마칠 때쯤이면, 거버넌스되고 셀프서비스인 대화형 분석을 대규모로 제공하는, 생산 준비가 된 Genie Space를 만들고 관리할 수 있게 됩니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Languages Available: English | 日本語

Architecting Data Warehouses for Large-Scale Deployments - Korean

이 과정에서는 대규모 data warehousing 배포를 위한 성능 최적화, 비용 관리 및 보안을 다룹니다.

이 과정은 여러 사업부에 걸쳐 수백 또는 수천 명의 사용자에게 서비스를 제공하는 Databricks 환경을 관리하는 data warehousing 실무자를 위해 설계되었습니다. 높은 성능, 비용 효율성, 보안 표준 준수를 유지하면서 data warehousing 운영을 효율적으로 확장하는 데 필요한 기술을 습득하게 됩니다.

Languages Available: English | 日本語 | Português BR | Español | française

Building ETL Pipelines with SQL - Korean

이 과정은 Databricks Data Intelligence Platform에서 순수 SQL을 사용해 운영 준비가 된 ETL 파이프라인을 구축하는 방법을 가르칩니다. 학생들은 점진적 적재를 위한 Auto Loader가 포함된 스트리밍 테이블, 실버에서 골드로 변환을 위한 점진적 리프레시가 있는 Materialized Views, 선언적 SCD 타입 1 및 타입 2 차원 관리를 위한 AUTO CDC(FLOW AUTO CDC), 그리고 운영 오케스트레이션을 위한 SQL 파일 작업이 포함된 Lakeflow Jobs를 배웁니다. 이 과정은 메달리온 아키텍처(브론즈 → 실버 → 골드)를 통해 현실적인 소매 데이터셋을 따라갑니다.