Databricks Data Privacy - Korean

이 콘텐츠는 Databricks 내에서 데이터 프라이버시를 관리하는 포괄적인 가이드를 제공합니다. 델타 레이크 아키텍처, 지역별 데이터 격리, GDPR/CCPA 준수, 변경 데이터 피드(CDF) 사용법 등 핵심 주제를 다룹니다. 실습 데모와 핸즈온 랩을 통해 참가자는 민감한 데이터를 보호하고 규정 준수를 보장하기 위한 Unity catalog 기능을 활용하는 방법을 배우며, 데이터 무결성을 효과적으로 보호할 수 있는 역량을 강화합니다.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

이 과정에서는 다음과 같은 기술/지식/능력을 가진 참가자들을 위해 내용이 개발되었습니다:

• Databricks 데이터 엔지니어링 및 데이터 사이언스 작업 공간을 사용하여 기본 코드 개발 태스크 수행 능력 (클러스터 생성, 노트북에서 코드 실행, 기본 노트북 작업 사용, git에서 저장소 가져오기 등)

• PySpark를 활용한 중급 프로그래밍 경험

• 다양한 파일 형식 및 데이터 소스에서 데이터 추출

• 데이터 정제를 위한 여러 일반적인 변환 적용

• 고급 내장 함수를 활용한 복잡한 데이터 재구성 및 조작

• Delta Lake를 활용한 중급 프로그래밍 경험(테이블 생성, 완전 및 증분 업데이트 수행, 파일 압축, 이전 버전 복원 등)

• Lakeflow Pipelines Editor를 사용한 데이터 파이프라인 구성 및 스케줄링 초급 경험

• PySpark를 사용한 Lakeflow Spark Declarative Pipelines 정의 초급 경험

• Auto Loader 및 PySpark 구문을 사용한 데이터 수집 및 처리

• APPLY CHANGES INTO 구문을 사용한 변경 데이터 캡처(CDCU) 피드 처리

• 파이프라인 이벤트 로그 및 결과 검토를 통한 DLT 구문 문제 해결

Outline

과정 소개

데이터 저장 안전하게

규정 준수

데이터 프라이버시

Unity Catalog

키 개념 및 구성요소

데이터 감사하기

데이터 격리

Unity Catalog에서 데이터 보안

PII 데이터 보안

가명화 및 익명화

요약 및 최고의 실천

PII 데이터 보안

스트리밍 데이터 그리고 CDF

변경된 데이터 캡처

데이터 삭제의 Databricks

CDF에서 레코드 처리 및 변경 사항 전파

CDF Lab을 통한 변경 사항 전파

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building ETL Pipelines with SQL - Korean

이 과정은 Databricks Data Intelligence Platform에서 순수 SQL을 사용해 운영 준비가 된 ETL 파이프라인을 구축하는 방법을 가르칩니다. 학생들은 점진적 적재를 위한 Auto Loader가 포함된 스트리밍 테이블, 실버에서 골드로 변환을 위한 점진적 리프레시가 있는 Materialized Views, 선언적 SCD 타입 1 및 타입 2 차원 관리를 위한 AUTO CDC(FLOW AUTO CDC), 그리고 운영 오케스트레이션을 위한 SQL 파일 작업이 포함된 Lakeflow Jobs를 배웁니다. 이 과정은 메달리온 아키텍처(브론즈 → 실버 → 골드)를 통해 현실적인 소매 데이터셋을 따라갑니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Advanced Techniques with Spark Declarative Pipelines - Korean

이 과정은 프로덕션 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Lakeflow Spark Declarative Pipelines(SDP)를 심층적으로 다룹니다. 여러분은 실제 레이크하우스(Lakehouse) 엔지니어링에 필수적인 고급 설계 패턴, 견고한 데이터 품질 관리 기법, 그리고 크로스 플랫폼 통합 방안을 학습하게 될 것입니다.

과정 전반에 걸쳐 여러분은 최신 데이터 수집 및 처리 기법을 깊이 있게 탐구하며, 레이아웃 최적화를 위한 Liquid Clustering이나 혼합 스키마 이벤트를 처리하는 Multiplex Streaming 패턴과 같은 도구들을 완벽하게 익히게 됩니다. 모든 모듈을 마치고 나면, 스키마 진화(Schema Evolution)에 자신 있게 대처하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 확실하게 보장하는 방법을 습득하게 될 것입니다.

강의와 실습 데모를 통해 여러분은 다음과 같은 역량을 갖추게 됩니다.

• 다중 소스에서 유입되는 데이터를 단일화된 Bronze 테이블로 수집하는 다중 흐름(Multi-flow) 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 리퀴드 클러스터링과 데이터 품질 기대치를 적용합니다.

• 크로스 플랫폼 데이터 접근을 위해 Iceberg UniForm을 활용한 Multiplex 패턴을 구현합니다.

• `AUTO CDC INTO` 기능을 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 유효하지 않은 레코드를 감사하고 관리하기 위한, 데이터 손실이 전혀 없는 격리(Quarantine) 파이프라인을 설계합니다.

Languages Available: English | 日本語 | Português BR | 한국어

Machine Learning Practitioner

Machine Learning Model Development - Korean

이 포괄적인 과정은 Databricks에서 전통적인 머신러닝 모델을 개발하는 실용적인 가이드를 제공하며, 널리 사용되는 ML 라이브러리를 활용한 실습 데모와 워크플로우에 중점을 둡니다. 참가자들은 Databricks의 강력한 기능을 활용하면서 회귀 및 클러스터링을 포함한 핵심 머신러닝 기법을 탐구하게 됩니다. 본 과정에서는 모델 추적을 위한 MLflow 통합, 특징 관리용 Databricks 특성 저장소, 하이퍼파라미터 튜닝용 Optuna를 다룹니다. 또한 참가자들은 Databricks AutoML을 통해 모델 훈련을 가속화하는 방법을 배우게 됩니다. 과정이 끝날 무렵, 학습자들은 Databricks 환경에서 머신러닝 모델을 효율적으로 개발, 최적화 및 배포할 수 있는 실제적이고 실용적인 기술을 습득하게 됩니다.

Languages Available: English | 日本語 | Português BR | 한국어