Feature Engineering at Scale - Korean

이 과정에서는 Databricks Data Intelligence Platform에서 카탈로그 구조와 대규모 데이터 조직을 설계, 구현 및 거버넌스하는 방법을 학습합니다. 엔터프라이즈 레이크하우스의 중앙 집중식 거버넌스 계층으로서 Unity Catalog의 포괄적인 관점을 제공합니다. 5개 모듈로 나뉘어 있으며, Unity Catalog을 클라우드 배포 모델 내에 배치하는 것으로 시작하여 Account Console, metastore 생성 및 관리자 역할 계층 구조를 다룹니다. 그런 다음 명명 규칙, 소유권 패턴 및 MANAGE 위임을 사용하여 조직 토폴로지(사업부, 리전 및 개발/QA/프로덕션 환경)를 확장 가능한 카탈로그 및 스키마 설계로 변환합니다. 과정은 스토리지 자격 증명, 외부 위치, 관리 스토리지 계층 구조, 관리 대 외부 테이블 및 비테이블 데이터를 위한 UC Volumes와의 안전한 스토리지 통합을 다룹니다. 다음으로, 접근 패턴과 격리 전략 — 3단계 GRANT 체인, 워크스페이스-카탈로그 바인딩 및 스키마 수준 Attribute-Based Access Control (ABAC) 정책 — 을 적용하여 대규모 세분화된 데이터 보호를 시행합니다. 마지막으로, 과정은 카탈로그 설계, 자동화, 최소 권한 및 그룹 기반 접근 관리에 대한 모범 사례로 마무리됩니다. 

참고: SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 레슨’ 버튼을 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료된 것으로 표시되지 않을 수 있습니다.

이 과정에서는 Databricks Data Intelligence Platform에서 순수 SQL을 사용하여 생산 준비가 완료된 ETL 파이프라인을 구축하는 방법을 학습합니다. 수강생은 증분 수집을 위한 Auto Loader를 활용한 Streaming 테이블, 실버에서 골드로의 변환을 위한 증분 갱신이 적용된 구체화된 뷰(Materialized Views), 선언적 SCD Type 1 및 Type 2 차원 관리를 위한 AUTO CDC(FLOW AUTO CDC), 그리고 데이터 품질 기대값, PRIVATE 테이블, 통합 모니터링을 갖춘 생산 다중 테이블 파이프라인으로 이러한 객체를 그룹화하는 Apache Spark Declarative Pipelines(SDP)를 학습합니다. 이 과정은 메달리온 아키텍처(브론즈 → 실버 → 골드)를 따라 실제 소매 데이터셋을 다룹니다. Lakeflow Jobs를 활용한 오케스트레이션은 보너스 모듈로 제공됩니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

이 과정에서는 데이터 거버넌스와 Unity Catalog의 기본 사항을 탐험합니다. 데이터 카탈로그의 발전 과정과 목적, Unity Catalog의 아키텍처 및 구성 요소, 그리고 거버넌스에서 데이터 품질, 보안, 규정 준수, 리니지 및 감사의 중요성에 대해 학습합니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Languages Available: English | 日本語 | 한국어