Feature Engineering at Scale - Korean

이 과정에서는 Databricks 플랫폼에서 엔드투엔드 특성 엔지니어링 파이프라인을 설계, 스케일링 및 운영화하는 방법에 대한 포괄적인 이해를 습득합니다. 커리큘럼은 세 가지 점진적 모듈로 구성되어 있습니다: Spark의 분산 실행 및 최적화 기초 마스터링, Auto Loader 및 선언적 LakeFlow 파이프라인을 활용한 확장 가능한 데이터 수집 구현, 그리고 Databricks 특성 저장소를 활용한 생산 수준의 MLOps로의 발전입니다.

Catalyst Optimizer 및 Spark UI를 활용한 Spark 성능 디버깅, 자동화된 품질 검사를 포함한 강건한 브론즈-실버-골드 메달리온 아키텍처 구축, SparkML을 활용한 확장 가능한 특성 변환 구현 등 실습 학습 경험에 참여합니다. 본 과정은 온라인 특성 저장소를 통한 실시간 특성 서빙 배포, 온디맨드 변환을 포함한 FeatureSpec 정의, Unity Catalog를 활용한 거버넌스 및 리니지 추적 적용으로 마무리됩니다.

과정을 마치면 엔터프라이즈 스케일에서 머신 러닝을 위한 완전한 특성 라이프사이클을 관리할 수 있는 역량을 갖추게 됩니다. 즉, 성능이 뛰어나고 신뢰할 수 있으며 거버넌스가 적용된 생산 준비 완료 파이프라인을 설계할 수 있습니다.

참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘Next Lesson’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료된 것으로 표시되지 않을 수 있습니다.

Skill Level

Professional

Duration

Prerequisites

이 콘텐츠는 다음과 같은 기술, 지식 및 능력을 갖춘 학습자를 대상으로 개발되었습니다:

1. "Apache Spark 입문" 과정을 완료했거나 기본 데이터 변환 및 Spark SQL을 포함한 Spark에 대한 동등한 기초 지식을 보유하고 있어야 합니다.

* 학습자는 분산 데이터 처리에서 Spark의 역할에 익숙해야 합니다. 본 과정은 그 기초를 바탕으로 Spark가 확장 가능한 머신 러닝 워크플로를 어떻게 지원하는지 설명합니다.

2. 특히 `pandas`, `numpy`, `scikit-learn`과 같은 라이브러리를 사용한 데이터 조작을 위한 Python 프로그래밍 중급 수준의 능숙도가 필요합니다.

3. 모델 학습, 평가 및 하이퍼파라미터 튜닝을 포함한 전통적인 머신 러닝 워크플로에 대한 중급 수준의 이해가 필요합니다.

4. Databricks 플랫폼 및 Workflows에 대한 기본적인 이해가 필요합니다.

* 학습자는 본 과정을 수강하기 전에 Databricks 머신러닝 Associate 과정을 먼저 완료할 것을 강력히 권장합니다. 본 과정은 Databricks 환경을 사용한 ML 개발에 대한 지식을 전제로 합니다.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Omnigent Basics - Korean

이 과정은 Databricks의 오픈 소스 메타 하네스인 Omnigent와, 이를 활용하여 Databricks 플랫폼에서 AI Agents를 구축하고, 관리하며, 협업하는 방법을 소개합니다. 하네스란 무엇인지, 그리고 메타 하네스가 기존에 사용하던 에이전트 도구들의 위에 위치하여 상호 운용성을 제공하는 방식을 학습하고, Omnigent의 세 가지 핵심 기둥인 Combine, Control, Share를 탐험합니다. 인터랙티브 강의와 실습을 통해 Databricks 샌드박스에서 Omnigent 세션을 시작하고, 애플리케이션을 바이브 코딩하여 공유하며, 이식 가능한 YAML 에이전트를 선언하고, 상태 기반 컨텍스트 정책(치명적 트리펙타 및 프롬프트 인젝션에 대한 방어 포함)을 적용하며, 기본 내장 에이전트인 Polly 및 Debby와 함께 작업합니다. 이 과정을 마치면 Omnigent, Unity Gateway, Databricks 샌드박스를 활용하여 AI Agents를 조율하고 관리하는 방법을 이해하게 됩니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Build Data Pipelines with Apache Spark Declarative Pipelines - Korean

이 과정에서는 여러 스트리밍 테이블과 구체화된 보기를 통한 증분 배치 또는 스트리밍 수집 및 처리를 위해 Databricks의 Lakeflow 선언적 파이프라인를 사용하여 데이터 파이프라인을 구축하는 데 필요한 필수 개념과 기술을 사용자에게 소개합니다. Lakeflow 선언적 파이프라인를 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 보기 및 임시 보기와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하고 구체적인 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다.

- SQL을 사용하여 Lakeflow의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)

- Lakeflow 선언적 파이프라인이 파이프라인 그래프

를 통해 파이프라인의 데이터 종속성을 추적하는 방법- 파이프라인 컴퓨팅 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션

구성 다음으로, 이 과정에서는 Lakeflow의 데이터 품질 기대치를 소개하고, 데이터 무결성을 검증하고 적용하기 위해 기대치를 파이프라인에 통합하는 프로세스를 안내합니다. 그런 다음 학습자는 스케줄링 옵션, 프로덕션 모드, 파이프라인 이벤트 로깅을 활성화하여 파이프라인 성능 및 상태를 모니터링하는 등 파이프라인을 프로덕션에 적용하는 방법을 살펴봅니다.

마지막으로, 이 과정에서는 Lakeflow Declarative Pipelines 내에서 APPLY CHANGES INTO 구문을 사용하여 Change Data Capture (CDC)를 구현하여 느리게 변화하는 차원(SCD 유형 1 및 유형 2)을 관리하여 사용자가 CDC를 자신의 파이프라인에 통합할 수 있도록 준비하는 방법을 다룹니다.

Languages Available: English | 日本語 | Português BR | 한국어

Automated Deployment with Declarative Automation Bundles - Korean

이 과정은 DevOps 원칙과 이를 Databricks 프로젝트에 적용하는 방법을 포괄적으로 검토합니다. 핵심 DevOps, DataOps, 지continuous integration (CI), continuous deployment (CD), 테스트에 대한 개요로 시작하여 이러한 원칙을 데이터 엔지니어링 파이프라인에 적용하는 방법을 탐구합니다.

이어서 CI/CD 프로세스 내 지속적 배포에 초점을 맞추며, 프로젝트 배포를 위한 Databricks REST API, SDK, CLI와 같은 도구를 살펴봅니다. Databricks Asset Bundles(DAB)와 CI/CD 프로세스 내에서의 역할을 학습하게 됩니다. 주요 구성 요소, 폴더 구조, Databricks 내 다양한 대상 환경에 걸친 배포 간소화 방식을 심층적으로 다룹니다. 또한 Databricks CLI를 활용하여 서로 다른 구성의 다중 환경에 대해 변수 추가, 수정, 검증, 배포 및 실행하는 방법을 익히게 됩니다.

마지막으로, Visual Studio Code를 인터랙티브 개발 환경(IDE)으로 활용하여 로컬에서 Databricks Asset Bundles를 빌드, 테스트, 배포하는 방법을 소개함으로써 개발 프로세스를 최적화합니다. GitHub Actions를 활용한 배포 파이프라인 자동화를 통해 Databricks Asset Bundles의 CI/CD 워크플로우를 강화하는 방법에 대한 소개로 강좌를 마무리합니다.

본 과정 수료 시, Databricks Asset Bundles를 활용한 Databricks 프로젝트 배포 자동화 역량을 갖추게 되어 DevOps 관행을 통해 효율성을 향상시킬 수 있습니다.

참고: 이 강좌는 ‘Databricks을 사용한 고급 데이터 엔지니어링’ 시리즈의 네 번째 강좌입니다.

Paid & Subscription

Lab

Professional