Build Data Pipelines with Apache Spark Declarative Pipelines - Korean

이 과정은 Python을 처음 접하는 완전한 초보자를 대상으로 하며, 데이터를 프로그래밍 방식으로 다루는 기초를 제공합니다. 과정은 프로그래밍 표현식, 변수, 데이터 타입에 대한 기본 소개로 시작합니다. 이후 조건문 및 제어문, 함수, 컬렉션 타입, 반복문, 오류 처리, 클래스로 이어집니다. 외부 라이브러리를 활용하여 Python을 확장하는 방법을 배우고, 데이터 분석 및 시각화를 위한 Pandas 라이브러리 사용 경험을 쌓게 되며, Apache Spark를 활용한 Pandas Workflows 확장도 포함됩니다. 마지막으로 클라우드 컴퓨팅의 기본 개념을 탐험합니다. 과정 전반에 걸쳐 실습 과제를 통해 실습으로 넘어갑니다, 수업 이후에도 프로그래밍 지식을 심화할 수 있는 추가 리소스도 제공됩니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

본 과정은 최신의 가장 인기 있는 프레임워크와 Databricks 기능을 사용하여 생성형 AI 애플리케이션을 구축하려는 데이터 과학자, 머신러닝 엔지니어 및 기타 데이터 실무자를 대상으로 합니다.

참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에 슬라이드 덱 사용을 중단합니다. 강의 노트북은 Vocareum 실습 환경에서 이용할 수 있습니다.

아래에서는 본 과정에 포함된 네 개의 4시간 모듈을 각각 설명합니다.

Building RAG Agents with Agent Bricks: 본 과정에서는 Databricks Agent Bricks를 사용하여 검색 에이전트를 구축하기 위한 실습 교육을 제공합니다. 참가자는 Knowledge Assistants를 탐색하고 쿼리하며, AI Functions를 사용하여 비정형 문서를 정형 데이터로 파싱하고, 시맨틱 검색을 위해 텍스트를 청크로 나누며, Vector Search 인덱스를 구축하고, 여러 지식 소스를 기반으로 하는 프로덕션 준비된 Knowledge Assistants를 생성하는 방법을 학습합니다.

Building Agentic Applications on Databricks: 본 과정에서는 학생들이 Databricks에서 프로덕션 등급의 에이전트 애플리케이션을 구축하는 방법을 학습합니다. 학생들은 Unity Catalog와 MCP를 사용하여 거버넌스된 에이전트 도구를 생성하고, OpenAI Agents SDK로 단일 및 다중 에이전트 시스템을 구축하며, 슈퍼바이저 에이전트로 오케스트레이션되는 knowledge assistant 사용 사례를 위해 Agent Bricks와 Genie를 활용하는 방법을 학습합니다. 본 과정은 도구 프로토타이핑부터 프로덕션 배포까지의 전체 진행 과정을 다루며, MLflow 트레이싱을 사용하여 에이전트 실행을 관찰하는 실습 경험을 제공합니다.

Agent Evaluation on Databricks: 본 과정에서는 학생들이 MLflow의 평가 프레임워크를 사용하여 AI 에이전트를 체계적으로 평가하는 방법을 학습하며, 기존 소프트웨어 테스트로는 처리할 수 없는 비결정론적 AI 시스템의 고유한 과제를 다룹니다. 학생들은 정확성 및 안전성과 같은 일반적인 기준을 위한 기본 내장 심사위원(built-in judges), 비즈니스별 요구 사항을 위한 가이드라인 심사위원, 특수한 요구 사항을 위한 맞춤형 심사위원 등 다양한 평가 접근 방식을 구현하는 방법을 학습합니다. 본 과정은 큐레이션된 데이터셋을 사용하는 오프라인 평가와 온라인 프로덕션 모니터링을 모두 다루며, MLflow의 트레이싱 기능을 사용하여 에이전트 실행 패턴을 이해하고 다양한 유형의 이해관계자로부터 인간 피드백을 수집하는 실습 경험을 제공합니다. 실용적인 데모와 랩을 통해 학생들은 AI 에이전트 개발 수명 주기 전반에 걸쳐 지속적인 품질 개선을 이끄는 평가 워크플로를 만드는 기술을 개발합니다.

Deploying and Monitoring Agent Applications on Databricks: 본 과정에서는 Databricks에서 생성형 AI 에이전트를 배포하고 모니터링하기 위한 엔드투엔드 수명 주기를 다룹니다. 참가자는 Declarative Automation Bundles(DABs)를 사용하여 에이전트를 Databricks Apps로 배포하고, Model Context Protocol(MCP)을 통해 도구를 통합하며, MLflow Tracing으로 에이전트를 계측하고, 스코어러, 멀티턴 심사위원 및 온라인 평가를 사용하여 프로덕션 품질을 평가하는 방법을 학습합니다. 실습 데모와 랩을 통해 참가자는 Databricks 플랫폼에서 프로덕션 등급의 AI 에이전트를 구축, 관찰 및 모니터링하는 실용적인 경험을 얻습니다.

Languages Available: English | 日本語 | Português BR | 한국어

이 과정에서는 Databricks에서 프로덕션급 에이전틱 애플리케이션을 구축하는 방법을 학습합니다. 학습자는 Unity Catalog와 MCP를 사용하여 거버넌스가 적용되는 에이전트 도구를 만들고, OpenAI Agents SDK로 단일 및 멀티 에이전트 시스템을 구축하며, supervisor agent가 오케스트레이션하는 Knowledge Assistant 사용 사례에 Agent Bricks와 Genie를 활용하는 방법을 배웁니다. 이 과정은 도구 프로토타이핑부터 프로덕션 배포까지 전체 단계를 다루며, MLflow tracing을 사용하여 에이전트 실행을 관찰하는 실습 경험을 제공합니다.

참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에 슬라이드 덱 사용을 중단합니다. 강의 노트북은 Vocareum 실습 환경에서 이용할 수 있습니다.