Get Started with Databricks: End to End - Korean

이 과정에서는 생산 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습합니다.

과정 전반에 걸쳐 최신 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex 스트리밍 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 익히게 됩니다.

강의와 실습 데모를 통해 다음을 수행합니다.

• 다중 소스 데이터를 통합된 브론즈 테이블로 수집하는 멀티 플로우 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 Liquid 클러스터링과 데이터 품질 Expectations를 적용합니다.

• 크로스 플랫폼 데이터 액세스를 위해 Iceberg UniForm과 함께 Multiplex 패턴을 구현합니다.

• AUTO CDC INTO를 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 잘못된 레코드를 감사하고 관리하는 데이터 손실 없는 격리 파이프라인을 설계합니다.

참고: 

1. 이 과정은 'Databricks를 활용한 고급 데이터 엔지니어링' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫으십시오. ‘다음 레슨’ 버튼을 클릭하지 마십시오. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

회사 AI Assistant를 효과적으로 활용하기 위한 프롬프팅의 두 가지 기초 과정입니다. 1부(기초)에서는 프롬프트의 구체성이 답변 품질에 미치는 영향을 설명하고, RAG 아키텍처를 통해 내부 지식을 기반으로 동작하는 어시스턴트를 뛰어나지만 문자 그대로 받아들이는 인턴으로 비유하며, 접근 가능한 정보와 그렇지 않은 정보를 다루고, 신뢰하되 검증하는 사고방식을 강조하며, C-O-I-E 프레임워크(Context, Outcome, Instruction, Example)를 소개합니다. 2부(기법)에서는 프롬프팅 기법의 툴킷을 구축하고 기법 선택 방법을 학습합니다. 구체적으로는 작업에 맞는 접근 방식 선택, 콘텐츠 생성(제로샷 및 퓨샷), 추론(chain-of-thought, self-ask, meta-prompting), 워크플로(프롬프트 체이닝 및 단일 프롬프트와 체이닝의 선택 기준), 그리고 프롬프트의 명확한 구조화를 다룹니다.

이 과정은 Databricks 계정 및 해당 워크스페이스의 관리자가 알아야 할 내용을 클라우드에 관계없이 다룹니다. 플랫폼 아키텍처 및 관리자 역할, 컴퓨트 리소스 관리, ID 관리, CI/CD 툴링 관리, 워크스페이스 관리 및 보안이 포함됩니다. 클라우드별 세부 사항(IAM, 스토리지, 네트워킹)은 별도의 클라우드 관리자 과정에서 다룹니다. 이 과정은 학습자가 Databricks Accredited Platform Administrator 인증을 취득할 수 있도록 준비시켜 줍니다.

참고: SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. '다음 레슨' 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.