Developing Applications with Apache Spark™ - Korean

이 과정에서는 대규모 data warehousing 배포를 위한 성능 최적화, 비용 관리 및 보안을 다룹니다.

이 과정은 여러 사업부에 걸쳐 수백 또는 수천 명의 사용자에게 서비스를 제공하는 Databricks 환경을 관리하는 data warehousing 실무자를 위해 설계되었습니다. 높은 성능, 비용 효율성, 보안 표준 준수를 유지하면서 data warehousing 운영을 효율적으로 확장하는 데 필요한 기술을 습득하게 됩니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

이 과정은 Databricks Data Intelligence Platform에서 순수 SQL을 사용해 운영 준비가 된 ETL 파이프라인을 구축하는 방법을 가르칩니다. 학생들은 점진적 적재를 위한 Auto Loader가 포함된 스트리밍 테이블, 실버에서 골드로 변환을 위한 점진적 리프레시가 있는 Materialized Views, 선언적 SCD 타입 1 및 타입 2 차원 관리를 위한 AUTO CDC(FLOW AUTO CDC), 그리고 운영 오케스트레이션을 위한 SQL 파일 작업이 포함된 Lakeflow Jobs를 배웁니다. 이 과정은 메달리온 아키텍처(브론즈 → 실버 → 골드)를 통해 현실적인 소매 데이터셋을 따라갑니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

이 교육 과정에서는 Databricks SQL에 대한 포괄적인 소개를 제공합니다. 학습자는 데이터를 수집하고, 쿼리를 작성하고, 시각화 및 대시보드를 만들고, 알림을 구성합니다. 이 과정을 통해 Databricks 공인 데이터 분석가 자격증 시험을 준비할 수 있습니다.이 과정은 4시간짜리 두 개의 모듈로 구성됩니다.

SQL Analytics on Databricks

이 과정에서는 Databricks SQL에 특히 초점을 맞춰 Databricks를 사용하여 데이터 분석을 효과적으로 수행하는 방법을 학습합니다. Databricks 데이터 애널리스트로서 귀하의 책임에는 관련 데이터를 찾고, 잠재적인 응용 프로그램을 위해 데이터를 분석하고, 귀중한 비즈니스 통찰력을 제공하는 형식으로 데이터를 변환하는 것이 포함됩니다. 

또한 Databricks Data Intelligence Platform에서 Notebooks, SQL Editor, Databricks SQL과 같은 도구를 사용하여 데이터 객체를 관리하는 역할과 이를 조작하는 방법을 이해하게 됩니다. 

또한, 데이터 자산과 전반적인 플랫폼을 관리하는 데 있어 Unity Catalog의 중요성에 대해서도 알아봅니다. 마지막으로, 이 과정에서는 Databricks가 어떻게 성능 최적화를 용이하게 하는지에 대한 개요를 제공하고, Databricks에서 SQL 분석을 실행할 때 내부적으로 발생하는 프로세스를 이해하기 위해 Query Insights에 액세스하는 방법을 알려드립니다.

AI/BI for Data Analysts

이 코스에서는 데이터 분석가가 Databricks에서 AI/BI Dashboards를 설계, 구축, 게시 및 운영하는 방법을 배웁니다. AI/BI Dashboards는 거버넌스가 적용된 Unity Catalog 데이터를 대화형 시각화, 필터, Genie 통합과 결합하여, 비즈니스 사용자가 코드를 작성하지 않고도 답을 탐색할 수 있게 합니다.

이 코스는 하나의 엔드 투 엔드 구축을 따라 진행됩니다. Unity Catalog의 소스 테이블에서 시작하여, 게시되고 모니터링되는 여러 페이지 대시보드로 마무리합니다. 그 과정에서 대시보드가 더 넓은 Databricks AI/BI 제품군에서 어떻게 자리매김하는지, 그리고 Genie, 데이터 세트, 시각화, 필터가 각각 워크플로의 어디에 들어맞는지 배웁니다.

다루는 내용은 다음과 같습니다.

• AI/BI Dashboards의 기초와, 그것이 Genie 및 Databricks 플랫폼의 나머지 요소와 어떻게 관련되는지.

• Unity Catalog에서 소스 데이터를 탐색하고 SQL로 재사용 가능한 대시보드 데이터 세트를 설계하기.

• 시각화(KPI, 추세, 세부 분석) 작성 및 깔끔한 여러 페이지 대시보드 구성.

• Genie Code를 사용하여 자연어 프롬프트로부터 SQL, 차트, 필터의 초안을 작성하기.

• 필터를 추가하여 대시보드를 대화형으로 만들고 보는 사람의 질문에 응답하도록 하기.

• 적절한 사람이 대시보드를 보고 편집할 수 있도록 게시, 공유, 권한 관리하기.

• 예약된 새로 고침, 캐싱, 사용량 모니터링과 함께 대시보드를 프로덕션에서 운영하기.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어