Databricks는 기술을 향상하거나 재교육하려는 개인, 팀 및 조직이 액세스 가능하고 관련성 높은 콘텐츠를 갖도록 데이터, 분석 및 AI 분야 전반에 걸쳐 학습자를 위한 기술 교육을 제작하고 반복하는 데 수년을 보냈습니다. AI/ML의 폭발적인 증가와 데이터, 분석, AI에서의 역할로 인해 많은 조직에서 새로운 기술을 채택해야 할 필요성이 높아졌습니다. 2022년에서 2025년 사이에 AI와 관련된 9,700만 개의 일자리가 창출될 것으로 예상됩니다. 이는 확장 가능한 방식으로 인재를 양성하는 별도의 방안이 필요하다는 것입니다.
(번역: Eunwoo Kim) Original Blog Post
데이터 + AI 경력을 가속화하기 위해 역할 기반의 경로를 통한 기술 향상 시키기
Databricks' Learning Festival을 통해 지금 경력을 향상하세요.
Databricks의 가상 학습 페스티벌은 고객, 잠재 고객 및 파트너를 위해 구축된 데이터 엔지니어링, 데이터 과학 및 데이터 분석 과정 전반에 걸쳐 기술을 향상하고 재교육할 수 있는 특별한 기회입니다. 이 이벤트에서는 무료로 자기 주도형 역할 기반 콘텐츠에 액세스할 수 있습니다. 자습형 교육을 성공적으로 마친 사람들은 50% 할인된 데이터브릭스 인증 바우처를 받을 수 있습니다. (자세한 내용은 아래 참조)
자기 주도형으로 전반적인 목표 학습
1: 데이터 엔지니어 코스 - 데이터브릭스 데이터 엔지니어링
이 과정은 데이터 전문가가 Databricks 데이터 인텔리전스 플랫폼을 활용하여 ETL 파이프라인을 생산화할 수 있도록 준비시킵니다. 학생들은 Delta Live Tables를 사용하여 다양한 데이터 소스의 새로운 데이터를 플랫폼으로 점진적으로 처리하는 파이프라인을 정의하고 선점합니다. 또한 학생들은 Databricks Workflows를 사용하여 작업을 조정하고 Databricks Repos를 사용하여 코드를 입력합니다.
학습 목표:
- 데이터브릭스 데이터 과학 및 엔지니어링 작업 영역을 사용하여 데이터 엔지니어링 워크플로에서 일반적인 코드 개발 작업을 수행합니다.
- Spark SQL 또는 PySpark를 사용하여 다양한 소스에서 데이터를 추출하고, 일반적인 정리 변환을 적용하고, 고급 기능으로 복잡한 데이터를 조작하세요.
- Spark SQL 또는 Python의 Delta Live Tables를 사용하여 레이크하우스의 여러 테이블을 통해 데이터를 점진적으로 수집하고 처리하는 데이터 파이프라인을
정의하고 예약합니다. - Databricks Workflow Jobs를 사용하여 데이터 파이프라인을 조정하고 대시보드 업데이트를 예약하여 분석을 최신 상태로 유지하세요.
- 사용자가 분석 및 대시보드 작성을 위해 데이터베이스에 적절하게 액세스할 수 있도록 Unity Catalog에서 권한을 구성하세요.
2: 데이터 엔지니어 코스 - 데이터브릭스를 사용한 고급 데이터 엔지니어링
이 과정에서 학생들은 Apache Spark, 구조적 스트리밍 및 Delta Lake에 대한 기존 지식을 바탕으로 Databricks에서 제공하는 도구 모음을 활용하여 생성 데이터 플랫폼의 잠재력을 최대한 활용하게 됩니다. 이 과정에서는 증분 데이터 처리를 선호하는 설계에 중점을 두고, 지속적으로 증가하는 데이터를 지속적으로 수집하고 분석하도록 최적화된 시스템을
활성화합니다. 기본 제공 플랫폼 최적화를 활용하는 워크로드를 설계함으로써 데이터 엔지니어는 코드 유지 관리 및 긴급 긴급 상황에 대한 부담을 줄이고 리팩토링이나 가동 중지 시간을 최소화하면서 새로운 요구 사항에 맞게 프로덕션 코드를 신속하게 조정할 수 있습니다. 이 과정은 Databricks Certified Data Engineering Professional 시험에 응시하기 전에 마스터해야 합니다.
학습 목표:
- 데이터브릭스 데이터 인텔리전스 플랫폼에 최적화된 데이터베이스 및 파이프라인을 설계합니다.
- 효율적인 증분 데이터 처리를 구현하여 비즈니스 의사 결정 및 애플리케이션을 주도하는 데이터를 검증하고 강화합니다.
- 중요한 데이터에 대한 액세스를 관리하고 잊혀질 권리 요청을 이행하기 위해 데이터브릭스 기본 기능을 활용합니다.
- 데이터브릭스 도구를 사용하여 코드 승격, 작업 조정 및 프로덕션 작업 모니터링을 관리하세요.