Azure Data Factory 고객들은 이제 데이터브릭스 워크플로우를 사용하여 데이터브릭스 데이터 인텔리전스 플랫폼에서 최대의 효과를 얻을 수 있습니다
작성자: Leo Furlong , 프라샨스 바부 벨라나티 벤카타
Azure Data Factory 고객들은 이제 새로운 기본 Databricks Job 활동을 사용하여 Databricks 워크플로우를 트리거할 수 있으며, 이를 통해 두 플랫폼 간의 더 깊은 통합을 가능하게 합니다. 이 모범 사례는 고객들이 Databricks 데이터 인텔리전스 플랫폼을 완전히 활용하도록 돕습니다, 이에는 Databricks SQL, DLT, 그리고 Power BI 발행과 같은 고급 기능이 포함됩니다. 노트북 활동에서 워크플로우로 이전함으로써, 고객들은 성능을 향상시키고, 비용을 줄이며, 데이터 및 AI 파이프라인 전반에 걸쳐 작업을 단순화할 수 있습니다.
Azure 데이터브릭스는 첫 번째 파티 Microsoft 서비스로, Azure 생태계와 기본적으로 통합되어 데이터와 AI를 고성능 분석 및 깊은 도구 지원과 통합합니다. 이 밀접한 통합은 이제 Azure Data Factory (ADF)에서 네이티브 Databricks Job 활동을 포함하여, ADF 내에서 직접 데이터브릭스 워크플로우를 트리거하는 것이 어느 때보다 쉬워졌습니다.
이 새로운 ADF 활동은 즉각적인 모범 사례이며, 모든 ADF 및 Azure 데이터브릭스 사용자들은 이 패턴으로 전환을 고려해야 합니다.
새로운 Databricks Job 활동은 매우 간단하게 사용할 수 있습니다:

3. 설정 탭에서, Job 드롭 다운 목록에서 실행할 데이터브릭스 워크플로우를 선택합니다 (인증된 주체가 접근할 수 있는 Job만 보게 됩니다). 아래의 Job Parameters 섹션에서, 데이터브릭스 워크플로우로 보낼 Job Parameters (있는 경우)를 설정합니다. Databricks Job Parameters에 대해 더 알고 싶다면, 문서를 확인하세요.

그게 전부입니다. ADF는 Databricks 워크플로우를 시작하고 Job Run ID와 URL을 반환합니다. ADF는 Job Run이 완료될 때까지 폴링합니다. 아래에서 이 새로운 패턴이 왜 즉시 클래식이 되었는지 알아보세요.

Azure Data Factory와 Azure Databricks를 함께 사용하는 것은 2018년에 이 블로그 포스트와 함께 출시되었을 때부터 GA 패턴이었습니다. 그 이후로, 이 통합은 주로 이 간단한 패턴을 따르는 Azure 고객들에게 필수적이었습니다:
이 방식은 시간이 지나면서 매우 유용하게 사용되어 왔지만, 고객들이 다음과 같은 운영 방식에 제한되도록 만들었고, 이는 데이터브릭의 진정한 가치를 충분히 활용하지 못하게 하는 결과를 낳았습니다: