주요 컨텐츠로 이동

워크플로우

레이크하우스의 데이터, 분석 및 AI를 위한 통합 오케스트레이션

Databricks Workflows는 Databricks 레이크하우스 플랫폼과 완전히 통합된 관리형 오케스트레이션 서비스입니다. Workflows를 사용하면 ETL, 분석 및 머신 러닝 파이프라인에 대한 멀티태스크 워크플로를 간편하게 정의, 관리, 모니터링할 수 있습니다. 다양한 지원 작업 유형, 심층적인 관측 기능 및 높은 안정성을 기반으로 데이터 팀은 모든 파이프라인을 보다 효과적으로 자동화 및 오케스트레이션하고 생산성을 높일 수 있습니다.

yipit

"2018년에 Databricks Workflows를 사용할 수 있었다면 기존 Airflow가 아니라 Workflows를 사용했을 겁니다."

— Hillevi Crognale, 엔지니어링 관리자, YipitData
자세히

graphic 6

간단한 작성

데이터 엔지니어, 데이터 애널리스트 또는 데이터 사이언티스트는 클릭 몇 번으로 워크플로를 간편하게 정의하거나 원하는 IDE를 사용할 수 있습니다.

graphic

실행 가능한 인사이트

모든 워크플로에서 실행 중인 각 작업을 완벽하게 파악하고 해결해야 할 문제에 대해 즉시 알림을 받습니다.

Icon Graphic

검증된 안정성

완전 관리형 오케스트레이션 서비스를 갖추면 프로덕션 워크플로를 안심하고 실행할 수 있습니다. 99.95%의 가동 시간이 보장되는 Databricks Workflows는 수천 개의 조직의 신뢰를 받고 있습니다.

어떻게 작동하나요?

workflows marketecture

Databricks 레이크하우스 플랫폼과의 통합

프로덕션 안정성

심층적인 모니터링 및 관측 기능

배치 및 스트리밍

효율적인 컴퓨팅

매끄러운 사용자 경험

wood mackenzie

"Databricks Workflows를 사용하여 협업을 독려하고 여러 프로세스 단계 사이의 벽을 허물 수 있었습니다. 모두 한마음으로 협력했죠."

— Yanyan Wu, 데이터 부문 부사장, Wood Mackenzie
자세히

workflows

Databricks 레이크하우스 플랫폼과의 통합

외부 오케스트레이션 도구와 달리 Databricks Workflows는 Databricks 레이크하우스 플랫폼과 완전히 통합됩니다. 따라서 워크스페이스에서 기본 워크플로 작성이 가능하고 Delta Live Table 파이프라인, Databricks 노트북Databricks SQL 쿼리를 비롯한 모든 Lakehouse 기능을 자동화할 수 있습니다. Unity Catalog를 사용하면 모든 워크플로의 데이터 리니지를 자동화할 수 있으므로 전사적으로 모든 데이터 자산을 계속 제어할 수 있습니다. 

reliability at scale

안정성 극대화

매일 수천 개의 조직이 99.95%의 가동 시간을 보장하는 Databricks Workflows를 신뢰하여 AWS, Azure 및 GCP에서 수백만 개의 프로덕션 워크로드를 실행합니다. 완전 관리형 오케스트레이션 도구를 Databricks 레이크하우스 플랫폼에 내장했기 때문에 오케스트레이션을 위해 별도의 도구를 유지 관리 또는 업데이트하거나 문제를 해결할 필요가 없습니다.

deep monitoring and observability

심층적인 모니터링 및 관측 기능

레이크하우스 플랫폼과 완전히 통합된 Databricks Workflows는 모든 외부 오케스트레이션 도구보다 개선된 관측 기능을 제공합니다. 모든 워크플로 실행을 완벽하게 파악하여 빈틈없이 관리하고 장애 발생 시 팀이 이메일, Slack, PagerDuty 또는 맞춤형 웹후크를 통해 알림을 받도록 알림 설정하여 데이터 소비자가 영향을 받기 전에 신속하게 문제를 해결할 수 있습니다.

batch and streaming

배치 및 스트리밍

Databricks Workflows는 레이크하우스에서 모든 시나리오의 작업을 오케스트레이션하는 단일 솔루션을 제공합니다. 미리 설정된 시간에 배치 수집을 수행하는 반복 작업에 예약된 워크플로 실행을 사용하거나 지속적으로 실행되는 실시간 데이터 파이프라인을 구현합니다. 파일 도착 트리거를 사용하여 새 데이터가 제공될 때 실행할 워크플로를 설정할 수도 있습니다.

efficient compute

효율적인 컴퓨팅

Databricks Workflows로 오케스트레이션하면 자동화된 프로덕션 워크로드의 가격 대비 성능을 개선할 수 있습니다. 미사용 리소스에 대한 비용을 지불하지 않도록 작업이 예약된 경우에만 실행되고 비용이 더 저렴한 자동화된 작업 클러스터를 활용하여 비용을 상당히 절감할 수 있습니다. 이외에도 공유 작업 클러스터를 사용하면 여러 작업에 컴퓨팅 리소스를 재사용할 수 있으므로 리소스 활용도를 최적화할 수 있습니다.

workflows

매끄러운 사용자 경험

원하는 환경에서 워크플로를 정의하고 원하는 IDE를 사용하거나 Databricks Workspace UI에서 바로 워크플로를 간편하게 만들 수 있습니다. Databricks Repo 또는 원격 Git 리포지토리에서 버전 제어 노트북을 사용하는 작업을 정의하고 DevOps 모범 사례(예: CI/CD)를 준수합니다.

grip

"한 번 가동한 클러스터를 다른 단계에 재사용하고 작업이 끝나면 속도를 줄이는 것이 쉬워졌습니다."

— Jimmy Cooper, 공동 창업자 겸 CTO, Grip
자세히

통합

Databricks Workflows는 업계 선두 파트너들과 원활하게 통합되므로 원하는 데이터 솔루션으로 요구 사항을 충족하는 워크플로를 유연하게 정의할 수 있습니다.

dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg
dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg

FAQ

데이터, 분석 및 AI라는 맥락에서 오케스트레이션은 ETL 파이프라인 및 머신 러닝 모델 학습과 같은 워크플로의 자동화, 배포 및 관리를 의미합니다. 오케스트레이션은 데이터 운영의 중요한 부분을 차지하며 프로덕션에 데이터 솔루션을 공급하는 데 필수적입니다. 오케스트레이션에는 워크플로 작업 간의 종속성을 관리하고 이러한 작업의 실행을 예약하는 것뿐만 아니라 컴퓨팅 리소스 할당과 워크플로 모니터링도 포함됩니다.

시작할 준비가 되셨나요?