새로운 소식: Lakeflow Jobs는 더 효율적인 데이터 오케스트레이션을 제공합니다

지난 몇 달 동안, 우리는 데이터 오케스트레이션을 개선하고 워크플로우 성능을 최적화하기 위해 Lakeflow Jobs (이전에는 Databricks Workflows로 알려져 있었습니다)에 흥미로운 업데이트를 도입했습니다.

신규 사용자를 위해 말하자면, Lakeflow Jobs는 Lakeflow의 내장 오케스트레이터로, Data Intelligence Platform 위에 구축된 통합적이고 지능적인 데이터 엔지니어링 솔루션입니다. Lakeflow Jobs는 Lakehouse 및 생산용 워크로드에 대한 가장 신뢰할 수 있는 오케스트레이터로, 14,600명 이상의 고객, 주간 사용자 187,000명, 매주 1억 건의 작업을 실행합니다.

UI 개선부터 더욱 고급 워크플로우 제어까지, Databricks의 기본 데이터 오케스트레이션 솔루션의 최신 정보를 확인하고 데이터 엔지니어가 end-to-end 데이터 파이프라인 경험을 어떻게 간소화할 수 있는지 알아보세요.

더욱 집중적인 사용자 경험을 위한 새로운 UI

우리는 인터페이스를 재디자인하여 Lakeflow Jobs에 신선하고 현대적인 모습을 제공하였습니다. 새로운 컴팩트한 레이아웃은 더 직관적인 오케스트레이션 여정을 가능하게 합니다. 사용자는 이제 단축키와 검색 버튼이 제공되는 작업 팔레트를 즐길 수 있으며, 이를 통해 Lakeflow 파이프라인, AI/BI 대시보드, 노트북, SQL 등의 작업을 더 쉽게 찾고 접근할 수 있습니다.

모니터링을 위해, 고객들은 이제 작업 및 작업 실행 세부 정보 아래의 오른쪽 패널에서 작업의 실행 시간에 대한 정보를 쉽게 찾을 수 있어, 처리 시간을 쉽게 모니터링하고 데이터 파이프라인 문제를 빠르게 식별할 수 있습니다.

또한, 사용자가 숨기거나 열어 둘 섹션(작업 세부 정보, 일정 및 트리거, 작업 매개변수 등)을 선택할 수 있도록 사이드바를 개선했습니다. 이로써 사용자의 오케스트레이션 인터페이스가 더 깔끔하고 관련성이 높아집니다.

전반적으로, Lakeflow Jobs 사용자들은 더욱 간소화되고, 집중적이며, 단순화된 오케스트레이션 워크플로우를 기대할 수 있습니다. 새로운 레이아웃은 현재 미리보기에 참여하고 작업 페이지에서 토글을 활성화한 사용자에게 제공되고 있습니다.

더욱 통제력이 강하고 효율적인 데이터 흐름

우리의 오케스트레이터는 계속해서 새로운 기능으로 향상되고 있습니다. 최신 업데이트는 데이터 파이프라인 오케스트레이션을 위한 고급 제어 기능을 도입하여, 사용자들이 워크플로우를 더욱 효율적으로 제어하고 성능을 최적화할 수 있게 해줍니다.

부분 실행 은 사용자가 다른 작업에 영향을 주지 않고 실행할 작업을 선택할 수 있게 합니다. 이전에는 개별 작업을 테스트하려면 전체 작업을 실행해야 했는데, 이는 계산량이 많고 느리며 비용이 많이 들었습니다. 이제, Jobs & Pipelines 페이지에서 사용자들은 "다른 설정으로 지금 실행" 을 선택하고 특정 작업을 실행하여 다른 작업에 영향을 주지 않으면서 계산 낭비와 높은 비용을 피할 수 있습니다. 마찬가지로, 부분 복구 는 사용자가 전체 작업을 다시 실행하지 않고 개별 실패 작업을 수정할 수 있게 하여 디버깅을 더 빠르게 할 수 있게 합니다.

실행 및 복구 흐름에 대한 더 많은 제어를 통해 고객은 개발 주기를 가속화하고, 작업 가동 시간을 향상시키고, 계산 비용을 줄일 수 있습니다. 부분 실행과 수리는 UI와 Jobs API 에서 일반적으로 사용 가능 합니다.

모든 SQL 팬들에게, 우리는 훌륭한 소식을 가지고 있습니다! 이번 업데이트에서 고객들은 SQL 쿼리의 출력을 Lakeflow Jobs의 매개변수로 사용 하여 데이터를 오케스트레이션할 수 있게 됩니다. 이로 인해 SQL 개발자들이 작업 간에 매개변수를 전달하고 작업 내에서 컨텍스트를 공유하는 것이 더욱 쉬워져, 더욱 통합적이고 통일된 데이터 파이프라인 오케스트레이션이 가능해집니다. 이 기능은 이제 일반적으로 사용 가능합니다.

Jobs에서 Lakeflow Connect를 빠르게 시작하세요

이러한 개선 사항 외에도, 우리는 Lakeflow Connect와 더욱 밀접하게 통합하여 Lakeflow Jobs에 데이터를 빠르고 쉽게 수집할 수 있도록 하고 있습니다. 이는 Databricks Lakeflow의 관리되고 신뢰할 수 있는 데이터 수집 솔루션으로, 내장 커넥터가 있습니다.

고객들은 이미 완전히 관리되는 커넥터 (예: Salesforce, Workday 등) 또는 노트북에서 직접 시작하는 Lakeflow Connect 수집 파이프라인을 오케스트레이션할 수 있습니다. 이제, Jobs에서의 Lakeflow Connect를 통해 고객들은 Jobs 인터페이스 내의 두 개의 진입점에서 직접 데이터 수집 파이프라인을 쉽게 생성할 수 있습니다. 수집은 종종 ETL의 첫 번째 단계이므로, 이 새로운 무마주한 통합은 고객이 데이터 엔지니어링 경험을 종단간으로 통합하고 간소화하는 데 도움이 됩니다.

Jobs에서의 Lakeflow Connect는 이제 고객들에게 일반적으로 사용 가능합니다. 이번 및 최근의 Lakeflow Connect 릴리스에 대해 더 알아보세요.

모든 워크로드에 대한 단일 오케스트레이션

우리는 계속해서 Lakeflow Jobs를 혁신하여 고객들에게 모든 데이터 요구사항에 대한 현대적이고 중앙집중적인 오케스트레이션 경험을 제공하고 있습니다. Jobs에 더 많은 기능이 추가될 예정입니다 - 테이블 업데이트를 기반으로 작업을 트리거하는 방법, 시스템 테이블에 대한 지원, 그리고 우리의 관찰 능력을 확장하는 방법을 곧 공개할 예정이니, 계속 주목해 주세요!

Lakeflow Jobs에 대해 계속 배우고 싶은 분들은 우리의 Data+AI Summit에서의 온디맨드 세션 을 확인하고 다양한 사용 사례, 데모 등을 통해 Lakeflow를 탐색해 보세요!

• Lakeflow Jobs에 대해 더 알아보세요
• 우리의 퀵스타트 가이드로 첫 번째 작업을 만드세요.
• Jobs & Pipelines Page에서 토글을 사용하여 새로운 UI를 활성화하세요 (미리보기 고객만 가능)
• Data+AI Summit에 참석하지 못하셨나요? Lakeflow Jobs 세션을 온디맨드로 시청하세요

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)