Lakeflow Jobs로 더욱 효율적인 데이터 오케스트레이션 제공: 새로운 기능

지난 몇 달간 저희는 데이터 오케스트레이션 개선 및 워크플로우 성능 최적화를 위해 Lakeflow Jobs(이전 Databricks Workflows)에 대한 흥미로운 업데이트를 선보였습니다.

처음 접하시는 분들을 위해 설명하자면, Lakeflow Jobs는 Lakeflow를 위한 내장 오케스트레이터입니다. Lakeflow는 간소화된 ETL 개발 및 운영을 지원하는 통합적이고 지능적인 데이터 엔지니어링 솔루션으로, Data Intelligence Platform을 기반으로 합니다. Lakeflow Jobs는 14,600개 이상의 고객사, 187,000명의 주간 사용자, 그리고 매주 1억 건의 작업 실행을 통해 Lakehouse 및 프로덕션 등급 워크로드에 가장 신뢰받는 오케스트레이터입니다.

UI 개선부터 더욱 발전된 워크플로우 제어까지, Databricks의 네이티브 데이터 오케스트레이션 솔루션의 최신 기능을 확인하고 데이터 엔지니어가 엔드투엔드 데이터 파이프라인 경험을 어떻게 간소화할 수 있는지 알아보세요.

더욱 집중된 사용자 경험을 위한 새로워진 UI

저희는 Lakeflow Jobs에 신선하고 현대적인 모습을 제공하기 위해 인터페이스를 재설계했습니다. 새롭고 컴팩트한 레이아웃은 더욱 직관적인 오케스트레이션 여정을 가능하게 합니다. 사용자들은 이제 바로가기와 검색 버튼을 제공하는 작업 팔레트를 통해 Lakeflow 파이프라인, AI/BI 대시보드, 노트북, SQL 등 어떤 작업이든 더 쉽게 찾고 액세스할 수 있습니다.

모니터링을 위해 고객은 이제 작업 및 작업 실행 세부 정보의 오른쪽 패널에서 작업 실행 시간에 대한 정보를 쉽게 찾아 처리 시간을 모니터링하고 데이터 파이프라인 문제를 신속하게 식별할 수 있습니다.

또한, 사용자가 숨기거나 열어 둘 섹션(작업 세부 정보, 예약 및 트리거, 작업 매개변수 등)을 선택할 수 있도록 사이드바를 개선하여 오케스트레이션 인터페이스를 더 깔끔하고 관련성 있게 만들었습니다.

전반적으로 Lakeflow Jobs 사용자는 더욱 간소화되고 집중적이며 단순화된 오케스트레이션 워크플로우를 기대할 수 있습니다. 새로운 레이아웃은 현재 미리 보기 기능을 사용하도록 선택하고 작업 페이지에서 토글을 활성화한 사용자에게 제공됩니다.

더욱 제어 가능하고 효율적인 데이터 흐름

저희 오케스트레이터는 새로운 기능으로 지속적으로 강화되고 있습니다. 최신 업데이트는 데이터 파이프라인 오케스트레이션을 위한 고급 제어 기능을 도입하여 사용자에게 워크플로우에 대한 더 큰 명령권을 부여하고 효율성과 최적화된 성능을 향상시킵니다.

부분 실행을 통해 사용자는 다른 작업에 영향을 주지 않고 실행할 작업을 선택할 수 있습니다. 이전에는 개별 작업을 테스트하려면 전체 작업을 실행해야 했으며, 이는 계산 집약적이고 느리며 비용이 많이 들 수 있었습니다. 이제 작업 및 파이프라인 페이지에서 사용자는 "다른 설정으로 지금 실행"을 선택하고 다른 작업에 영향을 주지 않고 실행할 특정 작업을 선택하여 계산 낭비와 높은 비용을 피할 수 있습니다. 마찬가지로, 부분 복구는 전체 작업을 다시 실행하지 않고 개별 실패한 작업을 수정할 수 있도록 하여 더 빠른 디버깅을 가능하게 합니다.

실행 및 복구 흐름에 대한 더 많은 제어를 통해 고객은 개발 주기를 단축하고 작업 가동 시간을 개선하며 컴퓨팅 비용을 절감할 수 있습니다. 부분 실행 및 복구 모두 UI와 작업 API에서 일반적으로 사용 가능합니다.

모든 SQL 팬 여러분께 좋은 소식이 있습니다! 이번 최신 업데이트에서는 고객이 SQL 쿼리의 출력을 Lakeflow Jobs의 매개변수로 사용하여 데이터를 오케스트레이션할 수 있게 됩니다. 이를 통해 SQL 개발자는 작업 간에 매개변수를 전달하고 작업 내에서 컨텍스트를 공유하기가 더 쉬워져 더욱 응집력 있고 통합된 데이터 파이프라인 오케스트레이션이 가능해집니다. 이 기능 또한 현재 일반적으로 사용 가능합니다.

Jobs의 Lakeflow Connect로 빠른 시작

이러한 개선 사항 외에도, Jobs를 Databricks Lakeflow의 관리되고 안정적인 데이터 수집 솔루션인 Lakeflow Connect와 더욱 긴밀하게 통합하여 Lakeflow Jobs로 데이터를 수집하는 것을 빠르고 쉽게 만들고 있습니다. Lakeflow Connect는 내장 커넥터를 제공합니다.

고객은 이미 Lakeflow Connect에서 시작되는 Lakeflow Connect 수집 파이프라인을 오케스트레이션할 수 있으며, 모든 관리형 커넥터(예: Salesforce, Workday 등)를 사용하거나 노트북에서 직접 사용할 수 있습니다. 이제 Jobs의 Lakeflow Connect를 통해 고객은 Jobs 인터페이스의 두 가지 진입점에서 직접 수집 파이프라인을 쉽게 생성할 수 있으며, 이 모든 것이 포인트 앤 클릭 환경 내에서 이루어집니다. 수집은 종종 ETL의 첫 단계이므로, Lakeflow Connect와의 이 새로운 원활한 통합은 고객이 엔드투엔드 데이터 엔지니어링 경험을 통합하고 간소화할 수 있도록 합니다.

Jobs의 Lakeflow Connect는 이제 고객에게 일반적으로 사용 가능합니다. 이 기능 및 기타 최근 Lakeflow Connect 릴리스에 대해 자세히 알아보세요.

모든 워크로드에 대한 단일 오케스트레이션

저희는 조직 전체의 모든 데이터 요구 사항에 대한 현대적이고 중앙 집중화된 오케스트레이션 경험을 고객에게 제공하기 위해 Lakeflow Jobs를 지속적으로 혁신하고 있습니다. Jobs에 더 많은 기능이 추가될 예정입니다. 곧 테이블 업데이트를 기반으로 작업을 트리거하는 방법, 시스템 테이블 지원 제공, 관찰 가능성 기능 확장 등을 공개할 예정이니 계속 지켜봐 주세요!

Lakeflow Jobs에 대해 계속 배우고 싶으신 분들은 Data+AI Summit의 주문형 세션을 확인하고 다양한 사용 사례, 데모 등에서 Lakeflow를 탐색해 보세요!

• Lakeflow Jobs에 대해 자세히 알아보기
• 빠른 시작 가이드로 첫 작업을 생성하세요
• 작업 및 파이프라인 페이지에서 토글을 사용하여 새 UI를 활성화하세요(미리 보기 고객만 해당)
• Data+AI Summit에 참석하지 못하셨나요? Lakeflow Jobs 세션을 주문형으로 시청하세요

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)