Lakeflow Designer 공개 미리 보기 발표

작년에 Data and AI Summit에서 Lakeflow Designer를 처음 선보였습니다. 그 이후로 초기 고객들과 긴밀히 협력하여 제품을 개선하고 가장 유용한 부분을 더 잘 이해하기 위해 노력해 왔습니다. 오늘, Lakeflow Designer의 공개 미리 보기를 발표하게 되어 기쁩니다. Lakeflow Designer는 오늘날 데이터의 가장 큰 병목 현상 중 하나인 기술적인 진입 장벽을 제거합니다.

Lakeflow Designer란 무엇인가요?

Lakeflow Designer는 데이터 준비 및 분석을 위한 시각적이고 코드가 필요 없는 AI 네이티브 환경입니다. Databricks에 직접 구축되어 분석가, 도메인 전문가 및 기타 기술 수준이 낮은 사용자가 드래그 앤 드롭 캔버스와 자연어를 통해 데이터를 준비하고 탐색할 수 있도록 합니다.

Lakeflow Designer의 각 단계는 연산자로 표현되어 사용자가 워크플로 전체에서 데이터가 어떻게 변경되는지 명확하게 파악할 수 있습니다. 이를 통해 진행하면서 변환을 더 쉽게 구축, 검증 및 이해할 수 있습니다.

Lakeflow Designer는 Databricks Lakeflow의 강력한 기능을 더 많은 사용자에게 확장하여 코드가 필요 없는 데이터 준비를 가능하게 하면서도 백그라운드에서는 프로덕션 준비 코드를 생성합니다. 워크플로는 Lakeflow Jobs를 통해 예약 및 운영화할 수 있어 대화형 데이터 준비에서 프로덕션 파이프라인으로 쉽게 전환할 수 있습니다.

Lakeflow Designer는 비즈니스 팀의 자율성을 확장하여 자연어와 모범 사례를 통해 효율적으로 데이터 뷰를 생성할 수 있도록 하며, 데이터 일관성, 거버넌스 및 안정성을 보장합니다. — Phelipe Naman, Data & Analytics Architecture Tech Lead, Sabesp

Lakeflow Designer는 무엇이 다른가요?

셀프 서비스 데이터 준비는 새로운 아이디어가 아니지만, 기존 도구는 중앙 데이터 플랫폼 외부에 있습니다. 이는 다음과 같은 절충점을 수반합니다.

• 데이터 준비 도구와 데이터 플랫폼 간의 연결 끊김은 거버넌스 격차와 추가 IT 오버헤드를 발생시킵니다.
• 도구가 데이터를 제대로 이해하지 못하기 때문에 AI가 추가되고 제안이 일반적입니다.
• 시각적 워크플로는 프로덕션화하기 어렵고, 로직이 종종 도메인별 언어나 UI에 갇혀 있습니다.
• 사용자별 라이선스는 비싸고 액세스할 수 있는 사용자를 제한합니다.

Lakeflow Designer는 다른 접근 방식을 취합니다.

1. 거버넌스 및 단순성을 위해 Databricks에서 네이티브로 구축
Lakeflow Designer는 데이터가 이미 있는 곳, 즉 Databricks에서 직접 실행됩니다. 별도의 도구나 로컬 머신으로 데이터를 이동할 필요가 없습니다. 데이터는 처음부터 Unity Catalog에 의해 거버넌스되며 제자리에 유지되면서 전체 데이터 스택을 단순화합니다. 자체 라이선스, 권한 및 관리 모델을 가진 별도의 로우코드 도구를 관리하는 대신, 조직은 Databricks 내에서 직접 셀프 서비스 작업을 활성화할 수 있습니다.

KPMG UK는 수천 개의 회사를 대상으로 감사 및 보증 서비스를 제공하며, 각 회사는 서로 다른 데이터 환경을 가지고 있습니다. 저희 실무자들에게 Lakeflow Designer를 제공함으로써 복잡하고 다양한 데이터 세트를 의미 있는 인사이트로 변환하는 능력을 확장하고 민주화하는 시각적이고 로우코드이며 AI 지원 워크플로를 사용할 수 있게 됩니다. — Mark Wallington, Audit Data and AI Partner, KPMG UK

네이티브 원본 데이터로 즉시 작업 시작

2. 처음부터 AI를 위해 구축되었으며 AI를 검토 가능하도록 설계
Lakeflow Designer는 Databricks의 네이티브 에이전트 코딩 도우미인 Genie Code를 기반으로 구축되었습니다. AI는 여기서 추가 기능이 아닙니다. 제품 작동 방식의 핵심입니다. 단순히 원하는 것을 일반 영어로 설명하면 Genie Code가 워크플로를 직접 생성하거나 수정할 수 있습니다.

작동하는 AI 네이티브 작성

Lakeflow Designer는 Databricks 작업 공간에 직접 내장되어 있으므로 Genie Code는 열 이름 이상의 것을 이해할 수 있습니다. Unity Catalog 메타데이터, 테이블 설명, 계보, 인기 및 예제 쿼리를 사용하여 데이터의 의미론적 의미를 이해하고 작업에 적합한 자산을 식별할 수 있습니다. 이는 스키마만 보는 도구보다 더 맥락을 이해하고 정확한 제안으로 이어집니다.

이 아키텍처는 더 많은 에이전트 동작을 위한 문을 열어줍니다. 시스템은 한 번 정적 결과를 생성하는 대신 변환을 실행하고, 출력을 검사하고, 필요한 경우 반복할 수 있습니다. 예를 들어, 조인이 실패하거나 행이 반환되지 않으면 Genie Code는 결과를 평가하고 대체 접근 방식을 시도할 수 있습니다.

아마도 그만큼 중요하게도, Lakeflow Designer는 모든 단계에서 데이터 미리 보기가 있는 개별 시각적 연산자로 분해하여 AI 생성 변환을 이해하고 검증하기 쉽게 만듭니다. 진행하기 전에 정확히 무엇이 변경되었는지, 행이 필터링된 위치, 조인이 해결된 방법 및 결과가 어떻게 보이는지 확인할 수 있습니다.

Lakeflow Designer는 Databricks의 핵심 기술 팀을 넘어 데이터 엔지니어링을 확장하는 데 중요한 역할을 합니다. 자연어 기능을 통합한 시각적 인터페이스를 제공함으로써 “SQL 병목 현상”을 줄여 비즈니스 팀이 더 큰 자율성으로 파이프라인을 프로토타이핑하고 반복할 수 있도록 지원합니다. 이는 사용 편의성을 넘어 조직적 정렬에 관한 것입니다. 변환이 시각적이고 접근 가능해지면 비즈니스 의도와 기술 실행 간의 격차가 좁혀져 원시 데이터에서 실행 가능한 인사이트로의 여정이 가속화됩니다. — Matheus Polycaropo, Data Engineering Leader, Serasa Experian

3. 모든 시각적 변환은 실제 프로덕션 준비 코드를 생성합니다
Lakeflow Designer의 모든 변환은 백그라운드에서 프로덕션 준비 Python 코드를 생성합니다. 이 코드는 검토하고, Git에 버전 관리하고, 더 큰 프로덕션 워크플로에 직접 통합할 수 있습니다. 시간이 지남에 따라 Designer는 구체화된 뷰와 같은 더 많은 네이티브 프로덕션 출력을 지원할 것입니다. 이는 궁극적으로 셀프 서비스 도구의 가장 큰 비용 중 하나인, 엔지니어링 팀이 프로덕션을 위해 작업을 재구축하도록 넘기는 비용을 줄입니다. 다른 시스템에서 작업을 다시 하는 대신, 중앙 데이터 팀은 사용자가 이미 만든 것을 기반으로 구축할 수 있습니다.

4. 사용자별 라이선스 없음
기존 로우코드 도구에서 가장 큰 채택 장벽 중 하나는 가격 책정입니다. 좌석 기반 라이선싱은 팀이 누구에게 액세스 권한을 부여할 가치가 있는지 미리 결정하도록 강요하여 채택을 늦추고 셀프 서비스가 시작되기도 전에 제한합니다.

Lakeflow Designer에는 사용자별 라이선스 모델이 없습니다. 사용한 컴퓨팅에 대해서만 비용을 지불하면 됩니다. 비즈니스 전반의 모든 사람이 새로운 조달 병목 현상을 만들지 않고 데이터 작업에 참여할 수 있습니다.

팀에서 Lakeflow Designer를 사용하는 방법

이미 다양한 산업 분야의 수백 개 팀이 Lakeflow Designer를 사용하여 이전에 엔지니어링 지원 없이는 확장하기 어려웠던 방식으로 데이터를 준비하고 작업하고 있습니다.

예를 들어:

• 컨설팅 및 전문 서비스 팀은 Lakeflow Designer를 사용하여 스프레드시트, PDF 및 공유 파일에서 클라이언트 데이터를 정리한 다음 반복 가능한 감사 또는 분석 워크플로를 적용하여 보고서를 생성합니다.
• 금융 서비스 조직은 Lakeflow Designer를 사용하여 셀프 서비스 데이터 준비, 규제 보고 및 위험 분석을 수행합니다.
• 마케팅, 운영 및 물류 전반의 비즈니스 팀은 이를 사용하여 여러 소스의 데이터를 결합하고, 운영 질문에 답하고, 대시보드를 위한 데이터를 준비합니다.

또한 Lakeflow Designer가 더 넓은 Databricks 플랫폼에서 중요한 역할을 하는 것을 볼 수 있습니다. 팀은 이를 사용하여 Metric Views 및 AI/BI 대시보드로 흐르는 데이터를 준비하여 완전한 셀프 서비스 루프를 만듭니다. 분석가는 코드를 작성하지 않고도 원시 테이블에서 정리된 대시보드까지 이동할 수 있습니다.

Lakeflow Designer를 채택함으로써 우리는 데이터 파이프라인 구축을 단순화하고 로우코드 개발 및 자연어 기반 AI 기능을 통해 분석 품질을 향상시켰습니다. 비기술 팀은 복잡한 분석 프로세스를 자율적으로 생성하기 시작하여 실제 비즈니스 가치를 창출하고 의사 결정을 가속화했습니다. 더욱이, 이 플랫폼은 우리가 데이터 기반 문화를 회사 전체에 확장하고 고급 분석의 범위를 더 많은 영역으로 확장하며 조직 전체에 데이터 인텔리전스에 대한 액세스를 민주화할 수 있도록 했습니다. — Carlos Gumz, Data Lead, Hering

시작하기

Designer는 현재 모든 워크스페이스에서 사용할 수 있습니다. 시작하려면 워크스페이스 왼쪽 상단에 있는 + 새로 만들기 버튼을 클릭하고 시각적 데이터 준비를 선택하세요. 시각적 데이터 준비 옵션이 보이지 않으면 미리 보기 포털에서 관리자가 Designer를 활성화해야 할 수 있습니다.

Lakeflow Designer를 사용하여 수행할 수 있는 몇 가지 추가적인 다음 단계는 다음과 같습니다.

• Lakeflow Designer의 작동 방식을 보여주는 8분 데모 동영상 시청
• Lakeflow Designer 시작에 대한 자세한 자료는 문서 페이지를 확인하세요.
• 고객 피드백은 제품을 계속해서 형성하고 로드맵에서 중요한 역할을 합니다. 피드백이나 질문이 있으시면 [email protected]으로 언제든지 알려주세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)