Lakeflow Designer 발표: 데이터 인텔리전스 플랫폼 기반의 노코드 ETL

Databricks 데이터 인텔리전스 플랫폼과 완벽하게 통합된 AI 기반 노코드 파이프라인 빌더인 Lakeflow Designer를 발표하게 되어 기쁩니다. 시각적 캔버스와 내장된 자연어 인터페이스를 통해 Designer는 비즈니스 분석가가 코드를 한 줄도 작성하지 않고도 확장 가능한 프로덕션 파이프라인을 구축하고 데이터 분석을 수행할 수 있도록 지원합니다. 이 모든 것이 단일 통합 제품에서 가능합니다.

Designer에서 구축된 모든 파이프라인은 내부적으로 Lakeflow 선언형 파이프라인을 생성합니다. 데이터 엔지니어는 Databricks 전반에서 사용되는 것과 동일한 ANSI SQL 표준을 사용하므로 도구를 전환하거나 로직을 다시 작성할 필요 없이 이러한 파이프라인을 검토, 이해 및 개선할 수 있습니다. 이를 통해 노코드 사용자는 엔지니어에게 추가적인 부담을 주지 않고 데이터 작업에 참여할 수 있습니다.

Lakeflow Designer는 오늘 발표된 Lakeflow의 일반 공급 이후 몇 달 안에 비공개 미리 보기로 제공될 예정입니다. 여러분이 이것이 가져올 영향을 보게 되기를 기대합니다.

기존 노코드 도구는 데이터 인텔리전스 플랫폼 외부에서 작동하여 사일로를 생성하고, 프로덕션 격차를 유발하며, AI 생산성을 제한합니다

데이터 팀과 비즈니스 분석가는 동일한 것을 원합니다. 바로 원시 데이터를 신속하게 인사이트로 전환하는 것입니다. 하지만 그들이 사용하는 도구와 작업 환경은 종종 그들을 다른 방향으로 이끌어갑니다.

비즈니스 분석가는 귀중한 도메인 지식과 조직의 의사결정을 주도하는 질문에 대한 통찰력을 제공합니다. 신속하게 진행하기 위해 스프레드시트를 사용하여 빠른 솔루션을 만들거나, 이것이 충분하지 않을 때는 레거시 노코드 도구를 사용합니다. 이러한 도구는 쉽고 간단하지만, 생성된 파이프라인은 데이터 플랫폼 외부의 다른 환경에서 작동하며 엔지니어가 생성하고 유지 관리하는 파이프라인과 분리됩니다.

이러한 분리는 세 가지 지속적인 문제를 야기합니다:

• 사일로화된 워크플로: 분석가와 엔지니어는 서로 다른 도구에서 작업하여 중복 작업과 조정 오버헤드를 발생시킵니다. 워크플로가 데이터 플랫폼으로 이동해야 할 때 엔지니어는 종종 처음부터 완전히 다시 구축해야 합니다.
• 프로덕션 문제: 외부 파이프라인은 플랫폼 거버넌스 또는 가시성 없이 실행되어 취약하고 유지 관리가 더 어려워집니다.
• 제한된 AI 생산성: AI 어시스턴트는 메타데이터, 계보 및 사용 패턴에 액세스할 수 없으므로 제안이 종종 일반적이며, 데이터의 컨텍스트에 액세스할 수 없는 언어 모델을 사용하는 것과 유사합니다.

Lakeflow Designer: 데이터 인텔리전스 플랫폼에 내장된 통합 노코드 도구

Lakeflow Designer는 비즈니스 팀과 데이터 팀을 Databricks에서 파이프라인을 생성, 관리 및 거버넌스하는 단일 통합 환경으로 가져와 이러한 문제를 해결합니다. 모든 파이프라인이 플랫폼 내에서 네이티브로 구축되므로 팀은 처음부터 내장된 가시성, 거버넌스 및 확장성을 확보할 수 있습니다. 재작성이 필요 없습니다.

공유 및 협업 워크플로

Lakeflow Designer는 팀이 함께 구축할 수 있는 통합 플랫폼을 제공하여 사일로화된 워크플로에 직접적으로 대응합니다. 비즈니스 사용자는 익숙하고 직관적인 시각적 노코드 환경에서 파이프라인을 구축합니다. 백그라운드에서 시각적 파이프라인은 Lakeflow 선언형 파이프라인으로 구현됩니다. 이들은 Lakeflow 선언형 파이프라인에서 직접 개발된 파이프라인과 동일한 확장 가능하고 안정적인 런타임을 사용합니다.

Designer의 출력은 코딩된 경우와 동일하므로 데이터 엔지니어는 다른 Lakeflow 파이프라인처럼 파이프라인을 검사하고 편집할 수 있습니다. 즉, 비즈니스 분석가가 문제를 겪더라도 엔지니어는 새로운 도구를 배울 필요 없이 동일한 선언형 파이프라인을 사용하여 도움을 줄 수 있습니다. 이 모든 것은 더 원활한 인수인계와 엔지니어링 시간을 소모하는 재작업 감소로 이어집니다.

프로덕션으로 가는 내장 경로

Lakeflow Designer 파이프라인은 Lakeflow 선언형 파이프라인으로 배포됩니다. 즉, 즉시 프로덕션 사용 준비가 됩니다. Unity Catalog에 의해 버전 관리되고 거버넌스되며 Lakeflow 모니터링 도구를 통해 완벽하게 관찰 가능합니다.

모든 것이 처음부터 프로덕션을 위해 구축되었으므로 확장성과 안정성을 위해 파이프라인을 재구축할 필요가 없습니다. 스케줄링, 테스트 및 알림을 처음부터 사용할 수 있습니다.

귀하의 비즈니스를 이해하는 AI

Designer는 AI 우선 개발 경험을 제공하여 사용자가 자연어 프롬프트를 통해 아이디어에서 파이프라인까지 이동하도록 돕습니다. Designer의 AI는 통합 Databricks 인텔리전스 플랫폼 덕분에 데이터의 구조, 의미 및 사용 패턴에 기반합니다. 비즈니스 전반에서 데이터가 실제로 어떻게 이야기되고 사용되는지, 테이블 정의, 열 이름 및 쿼리 기록을 알고 있습니다.

다른 도구는 AI 기능을 제공할 수 있지만, 플랫폼 외부에서 작동하기 때문에 이러한 풍부한 컨텍스트 없이 작동합니다. Designer의 AI는 다릅니다. Databricks와 깊이 통합되어 데이터의 구조와 의미에 대해 학습되었으며, 기존 워크플로 및 거버넌스 표준과 일치하는 신뢰할 수 있는 프로덕션 등급 파이프라인을 생성하도록 구축되었습니다.

곧 비공개 미리 보기로 제공

Lakeflow Designer는 몇 달 안에 비공개 미리 보기로 제공될 예정입니다. 경험을 개선하고 액세스를 확장하기 위해 다양한 산업 분야의 초기 사용자와 긴밀히 협력하고 있습니다.

귀하의 팀이 위험을 증가시키거나 새 도구를 추가하지 않고 더 많은 사용자에게 신뢰할 수 있는 파이프라인을 구축할 수 있는 기능을 제공하기를 원한다면, Databricks 계정 팀에 문의하여 액세스를 요청하십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)