Lakeflow Designer 발표: Databricks Intelligence Platform이 지원하는 No-Code ETL

우리는 Databricks Data Intelligence Platform과 완전히 통합된 AI 기반의 no-code 파이프라인 빌더인 Lakeflow Designer를 발표하게 되어 기쁩니다. 시각적 캔버스와 내장된 자연어 인터페이스를 통해 Designer는 비즈니스 분석가가 확장 가능한 생산 파이프라인을 구축하고 데이터 분석을 수행할 수 있게 해줍니다. 이 모든 것은 단일하고 통합된 제품에서 코드 한 줄 작성 없이 가능합니다.

Designer에서 구축된 모든 파이프라인은 내부적으로 Lakeflow Declarative Pipeline을 생성합니다. 데이터 엔지니어는 도구를 전환하거나 로직을 다시 작성할 필요 없이 이러한 파이프라인을 검토하고 이해하며 개선할 수 있습니다. 왜냐하면 이것은 Databricks 전반에 걸쳐 사용되는 동일한 ANSI SQL 표준이기 때문입니다. 이를 통해 no-code 사용자가 엔지니어에게 추가적인 부담을 주지 않고 데이터 작업에 참여할 수 있습니다.

Lakeflow 디자이너는 오늘 발표된 Lakeflow의 일반적인 사용 가능성 에 이어 다가오는 몇 개월 안에 사적 미리보기에서 사용 가능할 예정입니다. 그것이 어떤 영향을 미칠 수 있는지 여러분이 보게 되어 기쁩니다.

기존의 no-code 도구들은 Data Intelligence Platform 외부에 존재하여, 세분화를 초래하고 생산성의 차이를 만들며 AI 생산성을 제한합니다.

데이터 팀과 비즈니스 분석가는 같은 것을 원합니다: 원시 데이터를 빠르게 인사이트로 전환하고 싶어합니다. 하지만 그들이 사용하는 도구와 그들이 작업하는 환경은 종종 그들을 다른 방향으로 끌어갑니다.

비즈니스 분석가들은 조직의 결정을 주도하는 질문에 대한 깊은 지식과 통찰력을 제공합니다. 빠르게 움직이기 위해, 그들은 종종 스프레드시트를 사용하여 빠른 해결책을 만들거나, 그것이 충분하지 않을 때는 레거시 노코드 도구로 돌아갑니다. 이러한 도구들은 사용하기 쉽고 간단하지만, 그들이 만드는 파이프라인은 데이터 플랫폼 외부의 다른 환경에서 존재하며, 엔지니어들이 만들고 유지하는 파이프라인과 분리되어 있습니다.

이러한 분리는 세 가지 지속적인 도전을 만듭니다:

• 분리된 워크플로우: 분석가와 엔지니어는 다른 도구에서 구축하므로, 중복 작업과 조정 오버헤드가 발생합니다. 워크플로우가 데이터 플랫폼으로 넘어가야 할 때, 엔지니어는 종종 그것들을 완전히 다시 구축해야 하며, 처음부터 시작해야 합니다.
• 생산성에 대한 도전: 외부 파이프라인은 플랫폼의 거버넌스나 관찰 가능성 없이 실행되므로, 그들을 유지 관리하기가 더 어렵고 취약합니다.
• 제한된 AI 생산성: AI 보조 도구는 메타데이터, 계보, 사용 패턴에 대한 접근 권한이 없으므로, 그들의 제안은 종종 일반적이며, 데이터의 컨텍스트에 대한 접근 권한이 없는 언어 모델을 사용하는 것과 유사합니다.

Lakeflow Designer: Data Intelligence Platform에 내장된 통합 no-code 도구

Lakeflow Designer는 파이프라인이 Databricks에서 생성, 관리, 통제되는 단일 통합 환경에서 비즈니스 팀과 데이터 팀을 결합함으로써 이러한 문제를 해결합니다. 모든 파이프라인이 플랫폼 내에서 원래 구축되므로, 팀은 첫날부터 내장된 관찰 가능성, 거버넌스, 그리고 규모를 얻게 됩니다: 재작성이 필요 없습니다.

공유되고 협업적인 워크플로우

Lakeflow 디자이너는 팀이 함께 구축할 수 있는 통합된 플랫폼을 제공함으로써 이러한 분리된 작업 흐름을 직접 해결합니다. 비즈니스 사용자들은 익숙하고 직관적인 시각적, 노코드 환경에서 파이프라인을 만듭니다. 뒷단에서, 시각적 파이프라인은 Lakeflow 선언적 파이프라인으로 구현됩니다. 그들은 Lakeflow 선언적 파이프라인 내에서 직접 개발된 파이프라인과 동일한 확장 가능하고 신뢰할 수 있는 런타임을 사용합니다.

Designer의 출력이 코드로 작성된 것과 동일하기 때문에, 데이터 엔지니어는 다른 Lakeflow 파이프라인처럼 파이프라인을 검사하고 편집할 수 있습니다. 이는 비즈니스 분석가가 문제에 직면하면, 엔지니어가 새로운 도구를 배우지 않고도 도움을 줄 수 있다는 것을 의미합니다. 왜냐하면 그것은 그들이 익숙한 동일한 Declarative Pipelines이기 때문입니다. 이 모든 것은 더 원활한 인수와 엔지니어링 주기를 차지하는 재구축을 줄입니다.

내장된 생산 경로

Lakeflow Designer 파이프라인은 Lakeflow Declarative Pipelines로 배포됩니다–마침내. 이는 그들이 즉시 생산 사용에 준비되어 있다는 것을 의미합니다. 그들은 버전이 지정되고, Unity Catalog에 의해 관리되며, Lakeflow 모니터링 도구로 완전히 관찰 가능합니다.

모든 것이 Databricks 플랫폼에 기본적으로 포함되어 있기 때문에, 파이프라인을 생산 등급으로 만들기 위해 플랫폼을 다시 플랫폼화할 필요가 없습니다. 첫날부터 스케줄링, 테스팅, 알림을 받게 됩니다.

당신의 비즈니스를 이해하는 AI

Designer는 AI를 우선적으로 개발하는 경험을 제공하여, 사용자가 자연어 프롬프트를 통해 아이디어에서 파이프라인으로 이동하도록 돕습니다. Designer의 AI가 독특한 점은 구조, 의미, 데이터 사용 패턴에 근거하고 있으며, 이는 통합 Databricks Intelligence Platform 덕분에 가능합니다. 그것은 데이터가 실제로 비즈니스 전반에서 어떻게 이야기되고 사용되는지를 알고 있습니다. 이에는 테이블 정의, 열 이름, 쿼리 이력이 포함됩니다.

다른 도구들은 AI 기능을 제공할 수 있지만, 그들이 플랫폼 외부에 존재하기 때문에, 그들은 이 풍부한 컨텍스트 없이 작동합니다. Designer의 AI는 다르게 작동합니다: Databricks와 깊게 통합되어 있으며, 당신의 데이터의 구조와 의미에 대해 훈련되어 있으며, 당신의 기존 워크플로우와 거버넌스 표준에 부합하는 신뢰할 수 있는, 생산 등급의 파이프라인을 생성하도록 설계되어 있습니다.

곧 Private Preview에서 사용 가능

Lakeflow 디자이너는 다가오는 몇 개월 안에 사적 미리보기에서 사용 가능할 예정입니다. 우리는 경험을 개선하고 접근성을 확대하기 위해 여러 산업 분야의 초기 사용자들과 밀접하게 협력하고 있습니다.

당신의 팀이 위험을 증가시키거나 새로운 도구를 추가하지 않고 더 많은 사용자에게 신뢰할 수 있는 파이프라인을 구축할 수 있는 능력을 부여하고 싶다면, Databricks 계정 팀에게 연락하여 접근을 요청하십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)