데이터브릭스, 코드 없이 데이터 파이프라인 구축 가능한 ‘레이크플로우 디자이너’ 공개

- 신규 기능 ‘레이크플로우 디자이너’, 드래그 앤 드롭 인터페이스로 누구나 운영 수준의 파이프라인 구축 가능 ‘

- 레이크플로우’는 정식 출시(GA) 완료

서울, 2025년 6월 13일 — 업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)는 비기술 사용자도 코드 개발 없이 손쉽게 데이터 파이프라인을 구축할 수 있는 새로운 노코드 ETL 기능 ‘레이크플로우 디자이너(Lakeflow Designer)’의 프리뷰 버전을 공개할 예정이라고 발표했다. 레이크플로우 디자이너는 직관적인 드래그 앤 드롭 방식의 시각적 인터페이스와 자연어 기반의 생성형 AI 도우미를 제공하여, 기술적 전문 지식이 없는 사용자도 운영 환경 수준의 데이터 파이프라인을 쉽게 설계하고 구축할 수 있도록 돕는다.

이 기능은 데이터브릭스의 통합 데이터 파이프라인 솔루션인 ‘레이크플로우(Lakeflow)’를 기반으로 한다. 레이크플로우는 데이터 엔지니어들이 모든 비즈니스 핵심 데이터를 활용해 신뢰할 수 있는 파이프라인을 더 빠르게 구축할 수 있도록 설계된 솔루션으로, 현재 정식 출시되었다. 

전통적으로 기업은 데이터 파이프라인 구축에 있어 어려운 선택지에 직면해 왔다. 분석가가 노코드 또는 로우코드 도구를 사용해 파이프라인을 직접 구축하도록 허용하면 거버넌스, 확장성, 신뢰성 측면에서 한계를 감수해야 했고, 반대로 운영 수준의 파이프라인을 코드로 개발하려면 데이터 엔지니어링 팀에 의존해야 했다. 그러나 엔지니어링 팀은 이미 과중한 업무에 시달리고 있으며, 작업 요청은 장기간 대기 상태에 놓이기 일쑤였다. 이러한 이유로 다수의 기업들은 두 방식을 혼합해 사용하는 경우가 많지만, 이는 결국 복잡하고 관리가 어려운 데이터 환경을 만들게 된다. 데이터 기반 기업들이 결국 필요로 하는 것은 거버넌스, 확장성, 신뢰성을 모두 충족하면서도 코드 없이 손쉽게 구축할 수 있는 데이터 파이프라인 환경이다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “조직들이 AI 역량을 확장해야 한다는 압박이 점점 커지고 있다. 고품질 데이터를 적시에 적절한 위치로 전달하는 것은 지능형 애플리케이션 개발을 앞당기는 핵심 요소이다”며, “레이크플로우 디자이너는 조직 내 더 많은 사람들이 운영 수준의 데이터 파이프라인을 구축할 수 있도록 함으로써, 아이디어에서 실제 영향으로 이어지는 과정을 더욱 빠르게 만들 수 있도록 지원한다”고 말했다. 
레이크플로우 디자이너: 비즈니스 분석가를 위한 생성형 AI 기반 드래그 앤 드롭 데이터 프렙 툴

[사진] 레이크플로우 디자이너는 ETL 구현을 위한 노코드 환경을 제공한다

데이터브릭스가 새롭게 선보이는 레이크플로우 디자이너는 비즈니스 분석가들이 코드 없이 ETL 파이프라인을 구축할 수 있도록 지원한다. 자연어 명령과 드래그 앤 드롭 방식의 사용자 인터페이스를 통해, 데이터 엔지니어가 구축한 파이프라인과 동일한 수준의 확장성, 거버넌스, 유지관리성을 확보할 수 있다. 레이크플로우 디자이너는 레이크플로우, 유니티 카탈로그(Unity Catalog), 데이터브릭스 어시스턴트를 기반으로 설계되어, 기존의 코드 기반 및 노코드 도구 간의 간극을 해소한다. 이를 통해 기술적 배경이 없는 사용자도 데이터 엔지니어에게 유지보수나 거버넌스 관련 부담을 주지 않고, 비즈니스 문제를 신속하고 유연하게 해결할 수 있다.

레이크플로우의 신규 기능 출시

• 레이크플로우 정식 출시: 오늘부터 레이크플로우가 정식 출시되어, 데이터 수집부터 변환, 오케스트레이션에 이르는 통합 데이터 엔지니어링 솔루션을 제공한다. 특히, 선언형 파이프라인(Declarative Pipelines) 기능을 통해 데이터 엔지니어는 인프라를 직접 관리하지 않고도 SQL 또는 파이톤(Python)만으로 운영 수준의 엔드-투-엔드 파이프라인을 손쉽게 구축할 수 있다.
• 데이터 엔지니어링 전용 IDE 출시: 레이크플로우는 AI 기반 코드 작성, 디버깅, 유효성 검사를 지원하는 통합 개발 환경(IDE)을 새롭게 도입하여, 데이터 파이프라인 개발 속도를 대폭 향상시킨다.
• 새로운 데이터 수집 커넥터 출시: 레이크플로우 커넥트(Lakeflow Connect)에는 구글애널리틱스(Google Analytics), 서비스나우(ServiceNow), SQL Server, SharePoint, 포스트그레SQL(PostgreSQL), SFTP를 위한 포인트 앤 클릭 방식의 신규 인제스트(수집) 커넥터가 추가된다. 이미 제공 중인 세일즈포스 플랫폼 및 워크데이 보고서(Workday Reports) 커넥터와 함께 더 폭넓은 데이터 소스 지원이 가능해졌다.
• 제로버스를 통한 유니티 카탈로그 직접 쓰기 기능: 제로버스(Zerobus)는 메시지 버스 같은 별도의 인프라 없이도, 대규모 이벤트 데이터를 거의 실시간(latency 최소화)으로 레이크하우스에 직접 기록할 수 있게 해주는 서버리스 인프라다. 이 기능은 IoT 이벤트, 클릭스트림, 텔레메트리 등 이벤트 기반 워크로드에서 확장 가능한 고성능 처리를 가능하게 한다. 

데이터브릭스는 미국 현지 행사인 ‘Data + AI Summit’에서 레이크플로우의 정식 출시를 공식 발표했다. 데이터 엔지니어링 전용 IDE는 현재 퍼블릭 프리뷰(Public Preview) 단계에 있으며, 신규 인제스트 커넥터들은 다양한 출시 단계에 따라 순차적으로 제공될 예정이다. 제로버스는 현재 프라이빗 프리뷰(Private Preview) 단계로 제공되고 있으며, 레이크플로우 디자이너 또한 Data + AI Summit 이후 곧 프라이빗 프리뷰로 출시될 예정이다.

데이터브릭스(Databricks)에 대하여
데이터브릭스는 데이터 및 AI 기업이다. 현재 블록(Block), 컴캐스트(Comcast), 콘데 나스트(Condé Nast), 리비안(Rivian), 셸(Shell) 및 포춘(Fortune) 500대 기업의 60% 이상을 포함한 전 세계 10,000여 이상의 조직이 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 데이터를 관리하고 AI를 활용하고 있다. 레이크하우스, 아파치 스파크(Apache Spark™), 델타 레이크(Delta Lake), MLflow와 유니티 카탈로그(Unity Catalog)를 개발한 주역들이 모여 설립한 데이터브릭스는 미국 샌프란시스코에 본사를 두고 세계 각지에 지사를 운영하고 있다. 데이터브릭스에 대한 보다 자세한 정보는 데이터브릭스 코리아 공식 Databricks, 유튜브, X, LinkedIn, 페이스북에서 확인할 수 있다.

보도자료 문의

홍보 대행사 호프만에이전시 

양다빈 과장: [email protected]  010-8680-7453

김민지 대리: [email protected] 010-2756-6634