요약: Data + AI Summit 2025 데이터브릭스 기술 업데이트

AI 중심 데이터 전략의 미래를 이끄는 기술 진화

2025년 6월 샌프란시스코에서 개최된 Data + AI Summit은 데이터브릭스가 어떻게 오픈 생태계와 AI를 통합하며 산업 전반의 데이터 전략을 재정의하고 있는지 보여주었던 행사로, 16,000여 명의 현장 참석자와 40,000명 이상의 온라인 사용자가 컨퍼런스에 참석했습니다.

올해는 특히 오픈 포맷, 통합 거버넌스, 멀티 에이전트 기반의 AI 최적화, 시각적 파이프라인 설계 등 AI와 데이터 접점에서의 필요 솔루션과 플랫폼이 어떻게 구현되는지를 중심으로 신기술 발표가 이어졌습니다. 이 글에서는 ‘오픈 소스 데이터 + AI 교차점’이라는 큰 흐름을 중심으로 주요 기술 업데이트를 공유합니다.

오픈 소스 데이터 + AI 교차점: 표준에서 실행으로

오픈 소스 생태계에 뿌리를 둔 데이터 엔지니어들에게, AI 시대의 전환은 기술 선택의 기준 자체를 변화시키고 있습니다. 기업들은 이제 폐쇄된 독점 포맷이 아니라 형식 간 호환성과 유연성, 확장성, 통합된 거버넌스를 핵심으로 삼기 시작했습니다. 데이터브릭스는 이 변화에 대응하여 오픈 테이블 포맷 + 통합 거버넌스라는 양대 축을 중심으로 진화된 솔루션을 선보였습니다. 특히 주목할 기술은 바로 Unity Catalog의 Iceberg 지원 확장입니다.

Delta Lake와 Apache Iceberg의 공존을 실현하는 Unity Catalog

많은 조직은 그동안 Delta Lake와 Apache Iceberg 중 하나를 선택해야 했습니다. 이는 팀 간 사일로를 야기하고 형식 별 메타데이터 관리를 복잡하게 만들었으며, 결국에는 AI 및 BI(Business Intelligence) 도구 간 호환성을 제한하는 문제로 이어졌습니다. Unity Catalog는 이 선택지를 제거해 주었습니다. 오픈 표준을 기반으로 형식 간, 클라우드 간, 엔진 간 자유로운 이동성을 제공하며 Databricks는 이를 위해 Apache Iceberg에 대한 전략적 투자를 확대해 왔습니다.

이번 컨퍼런스에서 발표된 강화 내용은 다음과 같습니다:

• Iceberg REST Catalog API 전면 지원: Trino, Snowflake, Amazon EMR 등 외부 엔진에서 Unity Catalog 기반 Iceberg 테이블을 읽고 쓸 수 있습니다.
• Iceberg 관리 테이블 (Public Preview): 최적의 가격과 성능, liquid 클러스터링, predictive optimization을 포함합니다.
• Iceberg 카탈로그 연합 (Public Preview): AWS Glue, Hive Metastore, Snowflake Horizon 기반 테이블을 별도의 데이터 이동 없이도 중앙에서 거버넌스할 수 있도록 지원합니다.
• Delta Sharing for Iceberg (Private Preview): REST API 기반 클라이언트와 데이터 공유가 가능합니다

이러한 기능은 오픈 포맷 기반의 실시간 AI 및 분석 워크로드를 위한 인프라를 구축하는 데 있어 결정적인 전환점이 될 것입니다. 이와 같은 오픈 기반 데이터 전략과 통합 거버넌스는 AI 시대의 복잡한 데이터 활용 문제를 구조적으로 해결하는 핵심 열쇠입니다. 데이터브릭스는 이 철학을 기반으로, 다양한 팀이 유연하게 협업하고 고품질 AI를 실현할 수 있도록 기술 스택 전반을 확장해왔습니다. 다음 단락에서는 이번 서밋에서 발표된 그 실행 수단들—현실의 데이터를 AI 전략으로 연결해주는 구체적인 기술 진화들—을 요약한 내용입니다.

또한 2025년 7월 23일 수요일에는 컨퍼런스에서 언급된 Databricks의 최신 기술과 혁신에 대한 소개, 데이터 레이크하우스와 AI가 통합된 데이터브릭스 데이터 인텔리전스 플랫폼의 업데이트된 기능을 한번에 살펴 보실 수 있는 입문 시리즈 온라인 워크샵이 진행됩니다. 다음 링크를 통해 신청해주세요.

주요 발표 기술 요약

1. 레이크베이스(Lakebase) – AI 시대를 위한 서버리스 Postgres

Lakebase는 Databricks 레이크하우스에 네이티브로 통합된 최초의 서버리스 Postgres 데이터베이스입니다. AI 에이전트를 위한 브랜칭 및 체크포인트 기능을 지원하여, 다양한 실험과 재실행이 가능한 설계가 특징입니다. 복잡한 ETL 없이 운영, 분석, AI 데이터가 단일 시스템에서 유연하게 통합됩니다. 기존의 Postgres와 달리, Lakebase는 다음과 같은 특징을 통해 AI 애플리케이션에 특화된 데이터 기반을 제공합니다:

• 브랜칭(Branching) 및 체크포인트 기능을 통해 AI 에이전트가 다양한 실험을 수행하고, 이전 상태로 되돌아가거나 분기 결과를 비교
• 레이크하우스 아키텍처와의 완전한 통합으로, 운영 데이터, 분석 데이터, AI 모델 피드백 데이터를 하나의 시스템 내에서 연동할 수 있어 별도의 ETL 파이프라인 불필요
• 서버리스 기반 아키텍처로 컴퓨팅 리소스를 자동으로 확장하며, 성능 대비 비용 효율 최적화

이러한 설계 덕분에 Lakebase는 단순한 OLTP/OLAP 겸용 DB가 아니라 AI 에이전트를 실시간으로 학습시키고 추론 결과를 다시 반영하는 순환형 AI 시스템에 최적화된 데이터베이스입니다. AI가 실행되는 데이터베이스로 기계 속도로 작동하는 대규모 AI 시스템을 안정적이고 유연하게 뒷받침하는 핵심 기반입니다.

2. 에이전트 브릭스(Agent Bricks) – 자동 최적화되는 AI 에이전트 빌더

AI 에이전트 개발은 여전히 많은 조직에게 높은 진입 장벽과 반복적인 품질 튜닝 문제를 안겨줍니다.

Agent Bricks는 이러한 복잡성과 불확실성을 줄이기 위해 등장했습니다. 전문가 없이도 빠르게, 신뢰할 수 있게, 운영 환경에 투입 가능한 에이전트를 만드는 것, 그것이 이 기능의 핵심입니다. Agent Bricks는 이 문제를 해결하기 위해 다음을 제공합니다:

• 목적 정의와 자연어 피드백만으로 에이전트를 설계 함
• 평가 스위트를 자동 생성하고 품질을 자동으로 최적화 수행
• 다양한 산업별 시나리오에 최적화된 템플릿 제공 (예: 구조화 정보 추출, 신뢰 기반 응답, 텍스트 변환, 다중 에이전트 조정 등).

자동화된 튜닝 기능을 통해 신뢰할 수 있고, 비용 효율적인 AI 에이전트를 빠르게 생산 환경에 투입할 수 있습니다.

3. 레이크플로우(Lakeflow) – 통합 데이터 엔지니어링 플랫폼 (GA 출시)

데이터 파이프라인은 점점 더 복잡하고 분산된 환경 속에서 구축되고 있습니다. 각기 다른 도구를 연결하고 데이터를 수집, 처리, 오케스트레이션까지 별도로 관리하는 방식은 비용과 유지보수 부담을 증가시키고 있습니다.Lakeflow는 이러한 문제를 해결하기 위해 등장한 통합형 데이터 엔지니어링 플랫폼으로 하나의 환경에서 데이터 수집, 파이프라인 정의, 실행, 모니터링까지 모두 처리할 수 있도록 설계되었습니다. 작년에 발표되었던 Lakeflow가 이제 일반 사용(GA)이 가능한 버전으로 제공됩니다.

• Lakeflow Connect: 실시간/배치 데이터 수집, 커넥터 확장
• Lakeflow 선언형 파이프라인: 표준 기반 Spark 파이프라인 정의 및 관리, IDE 연동
• Lakeflow Jobs: 고급 오케스트레이션, 트리거 기반 실행, 완전한 모니터링 지원

특히 Lakeflow Designer를 통해 코드 없이 AI 기반 UI에서 시각적 파이프라인을 구성할 수 있습니다.

이는 데이터 엔지니어링 작업의 생산성과 협업 효율성을 크게 향상시킬 수 있는 지점입니다.

4. Databricks One – 비즈니스 사용자를 위한 데이터 + AI 환경

Databricks One은 기술 비전문가도 데이터에서 인사이트를 얻을 수 있게 하는 차세대 사용자 인터페이스입니다. 모든 구성원들에게 적합한 대시보드를 설정하여, 필요한 데이터에 쉽고 자유롭게 접근할 수 있도록 지원합니다.

• 보고를 위한 AI/BI 대시보드를 활용하여 KPI를 확인하고 주요 지표를 분석
• AI/BI Genie를 사용하여 자연어로 데이터 관련 질문을 하고 필요한 인사이트 수집
• 맞춤형으로 제작된 Databricks 앱을 사용하여 분석, AI, 워크플로우를 맞춤형 인터페이스에 통합
• “고객 데이터”, “마케팅 캠페인 성과”와 같은 비즈니스 영역을 중심으로 구성된 도메인 별 인사이트 확인

Databricks One은 데이터 접근을 위한 기술적 장벽을 낮추고 조직의 모든 구성원이 데이터 기반 의사결정을 일상화할 수 있는 환경을 제공합니다. 이제 누구나 데이터와 AI의 힘을 활용해 더 빠르고 정확한 인사이트를 얻을 수 있습니다.

Databricks 입문 시리즈: 온라인 워크샵

데이터와 AI의 최신 트렌드를 한눈에 살펴보고 싶으신가요? Databricks 입문 시리즈 온라인 워크샵에서는 데이터 레이크하우스와 AI가 결합된 Databricks 데이터 인텔리전스 플랫폼의 혁신적인 기능을 소개합니다. 이번 워크샵에서는 최신 기술과 함께 Databricks Assistant, AI/BI Dashboard, Genie Space, LLM(대규모 언어모델) 관련 기능 등 기업 데이터 분석을 한 단계 더 발전시킬 수 있는 지능형 통합 환경을 경험하실 수 있습니다.

워크샵에서는 Databricks 플랫폼 전반에 대한 소개와 함께 데이터 엔지니어링, AI/BI 대시보드 및 Genie Space, 머신러닝 등 각 주제별 데모 세션도 진행됩니다. 데이터 엔지니어, 데이터 과학자, 머신러닝 설계자, BI 및 SQL 분석가, 그리고 데이터와 함께 일하는 모든 분들을 위한 이번 워크샵에 여러분을 초대합니다.