에이전트 시대의 데이터 및 거버넌스 통합: Azure Databricks의 새로운 기능

Data + AI Summit 2026 Azure Databricks 발표 사항

Data + AI Summit 2026에서 에이전트(agentic) 시대에 맥락(context)과 제어(control)의 결합을 실현하는 다양한 새로운 기능을 발표합니다. 기업이 제한적인 실험적 AI 파일럿 단계에서 벗어나 프로덕션 수준의 자동화된 워크플로우로 전환할 수 있도록, Azure Databricks 플랫폼을 네 가지 핵심 축을 중심으로 확장하고 있습니다. 바로 Agentic Data를 통한 초고속 제로 카피(zero-copy) 실시간 기반 구축, Agentic Dev & Work를 통해 일상적인 생산성 도구에 데이터 스마트 AI 동료를 직접 내장, Agentic Marketing을 통한 자율적인 레이크하우스 내장형 개인화 배포, 그리고 지능적이고 안전한 거버넌스 프레임워크 아래 전체 에코시스템을 고정하는 것입니다. 이러한 발전이 한데 어우러져 귀사의 데이터, 팀, 자율 에이전트가 Azure에서 기본적으로 원활하게 작동하도록 설계된 통합 아키텍처를 제공합니다.

1. Agentic Data: LTAP, Azure Databricks Lakebase 및 실시간 레이크하우스 기반

비용이 많이 드는 운영 사이드 스택으로 데이터를 복제하지 않고도 자율 에이전트에 실시간 데이터를 공급할 수 있도록, Azure Databricks는 최초의 진정한 LTAP(Lake Transactional/Analytical Processing) 아키텍처를 선보입니다. 이 통합 스토리지 레이어는 분석 데이터, 스트리밍 파이프라인, 실시간 애플리케이션 트랜잭션을 레이크하우스의 단일 공유 스토리지 복사본으로 직접 통합합니다.

이 프레임워크의 트랜잭션 엔진인 Azure Databricks Lakebase는 에이전트 시대를 위해 특별히 구축된 완전 관리형 서버리스 Postgres 데이터베이스를 제공합니다. 컴퓨팅과 스토리지가 분리된 Azure Databricks Lakebase는 즉각적인 쓰기 시 복사(copy-on-write) 데이터베이스 분기(branching)를 지원하여 프로덕션 AI 에이전트를 디버깅할 때 발생하는 규정 준수 리스크를 완전히 제거합니다. 개발자는 단 몇 초 만에 실제 프로덕션 데이터베이스의 완전한 고정밀 분기를 실행할 수 있으며, 엔지니어는 GitHub Copilot 에이전트 모드가 임시 분기를 직접 가리키도록 하여 예외 상황(edge case)을 안전하게 재현하고, 근본 원인을 파악하며, 표준 Git 기반 워크플로우를 통해 수정 사항을 배포할 수 있습니다.

다운스트림 분석 서빙의 경우, Lakehouse//RT는 기존의 확장성과 지연 시간 간의 절충안을 깨뜨립니다. 벡터화된 Reyden 엔진을 기반으로 하는 이 솔루션은 데이터 레이크에서 직접 고동시성 워크로드에 대해 1초 미만(밀리초 수준)의 응답 시간을 제공하여, 운영 대시보드 및 Power BI와 원활하게 통합되는 초고속 기반을 구축합니다.

Lakehouse//RT는 헬스케어 데이터셋에서 이전 웨어하우스보다 평균 3분의 1 이상 빠르게 실행되었으며, 쿼리 속도는 10배 더 빨랐습니다. 이는 고객에게 더 빠른 정보 액세스와 더 많은 의사 결정 시간으로 직접 이어집니다. 레이크하우스 아키텍처를 보완하기 위해 전용 실시간 시스템을 고려했었지만, Lakehouse//RT 덕분에 그럴 필요가 없어졌고, 일관된 거버넌스와 함께 그 속도를 기본적으로 확보할 수 있었습니다.—Mehrshad Setayesh, PointClickCare 엔지니어링(데이터, 플랫폼, AI) 부문 SVP

공유 데이터, 제로 카피(Zero-Copy)

OneLake에 저장된 모든 데이터에 액세스(정식 출시): Azure Databricks는 데이터를 복사하지 않고도 Unity Catalog를 통해 OneLake에 저장된 데이터를 직접 쿼리할 수 있습니다.

OneLake에 데이터 저장(퍼블릭 베타): 이제 Azure Databricks는 관리형 Delta 테이블을 OneLake에 기본적으로 저장할 수 있습니다. 데이터가 OneLake에 저장되든 ADLS에 저장되든 관계없이 모든 Fabric 엔진의 OneLake에서 제로 카피로 사용할 수 있습니다.

2. Agentic Dev & Work: Genie Everywhere를 통한 AI 민주화

가장 유용한 AI 인사이트는 마찰 없이 전달되는 인사이트입니다. 그렇기 때문에 귀사의 팀이 이미 매일 협업하고 의사 결정을 내리는 협업 도구에 Genie를 기본적으로 도입하고 있습니다.

Microsoft Teams 및 M365 Copilot용 Genie(베타)

Microsoft 에코시스템 전반에서 작업하는 팀의 경우, 이제 일상적인 협업 도구 내에서 동일한 데이터 인텔리전스를 직접 사용할 수 있습니다. 예를 들어, 영업 부문 VP가 Teams에서 "이번 분기 주요 고객사는 어디였으며, 동남부 지역 목표를 달성하지 못한 이유는 무엇인가요?"라고 묻는 상황을 가정해 보겠습니다. 대시보드와 보고서를 헤맬 필요 없이 스레드에서 @Genie를 태그하기만 하면, 단 몇 초 만에 전체 팀이 Azure Databricks 레이크하우스로부터 맥락을 반영한 답변을 받게 됩니다. 현재 베타 버전인 Microsoft Teams 및 M365 Copilot용 Databricks Genie 통합은 모든 채팅과 Copilot 기반 워크플로우로 AI 네이티브 인텔리전스를 확장합니다. Genie를 불러와 답변을 확인해 보세요.

또한 오늘부터 Databricks Genie는 M365 Copilot Cowork와 원활하게 연동됩니다. 이번 통합을 통해 팀은 Genie Ontology를 기반으로 Cowork의 작업을 고정하여 신뢰할 수 있는 데이터 인텔리전스를 워크플로우에 직접 적용할 수 있습니다.

전체 Genie 제품군

Genie는 분석을 수동적인 보고 대시보드에서 Microsoft 환경 전반에서 활약하는 능동적이고 데이터 스마트한 AI 동료로 전환합니다. 이 통합은 Unity Catalog에 의해 완전히 제어되므로 모든 답변을 신뢰할 수 있고 안전하며, 각 사용자가 볼 수 있는 권한에 정확히 맞춰 제공됩니다. 이번 출시와 함께 전체 Genie 혁신 프레임워크를 소개합니다:

• Genie One: 비즈니스 팀이 어디서 일하든 지원하는 AI 동료로, 문서 초안 작성, 보고서 생성, 일정 관리, 작업 추적을 포함한 인사이트와 자율적인 작업을 제공합니다.
• Genie Agents: 비기술 분야 사용자도 맞춤형 맥락 대화를 재사용 가능한 개인 에이전트로 생성하고 공유하여 팀원들과 도메인 지식을 확장할 수 있도록 지원합니다.
• Genie App Builder: 누구나 실제 기업 데이터를 기반으로 맞춤형 애플리케이션을 신속하게 구축하고 배포할 수 있는 거버넌스가 적용된 로코드(low-code) 환경입니다.
• Lakeflow Designer: 데이터 엔지니어가 자연어 프롬프트를 사용하여 복잡한 데이터 워크플로우를 설계, 편집 및 자동화할 수 있도록 지원하여 파이프라인 오케스트레이션을 재정의합니다(구 Lakeflow Designer).
• Genie ZeroOps: 기본 인프라 프로비저닝 및 쿼리 튜닝을 처리하는 완전 자율 실행 레이어로, 기존의 데이터베이스 관리 오버헤드를 완전히 제거합니다.
• Genie Code: 팀이 Databricks 내에서 데이터 및 AI 워크플로우를 구축, 디버깅, 최적화 및 운영할 수 있도록 돕는 자율 AI 파트너입니다.

원활한 M365 Office 통합:

Excel을 주로 사용하는 팀을 위해, 이미 업무가 진행 중인 환경으로 직접 찾아갑니다. 현재 퍼블릭 프리뷰로 제공되는 Azure Databricks Excel 애드인은 SQL이나 사용자별 ODBC 설정 없이 마찰을 줄이면서 레이크하우스를 스프레드로 직접 가져옵니다.

Unity Catalog 메트릭 뷰 지원을 통해 데이터 팀은 비즈니스 로직을 한 번만 정의하면 Excel 등에서 즉시 안전하고 일관되게 사용할 수 있습니다. 단순히 읽기 전용에 그치지 않습니다. 이 애드인은 쓰기 되돌리기(write-back)도 지원하므로 권한이 있는 사용자는 Excel에서 Databricks로 직접 업데이트를 푸시하여 분석과 조치 간의 루프를 완성할 수 있습니다.

그 결과 거버넌스가 적용된 레이크하우스 데이터와 비즈니스 로직을 Excel 사용자에게 직접 제공함으로써 더 빠르고 안정적인 의사 결정을 내릴 수 있습니다.

전체 기업 에코시스템에서 파일 처리를 더욱 자동화하기 위해, Lakeflow Connect를 통해 제공되는 완전 관리형 SharePoint 커넥터의 퍼블릭 베타가 수동 수집의 번거로움을 제거합니다. 이 커넥터를 사용하면 조직은 정형 시트와 PDF, Word 문서, PowerPoint와 같은 비정형 파일 모두에 대해 클릭만으로 자동화된 수집 파이프라인을 배포할 수 있습니다. SharePoint 파일 리포지토리를 Delta 테이블로 직접 자동 스트리밍함으로써, 이 통합 기능은 수동 텍스트 추출이나 위험한 파일 다운로드 없이도 다운스트림 분석 파이프라인, Genie One 스페이스 및 Excel 통합 문서에 신선하고 검증된 데이터를 지속적으로 공급합니다.

3. Agentic Marketing: Azure Databricks CustomerLake 소개

사일로화된 MarTech 애플리케이션의 운영 복잡성을 제거하기 위해, 레이크하우스 기반 내에 기본적으로 구축된 업계 최초의 에이전트 기반 고객 데이터 플랫폼(CDP)인 Azure Databricks CustomerLake를 소개합니다. 보안 스토리지 경계 내에 완전히 내장된 CustomerLake는 데이터 팀에 자율적인 Profile 에이전트를 제공하여 분산된 소스 전반의 원시 데이터를 비즈니스에 바로 사용할 수 있는 Customer 360 프로필로 변환하도록 지원합니다. 동시에 마케터 친화적인 워크스페이스는 비즈니스 사용자에게 Campaign 에이전트를 제공하여 잠재고객을 세분화하고, 차선책(next-best action)을 추천하며, 채널 전반에서 활성화하고, 1:1 개인화된 경험을 지속적으로 최적화할 수 있도록 지원합니다.

CustomerLake와 새로운 CDP 기능에서 가장 기대되는 점은 고객 데이터를 실질적으로 활용 가능하고, 시의적절하며, 확장 가능한 방식으로 통합할 수 있다는 것입니다. 각 고객에 대한 보다 완전한 뷰를 구축함으로써 채널 전반에서 행동, 선호도 및 요구사항을 더 잘 이해할 수 있으며, 이는 더욱 개인화된 경험과 관련성 높은 혜택을 제공하는 데 도움이 될 것입니다. 궁극적으로 저희는 이것이 비즈니스와 고객 모두에게 더 강력한 참여, 더 깊은 충성도, 그리고 더 나은 결과를 가져다줄 강력한 발걸음이라고 생각합니다.—Jay Malepati, Circle K 고객 및 마케팅 데이터 사이언스 부문 글로벌 디렉터

4. 컨텍스트, 제어 및 선택: 거버넌스 프레임워크

이러한 지능형 애플리케이션을 구동하려면 세분화된 관리 제어와 시맨틱 정밀도가 필요합니다. 당사 플랫폼의 기본 인텔리전스 레이어는 스스로 개선되는 시맨틱 컨텍스트 엔진인 Genie Ontology입니다. 수동 큐레이션이 필요한 대신, Genie Ontology는 파이프라인에서 직접 테이블 관계, 컬럼 메트릭, 쿼리 인기도 신호를 자동으로 추출하여 AI 할루시네이션(환각)을 제거하고 모델이 고유한 기업 전문 용어를 정확하게 이해하도록 보장합니다.

모델이 확장됨에 따라 이를 거버넌스하기 위해 Unity AI Gateway는 Unity Catalog 내에서 중앙 집중식 런타임 레지스트리 역할을 합니다. 이는 엄격한 실시간 속도 제한, 콘텐츠 필터링, 엄격한 지출 한도를 설정하여 모든 자동화된 워크플로에서 예측 가능한 토큰노믹스를 보장합니다.

실시간 데이터 기반을 Microsoft Teams 및 Excel과 같은 일상적인 도구에 직접 연결함으로써, Azure Databricks는 신뢰할 수 있는 AI 워크플로를 실행하고 거버넌스하는 것을 그 어느 때보다 간편하게 만듭니다. 업데이트된 제품 설명서를 살펴보거나 Databricks Academy를 방문하여 지금 바로 이러한 새로운 기능을 활용해 보세요.

Azure Databricks 무료로 시작하기 →

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)