Azure Databricks의 새로운 기능: 통합된 거버넌스, 오픈 포맷, AI 네이티브 워크로드

Azure Databricks 는 계속해서 Azure에서 가장 개방적이고, 거버넌스가 적용된, 지능적인 데이터 플랫폼으로 발전하고 있습니다. 올해의 Databricks Data + AI Summit에서는 Azure 고객들이 데이터 아키텍처를 현대화하고, 보안 협업을 확장하며, AI 채택을 가속화하는 데 도움이 될 수 있는 새로운 혁신 들을 소개했습니다. 데이터 수집과 오케스트레이션을 단순화하는 것부터 거버넌스가 적용된 인사이트로 더 많은 사용자를 지원하는 것까지, 이러한 혁신들은 기관 전체에서 AI를 구축하고, 배포하고, 확장하는 것을 어느 때보다 쉽게 만듭니다. 이 요약에서는 Data + AI Summit에서 발표된 주요 업데이트를 다룰 것입니다 - 이제 Azure에서 사용할 수 있습니다.

Databricks One + Genie를 통한 비즈니스 사용자 지원

Databricks One 은 비즈니스 사용자가 데이터와 AI를 가장 적은 마찰로 최대한 활용할 수 있도록 도와주는 새로운 작업 공간 경험입니다. 이는 사용자가 AI/BI 대시보드를 탐색하고, Genie를 통해 자연어로 질문을 하며, 맞춤형 Databricks 앱에 접근할 수 있는 간소화되고 직관적인 인터페이스를 제공합니다. 사용자들은 또한 AI 기반의 추천을 통해 관련 대시보드, 공간, 도구를 찾아볼 수 있으며, 이 모든 것은 Azure 신원 및 보안과 통합된 거버넌스 환경 내에서 이루어집니다.

이 경험의 일환으로, 오늘날 모든 Databricks 고객들에게 제공되는 새로운 “소비자 접근” 권한은 비즈니스 사용자들이 대시보드, Genie 공간, Databricks 앱과 같은 공유 자산에 간단하고, 읽기 전용 인터페이스를 통해 접근할 수 있게 해줍니다 - 이로써 결정권자들에게 거버넌스가 적용된 인사이트를 제공합니다.

AI/BI Genie 는 이제 일반적으로 사용할 수 있으며, 비즈니스 사용자들이 자연어로 데이터 질문을 하고 정확하고 설명 가능한 답변을 받을 수 있게 합니다. 데이터 인텔리전스를 기반으로 한 Genie는 조직의 사용 패턴과 메타데이터를 학습하여 신뢰할 수 있는 데이터에 기반한 SQL, 차트, 요약을 생성합니다. 이는 후속 질문, 깊은 추론(곧 출시 예정), 그리고 의미 이해를 지원하여 사용자가 대시보드를 넘어서 의미 있는 통찰력을 발견하는 데 도움을 줍니다. 또한, Azure Databricks의 Azure AI Foundry로의 네이티브 커넥터 는 Foundry 에이전트가 AI/BI Genie에서 거버넌스가 적용된 실시간 인사이트를 검색할 수 있게 합니다. 이 커넥터는 Unity 카탈로그 권한을 존중하고 인사이트가 귀하의 조직의 신뢰할 수 있는 데이터에 기반을 두고 있음을 보장합니다.

통합 거버넌스와 개방성: 상호 운용성의 기반

Unity 카탈로그는 Azure Databricks의 개방적이고, 안전하며, 상호 운용 가능한 플랫폼의 기반이 됩니다. 최근의 업데이트들은 계속해서 그 기능을 확장하고 있습니다:

• 속성 기반 접근 제어(ABAC) 는 카탈로그, 스키마, 또는 테이블 수준에서 적용할 수 있는 태그를 사용하여 유연한 접근 정책을 정의합니다. ABAC는 행 및 열 수준 보안을 위해 베타 에서 사용할 수 있습니다. 
• Power BI에 자동 게시 는 거버넌스가 적용된 데이터셋이 Power BI에서 안전하게 게시되고 새로 고쳐질 수 있게 하여 Microsoft 스택 전체에서 데이터 보안과 무결성을 강화합니다. ABAC이 Power BI에 게시 작업과 함께 사용될 때, ABAC은 오직 인증된 사용자만이 거버넌스가 적용된 데이터를 보거나 게시할 수 있도록 하여, 워크스페이스 접근을 비즈니스 속성과 보안 정책과 일치시킵니다.
• 미러링된 Azure Databricks 카탈로그가 이제 일반적으로 사용 가능합니다. 이 기능은 Unity 카탈로그에서 거버넌스가 적용된 테이블을 Microsoft Fabric에서 접근할 수 있게 해주며, Unity 카탈로그 Open API를 통한 상호 운용성을 가능하게 합니다.
• Unity 카탈로그를 통한 크로스 클라우드 데이터 거버넌스 는 Azure Databricks에서 S3 데이터에 접근하는 것을 지원합니다. 이를 통해 조직은 클라우드 경계를 넘어서 일관된 보안, 감사, 그리고 데이터 유래를 강제할 수 있습니다.
• 데이터 분류, 이상 탐지, 감사 향상 은 데이터 지능을 활용하여 자동으로 이상치와 민감한 필드를 귀하의 데이터에서 플래그합니다.
• Iceberg 관리 테이블 은 전체 Apache Iceberg™ 지원을 Unity 카탈로그에 가져와, 여러 엔진과 도구를 통한 개방적이고 거버넌스가 적용된 접근을 가능하게 합니다. 

이러한 개선 사항들로 인해 Unity Catalog는 현재 가장 기능이 풍부하고, 성능이 우수하며, 개방적인 카탈로그로 자리매김하게 되었습니다. 이는 조직이 Azure 데이터 자산을 통한 거버넌스를 표준화하고 혁신을 가속화하는 데 도움을 줍니다. 이러한 이점들은 이미 Unity Catalog 관리 테이블을 통해 실현되고 있으며, 이는 수동 튜닝이나 유지 관리를 필요로 하지 않으면서도 최대 50% 이상의 비용 절감과 20배 빠른 쿼리를 제공하기 위해 내장 AI 최적화를 적용합니다.

Lakeflow와 Lakebridge를 사용한 데이터 웨어하우징과 ETL 현대화

Lakeflow, 이제 일반적으로 사용 가능하며, 세 가지 통합 컴포넌트를 통해 데이터 수집, 변환, 오케스트레이션을 통합합니다:

• Lakeflow Connect 는 신뢰할 수 있는, 관리되는 수집을 위한 것입니다.
• Lakeflow Declarative Pipelines 는 쉽게 확장 가능한 데이터 파이프라인을 구축하기 위한 것입니다.  
• Lakeflow Jobs 는 데이터와 AI의 네이티브 오케스트레이션을 위한 것입니다.

Lakeflow는 여러 도구를 결합할 필요를 없애어 데이터 엔지니어링을 단순화하며, 복잡성과 비용을 줄여 팀이 비즈니스 가치를 추구하는 데 집중할 수 있게 합니다. 엔지니어링 팀을 위해서, 기본 기술은 Spark Declarative Pipelines로 오픈 소스화되어, 고급 사용자들에게 투명성과 유연성을 제공합니다.

동시에, Lakeflow Designer—올해 말 미리보기에서 사용 가능한 새로운 AI 기반 시각 파이프라인 빌더—는 비기술 사용자들이 코드 없는 인터페이스를 통해 생산 수준의 데이터 파이프라인을 구축하고, 배포하고, 모니터링할 수 있게 합니다. 이는 특히 레거시 ETL 도구에서 워크플로우를 현대화하려는 Azure 고객들에게 가치가 있으며, 파이프라인 개발을 더 넓은 범위의 사용자들에게 접근 가능하게 하면서 신뢰성과 확장성을 보장합니다.

Lakebridge 는 레거시 데이터 웨어하우스 워크로드를 Azure Databricks SQL로 이전하는 것을 가속화합니다. 이는 평가, 변환, 검증, 그리고 화해를 단순화하며, Teradata, Oracle, Snowflake 등에서 이동하는 팀들에게 최대 2배 빠른 구현을 제공합니다.

AI 네이티브 워크로드를 위한 데이터베이스와 앱

Lakebase 는 레이크하우스와 통합되고 지능형 애플리케이션을 위해 구축된 첫 번째 완전히 관리되는 Postgres 데이터베이스입니다. Lakebase는 고객이 Azure Databricks에서 운영, 분석, 그리고 AI 작업 부하를 결합할 수 있게 하여, 통합된 플랫폼 내에서 맞춤형 ETL 파이프라인 없이 이를 가능하게 합니다. 일반적인 사용 사례로는 개인화된 추천과 같은 애플리케이션에서 레이크하우스에서 데이터 및/또는 피처를 제공하거나, 주문 처리나 챗봇을 위한 애플리케이션과 에이전트를 구축하거나, 레이크하우스에서 역사적인 주문 분석을 위한 운영 데이터를 분석하는 것 등이 있습니다.

Databricks 앱은 이제 일반적으로 사용 가능하며, 팀이 Azure Databricks 환경 내에서 안전하고 거버넌스가 적용된 애플리케이션을 직접 구축할 수 있게 합니다. 내부 관리 도구에서 고객 대면 애플리케이션에 이르기까지, 앱은 Python 또는 JavaScript로 구축될 수 있으며, Azure 인증과 원활하게 통합됩니다. 이는 Microsoft Power Apps 와 함께 사용하여 Unity Catalog 거버넌스에 의해 지원되는 유연한 프론트 엔드를 가능하게 합니다.

결론: Azure Databricks는 귀하의 AI 네이티브 데이터 인텔리전스 플랫폼입니다.

Azure Databricks는 데이터와 AI의 미래를 제공하고 있습니다. 거버넌스, 개방성, AI 네이티브 워크로드에 대한 혁신을 통해, 우리는 Azure 고객들이 작업을 단순화하고, 생산성을 향상시키고, 조직 전체에서 인사이트를 확장하는 데 도움을 주고 있습니다.

오늘 이 새로운 기능들을 탐색하고 Azure에서 Databricks Data Intelligence Platform 으로의 여정을 시작하세요.

Azure Databricks의 무료 14일 체험판을 시작하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)