Unity Catalog의 OneLake 지원 확대

오늘은 개방형 표준과 더 넓은 데이터 커뮤니티에 있어 중요한 이정표가 되는 날입니다. 저희는 Microsoft와 협력하여 개방형 표준을 사용해 Unity Catalog와 OneLake에서 관리되는 데이터를 통합하고 있습니다. Unity Catalog Open API 사양은 제로 카피(zero copy)로 데이터를 양방향으로 교환하는 인터페이스를 제공하여 두 플랫폼의 엔진이 전체 lakehouse 에코시스템에 액세스할 수 있도록 합니다.

거의 10년 동안 Databricks와 Microsoft는 파트너 관계를 맺고 lakehouse의 개방성과 유연성을 통해 조직이 데이터의 가치를 실현하도록 지원해 왔습니다. 오늘, 이 파트너십은 한 단계 더 나아가 고객에게 플랫폼 전반에서 데이터를 액세스하고 거버넌스하는 방법에 대한 더 많은 선택권을 제공합니다.

개방형 상호 운용성으로 가는 길

Delta Lake, Iceberg와 같은 오픈 테이블 형식이 채택되면서 카탈로그 수준에서 새로운 사일로가 등장했습니다. 이 문제를 해결하기 위해 Databricks는 Unity Catalog Open APIs를 출시하여 데이터와 AI 전반에 걸친 통합 거버넌스를 위한 개방형 표준을 확립하는 동시에 테이블 형식 데이터에 대한 Iceberg REST API도 완벽하게 지원합니다. 이러한 이중 API 접근 방식을 통해 조직은 여러 데이터 플랫폼과 SaaS 애플리케이션에서 데이터를 원활하게 공유하면서 동급 최고의 솔루션을 채택하고 벤더 종속을 피할 수 있습니다.  또한 모든 데이터 플랫폼에 걸쳐 단일 거버넌스 뷰를 제공하기 위해 카탈로그 페더레이션을 도입했습니다. 카탈로그 페더레이션을 지원하는 개방형 APIs인 이 모델은 상호 운용성을 위한 산업 표준이 되었습니다.

오늘 저희 파트너인 Microsoft가 이 개방형 비전을 인정해 주어 기쁩니다.

Microsoft, Unity Catalog Open APIs 지원 추가

오늘 Microsoft의 파트너와 함께 발표했듯이 양사의 협업은 더욱 깊어지고 있습니다.

Microsoft는 이미 OneLake 미러링을 통해 Azure Databricks에서 읽기를 지원하여 Fabric 엔진이 Unity Catalog에서 관리되는 모든 데이터에 원활하게 액세스할 수 있도록 했습니다.   독점 플랫폼과의 다른 OneLake 통합과 달리, 이 기능을 사용하면 복사, 코드 변경 또는 추가 비용 없이 최고 성능의 테이블을 포함한 Unity Catalog의 모든 데이터를 OneLake에서 사용할 수 있습니다.

오늘 Microsoft와 Databricks는 훨씬 더 기본적으로 통합하여 개방성을 확장하고 있습니다. Microsoft OneLake가 Unity Catalog Open API 표준에 대한 지원을 추가함에 따라 Azure Databricks 사용자는 OneLake에서 원활하게 데이터를 읽을 수 있게 됩니다.

Microsoft는 OneLake에 Iceberg REST 및 Unity Catalog Open APIs를 포함한 개방형 카탈로그 APIs 지원을 추가하여, Dynamics, Dataverse, Blob store 등 서비스의 OneLake 정형 및 비정형 데이터를 Databricks를 포함한 전체 개방형 lakehouse 에코시스템에서 기본적으로 액세스할 수 있도록 지원합니다.

Databricks, 개방형 기반을 바탕으로 구축

이 확장된 기능을 활용하여, Databricks는 모든 OneLake 데이터를 Unity Catalog에서 원활하게 사용할 수 있도록 지원을 추가하고 있습니다.

이를 통해 Databricks 내에서 OneLake 데이터의 제로 카피(zero-copy) 읽기가 가능해져 두 플랫폼 간의 원활한 상호 운용성과 액세스를 보장하고, Databricks 고객은 Microsoft 생태계의 모든 데이터에 액세스하여 가장 발전된 AI, machine learning 및 대규모 데이터 엔지니어링 워크로드를 지원할 수 있습니다.

카탈로그 통합

1. Fabric에서 Unity Catalog 읽기 – 이제 정식 출시
   Microsoft가 Azure Databricks 미러링을 출시했습니다. 고객은 Unity Catalog를 통해 Azure Databricks 데이터를 OneLake에 미러링하여 Azure Databricks에서 관리하는 모든 데이터를 Microsoft Fabric 워크로드 전반에서 즉시 사용할 수 있도록 할 수 있습니다. 두 플랫폼 모두 데이터 이동 없이 동일한 데이터 복사본으로 작업할 수 있습니다.
2. Azure Databricks에서 OneLake 데이터 읽기 - 2025년 말 
   이 새로운 기능은 Azure Databricks가 Unity Catalog Open APIs를 통해 OneLake에서 데이터를 읽을 수 있도록 하고 모든 OneLake 데이터를 Databricks에서 원활하게 활용할 수 있도록 합니다. 고객은 EntraID의 Managed Identities를 기반으로 OneLake에 대한 Unity Catalog 연결을 생성하고, 모든 Fabric workspace의 데이터 항목을 Unity에서 직접 카탈로그로 원활하게 마운트할 수 있습니다.

Azure Databricks에서 OneLake 데이터에 연결

미래는 열려 있습니다

이 이정표는 산업이 개방적이고 상호 운용 가능한 데이터 생태계를 향해 얼마나 발전했는지를 보여줍니다. 고객은 더 이상 혁신과 상호 운용성 사이에서 선택할 필요 없이 둘 다 누릴 수 있습니다.

Microsoft가 이제 개방형 카탈로그 표준을 채택함에 따라, 저희는 이 기반 위에서 데이터와 AI의 미래를 계속 구축해 나갈 수 있어 기쁩니다.  양사의 통합이 심화됨에 따라 Azure Databricks가 OneLake에 직접 데이터를 쓰는 기능 지원을 포함한 향후 발표 및 로드맵 업데이트에 많은 관심 바랍니다.

무료로 Azure Databricks 시작하기 →

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)