Unity Catalog과 Google BigQuery 간 카탈로그 연합을 통한 상호 운용성

오늘, 고객이 중복 없이 Databricks Unity Catalog 또는 BigQuery 중 한 곳에서 동일한 데이터 복사본에 액세스할 수 있게 되었음을 발표하게 되어 기쁩니다. 이는 개방형 표준과 더 넓은 데이터 커뮤니티를 위한 중요한 이정표입니다.

Delta Lake 및 Apache Iceberg와 같은 개방형 테이블 형식이 채택됨에 따라 다음 과제는 이를 관리하는 카탈로그를 연결하는 것이었습니다. 먼저 Unity Catalog Open API를 통해 외부 엔진에서 Unity Catalog 데이터에 액세스할 수 있게 되었습니다. 그런 다음 카탈로그 연합을 도입하여 고객이 외부 카탈로그를 등록하고, 데이터 복사 없이 Databricks에서 외부 테이블에 액세스하고, Unity Catalog를 사용하여 전체 데이터 에스테이트에 대한 거버넌스를 통합할 수 있습니다.

카탈로그 연합은 상호 운용성을 위한 업계 표준이 되었으며 Unity Catalog는 이미 AWS, Microsoft Azure, Snowflake를 포함한 데이터 플랫폼과의 양방향 상호 운용성을 지원합니다. 오늘 Google Cloud와의 협력을 강화하여 BigQuery 및 Google Cloud의 Lakehouse를 Unity Catalog와 상호 운용되는 플랫폼 목록에 추가합니다.

Unity Catalog와 Google Cloud Lakehouse 간의 양방향 카탈로그 연합

BigQuery에 데이터가 있는 Databricks 고객이거나 Unity Catalog 테이블에 액세스해야 하는 BigQuery 사용자라면 이제 무엇이 가능하며 시작하는 방법은 다음과 같습니다.

Google BigQuery를 사용하여 Unity Catalog에서 관리하는 테이블 읽기

Google Cloud는 Unity Catalog에 저장된 모든 엔터프라이즈 데이터의 검색 및 분석을 쉽게 할 수 있도록 미리 보기에서 카탈로그 연합을 발표합니다(자세히 알아보기). BigQuery와 같은 엔진을 사용하는 고객은 이제 데이터 복사 없이 Unity Catalog에서 관리하는 테이블을 읽을 수 있습니다.

Databricks를 사용하여 Google Cloud Lakehouse에서 관리하는 테이블 읽기

Google Cloud의 Lakehouse 연합 미리 보기(미리 보기 신청)를 발표하게 되어 기쁩니다. 이 새로운 기능을 통해 Google Cloud를 사용하는 Databricks 고객은 Cloud Lakehouse에서 관리하는 외부 Iceberg 테이블을 거버넌스하고 읽을 수 있습니다. 고객은 Lakehouse에 연결한 다음 Unity Catalog에서 외부 Iceberg 테이블을 원활하게 마운트할 수 있습니다.

연합 데이터에 대한 통합 거버넌스

Unity Catalog의 정책, 세분화된 액세스 제어 및 계보 추적은 Iceberg 테이블이 Unity Catalog에서 생성되었는지 또는 Google Cloud의 Lakehouse에서 연합되었는지에 관계없이 일관되게 적용됩니다. 이제 비즈니스 사용자는 Genie를 사용하여 자연어를 쿼리할 수 있습니다. Unity Catalog를 통해 전체 데이터 에스테이트가 비즈니스 논리에 맞게 보호되고 상황에 맞게 조정되기 때문입니다.

미래는 개방적입니다

오늘의 발표는 업계가 개방적이고 상호 운용 가능한 데이터 생태계를 향해 얼마나 발전했는지를 반영합니다. Google Cloud와의 협력을 심화함에 따라 고객이 더 이상 혁신과 상호 운용성 중에서 선택할 필요가 없으며 대신 둘 다 가질 수 있다는 것이 우리의 비전입니다. Iceberg REST 카탈로그를 통한 카탈로그 메타데이터 교환과 같은 새로운 기능(한 번 거버넌스 정책을 정의하고 플랫폼 전체에서 적용할 수 있음)을 포함하여 더 많은 생태계 업데이트를 기대해 주십시오.

시작하기

• Google의 Unity Catalog 카탈로그 연합에 대해 자세히 알아보기
• Unity Catalog의 Google Cloud Lakehouse 연합에 등록하기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)