오픈 표준을 통해 Databricks와 Google이 상호 운용성을 발전시키는 방법을 알아보세요.
작성자: Alex Jiang, Parth Desai , John Spencer
레이크하우스 아키텍처가 그 어느 때보다 개방적으로 진화하고 있습니다. Delta Lake와 Iceberg 같은 오픈 테이블 포맷으로 시작된 변화는 이제 여러 플랫폼에서 데이터를 복사하지 않고 액세스할 수 있는 카탈로그 페더레이션으로 발전했습니다. Databricks와 Google Cloud는 파트너십과 오픈 소스 기여를 통해 오픈 레이크하우스 커뮤니티의 발전을 계속해서 이끌어 나가는 중입니다.
오늘 저희는 Google과의 협력을 통해 카탈로그 상호 운용성에서 거둔 중요한 성과를 기쁜 마음으로 발표합니다. 이제 고객들은 Unity Catalog와 Google Cloud의 경계 없는 레이크하우스 모두에서 단일 복사본 데이터에 액세스할 수 있습니다. Databricks와 Google Cloud의 파트너십은 계속해서 성장하고 있으며, 양방향 상호 운용성을 매끄럽게 구현하기 위해 최선을 다하고 있습니다.
Google Cloud의 데이터를 Databricks로 가져오는 과정은 간단합니다. 이제 정식 출시된 Google Cloud용 Lakehouse Federation을 사용하면 Google Cloud 레이크하우스 런타임 카탈로그에서 관리하는 Iceberg 테이블을 Unity Catalog에 마운트하여 Databricks에서 분석할 수 있습니다.

Google 레이크하우스 런타임 카탈로그의 이러한 Iceberg 테이블은 서버리스 데이터 웨어하우스인 Databricks Lakehouse에서 쿼리하거나, 코드나 SQL 없이 자연어로 된 데이터 질문에 지능적으로 답해 주는 Genie를 통해 분석할 수 있습니다.
반대 방향으로도 상호 운용이 가능합니다. Databricks의 데이터를 Google Cloud 레이크하우스로 가져올 수도 있습니다(자세히 알아보기). 이를 통해 BigQuery 같은 엔진을 사용하는 고객은 데이터를 복사하지 않고도 Unity Catalog에서 관리하는 테이블을 읽을 수 있습니다.
Databricks와 Google Cloud는 카탈로그 메타데이터를 개방하여 상호 운용성을 강화하기 위한 큰 발걸음을 내딛고 있습니다. 비즈니스 및 거버넌스 의미 체계는 특정 공급업체에 종속되지 않고 누구나 쉽게 접근할 수 있어야 합니다. Iceberg 커뮤니티에서 저희는 카탈로그가 키-값 쌍(라벨이라고도 함)을 통해 메타데이터를 공유할 수 있게 해 주는 제안인 카탈로그 라벨의 도입과 정착을 도왔습니다. 이렇게 하면 "domain=finance", "status=certified"로 태그된 테이블과 "pii=ssn"으로 태그된 컬럼이 한 카탈로그에서 다른 카탈로그로 페더레이션되더라도 태그가 그대로 유지됩니다(자세히 알아보기).

에이전트 시대에는 공유 라벨이 거버넌스에 매우 중요합니다. 카탈로그 메타데이터를 사용하여 마스킹할 민감한 데이터를 표시하고, 에이전트가 데이터 질문에 답하기 위해 자산을 검색할 때 필요한 문맥을 제공할 수 있기 때문입니다. Databricks와 Google Cloud는 파트너십을 통해 오픈 거버넌스의 비전을 발전시키기 위해 최선을 다하고 있습니다. 데이터 자산이 늘어나고 엔터프라이즈 워크플로에 AI 에이전트가 더욱 깊숙이 자리 잡을수록 이러한 공동의 약속은 더욱 중요해집니다. 기업이 모든 시스템에서 거버넌스와 비즈니스 컨텍스트를 다시 정의할 필요 없이, 데이터와 함께 이동할 수 있는 미래를 향해 나아가고 있습니다.
문서를 읽고 Unity Catalog와 Google Cloud의 경계 없는 레이크하우스 간 카탈로그 페더레이션을 시작해 보세요. 여기에서 Google의 Unity Catalog용 카탈로그 페더레이션에 대해 자세히 알아볼 수도 있습니다.
상호 운용성에 대한 요구 사항을 공유하거나 상호 운용성 비전에 대해 더 알고 싶으신 경우 Databricks 계정 팀에 문의해 주시기 바랍니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.