Unity Catalog Open API 상호 운용성 확장

Unity Catalog는 개방형 레이크하우스를 위해 설계되었습니다. 이전에는 데이터 팀이 사일로에 갇혀 원하는 도구를 사용하기 위해 플랫폼 간에 데이터를 복제해야 하는 경우가 많았습니다. 새로운 플랫폼이나 도구를 사용할 때마다 데이터 세트를 복사하고, 액세스 정책을 처음부터 다시 구축하고, 모든 것을 동기화 상태로 유지해야 했습니다. 그 결과 중복 스토리지로 인한 비용 증가, 동기화에서 벗어난 정책, 파편화된 데이터 액세스 및 검색이 발생했습니다.

Unity Catalog를 오픈 소싱하고 Open API를 출시함으로써 이전에 고객을 종속시켰던 사일로를 해체했습니다. 기업은 마침내 데이터 복사본 하나를 유지하고, 모든 컴퓨팅 엔진을 사용하고, 모든 것을 한 곳에서 관리할 수 있게 되었습니다. UC 생태계는 그 이후로 번창했습니다. 오늘날 수천 명의 고객이 Unity Catalog를 사용하여 Delta Lake 및 Apache Iceberg 테이블을 관리하고 액세스하며, Apache Spark 및 Trino부터 DuckDB 및 Confluent Tableflow에 이르기까지 성장하는 Unity Catalog 생태계에서 수십 개의 통합을 활용하고 있습니다.

관리형 테이블에 대한 외부 액세스, 이제 베타 버전

UC 관리형 테이블은 개방성과 성능이 만나는 곳입니다. 이러한 고급 테이블은 Predictive Optimization 및 Liquid Clustering을 사용하여 데이터 레이아웃을 자동으로 조정하고, 컴팩션 및 진공 작업을 실행하고, 통계를 최신 상태로 유지하여 최대 20배 빠른 쿼리와 50% 낮은 스토리지 비용을 제공하며, 오픈 API를 통해 완전히 액세스 가능합니다.

이제 베타 버전에서는 Apache Spark, Apache Flink, DuckDB와 같은 외부 엔진이 중앙 집중식 거버넌스 및 자동 최적화를 통해 UC 관리형 Delta 테이블을 생성하고 쓸 수 있습니다.

베타 버전을 통해 외부 엔진은 다음을 수행할 수 있습니다.

• 관리형 테이블 생성 — 외부 엔진에서 직접 새로운 UC 관리형 테이블을 설정합니다.
• 배치 읽기 및 쓰기 — 완전한 트랜잭션 안전성을 갖춘 관리형 테이블을 읽고 씁니다.
• 관리형 테이블로 스트리밍 — 관리형 테이블을 스트리밍 소스 및 싱크로 모두 사용하여 Apache Spark에서 엔드투엔드 실시간 파이프라인을 지원합니다.

모든 작업이 카탈로그 커밋을 기반으로 구축된 UC 관리형 테이블을 통해 이루어지므로 로그 손상을 방지하는 직렬화된 커밋과 모든 읽기 및 쓰기에 대한 완전한 감사 추적을 얻을 수 있습니다. Predictive Optimization은 외부 엔진에서 액세스하는 테이블에서도 원활하게 계속 실행됩니다. 카탈로그 커밋은 다중 문, 다중 테이블 트랜잭션과 같이 중앙 집중식 커밋 조정자가 필요한 기능의 기반을 마련합니다.

번성하는 UC 생태계는 엔진이 관리형 테이블에 대한 외부 액세스 지원을 확장함에 따라 계속 성장하고 있습니다. Delta Kernel — Delta 테이블을 읽고, 쓰고, 커밋하기 위한 오픈 소스 Java 및 Rust 라이브러리 — 는 커넥터 개발자가 Delta 구현이 아닌 UC 통합에 집중할 수 있도록 저수준 프로토콜 세부 정보를 추상화합니다. Apache Spark, Apache Flink, DuckDB용 Delta 커넥터는 모두 Delta Kernel을 활용하여 UC 관리형 테이블에 대한 외부 쓰기를 지원하고 카탈로그 관리 커밋과 통합했으며, 생태계는 계속 성장하고 있습니다. Delta Kernel은 저수준 프로토콜 복잡성을 처리함으로써 모든 엔진이 Unity Catalog와 쉽게 통합할 수 있도록 하여 커넥터 생태계 성장에 기여합니다.

자격 증명 발급으로 가능해진 안전한 외부 액세스

외부 엔진이 UC의 데이터에 액세스하려면 광범위하고 정적인 권한이나 특정 계정에 연결된 자격 증명이 필요 없이 인증하고 클라우드 스토리지에 대한 범위가 지정된 액세스 권한을 얻을 수 있는 안전한 방법이 필요합니다. Unity Catalog는 이제 일반적으로 사용 가능(GA)한 자격 증명 발급을 통해 이를 처리합니다. UC는 액세스 정책이 중앙에서 시행되는 상태로 외부 엔진에 주문형으로 단기적이고 범위가 지정된 자격 증명을 발급합니다.

수천 명의 고객이 UC Open API를 사용했으며, 두 가지 추가 기능으로 엔터프라이즈 규모에서 프로덕션 준비가 완료되었습니다. 외부 엔진은 이제 개인 액세스 토큰(PAT)에 의존하지 않고 엔터프라이즈 보안 요구 사항을 충족하는 머신 간(M2M) OAuth를 사용하여 UC에 인증할 수 있습니다. PAT는 사용자별로 발급되고 오래 지속되며 회전하기 어렵습니다. 또한 UC 자격 증명 발급 API를 통해 엔진에서 자격 증명이 자동으로 새로 고쳐지므로 토큰이 작업 중에 만료되지 않고 몇 시간 동안 실행되는 파이프라인이 안정적으로 완료됩니다.

자격 증명 발급을 통해 기업은 모든 호환 엔진 또는 도구에서 Unity Catalog의 관리형 및 외부 테이블을 읽고, 쓰고, 생성할 수 있습니다. 이러한 자격 증명은 단기적이며 요청된 리소스에 범위가 지정되고 UC 권한에 의해 관리됩니다. 이는 플랫폼 팀이 외부에서 데이터에 액세스할 수 있는 주체와 해당 주체가 수행할 수 있는 작업을 완전히 제어할 수 있음을 의미합니다.

Unity Catalog의 Open API를 통해 팀은 선호하는 도구를 사용하면서도 거버넌스와 데이터 일관성을 유지할 수 있었습니다. 여러 컴퓨팅 엔진에서 작동하는 진정한 상호 운용 가능한 데이터 및 AI 플랫폼 내에서 관리형 테이블의 이점을 활용할 수 있습니다.— Sudipta Das, PepsiCo 엔터프라이즈 데이터 운영 이사

볼륨에 대한 자격 증명 발급

자격 증명 발급은 테이블뿐만 아니라 비정형 데이터에도 확장됩니다. 볼륨 자격 증명 발급이 현재 공개 미리 보기 상태이므로 외부 클라이언트는 Unity Catalog 거버넌스가 있는 볼륨에 저장된 이미지, PDF 및 비디오에 액세스하기 위해 임시적이고 범위가 지정된 자격 증명을 요청할 수 있습니다. 테이블을 쿼링하거나 외부에서 원시 비디오 파일을 처리할 때와 동일한 액세스 제어 모델, 감사 추적 및 범위가 지정된 자격 증명이 적용됩니다.

다음 단계

외부 액세스를 더욱 강력하게 만들기 위해 지속적으로 투자하고 있습니다. 현재 자격 증명 발급은 외부 엔진에 대한 거친 수준의 액세스 제어를 관리합니다. 또한 외부 읽기에 대한 속성 기반 액세스 제어(ABAC)를 시행하는 기능을 개발하여 거버넌스를 세밀하게 조정했습니다. 이를 통해 UC 관리형 테이블이 외부 엔진에서 읽힐 때 행 및 열 수준 ABAC 정책을 시행할 수 있습니다.

지금 시작하세요

자격 증명 발급을 시작하려면 설명서를 참조하세요. 관리형 Delta 테이블에 대한 외부 액세스 베타 버전을 사용하려면 다음 단계를 따르세요.

1. Databricks 미리 보기 포털에서 "Unity Catalog 관리형 Delta 테이블에 대한 외부 액세스"에 등록합니다( Databricks 미리 보기 관리 참조).
2. 메타스토어에서 외부 데이터 액세스를 활성화하고 액세스하려는 테이블이 포함된 스키마에 EXTERNAL_USE_SCHEMA를 부여합니다.
3. 새 UC 관리형 테이블을 만듭니다. 기존 데이터를 이동하려면 외부 테이블을 관리형으로 변환하는 마이그레이션 가이드를 참조하세요.
4. 외부 컴퓨팅에서 관리형 테이블을 생성, 읽기, 쓰기하려면 Delta-Spark 4.2와 Unity Catalog 0.4.1을 사용하세요. 외부 액세스 설명서를 참조하세요.

Data and AI Summit 2026에 참여하세요

Data and AI Summit 2026이 곧 개최됩니다! 2026년 6월 15일부터 18일까지 캘리포니아 샌프란시스코 모스코니 센터에서 열리는 이 행사에서 선도적인 조직이 Unity Catalog를 사용하여 엔진 전반의 데이터 및 AI를 관리하는 방법을 알아보세요. 오픈되고 통합된 거버넌스를 위한 다음 단계를 미리 살펴보려면 지금 등록하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)