Unity Catalog에서 ABAC 행 필터링 및 열 마스킹 정책, 거버넌스 태그, 데이터 분류가 이제 일반적으로 사용 가능합니다.

Unity Catalog의 자동화된 거버넌스로 데이터 보호 확장

데이터 에스테이트가 성장함에 따라 대규모의 민감한 데이터를 관리하는 모든 조직은 동일한 질문에 직면합니다. PII, 금융 기록, 건강 데이터 또는 규정 준수 요구 사항이 적용되는 기타 모든 것을 포함하는 모든 테이블에서 민감한 데이터가 일관되게 보호되도록 하려면 어떻게 해야 할까요?

AI는 이 문제를 더욱 심화시킵니다. 사용자는 Genie, 에이전트, API 등을 통해 이전보다 더 다양한 방식으로 데이터에 액세스할 수 있습니다. 보호는 데이터 수요에 맞춰 발전해야 하며, 그렇지 않으면 액세스 제어가 기술이 만들어낸 권한 부여를 제한하게 됩니다.

정답은 테이블별 수동 구성이 될 수 없습니다. 거버넌스 팀이 규칙을 한 번 정의하면, 데이터가 생성되고 분류됨에 따라 보호가 전체 데이터 에스테이트에 걸쳐 자동으로 데이터를 따라가는 시스템이어야 합니다. 그렇게 하면 사용자 및 에이전트에게 플랫폼에 대한 광범위한 액세스 권한을 부여할 수 있지만 민감한 데이터에 대한 광범위한 액세스 권한은 부여하지 않을 수 있습니다.

오늘, Unity Catalog에서 이를 가능하게 하는 세 가지 상호 보완적인 기능인 행 필터링 및 열 마스킹을 위한 속성 기반 액세스 제어(ABAC) 정책, 거버넌스 태그, 자동화된 데이터 분류의 일반 공급(GA)을 발표하게 되어 기쁩니다.

수동 데이터 거버넌스 및 액세스 제어가 확장되지 않는 이유

대규모 민감 데이터 보호를 방해하는 세 가지 문제가 있습니다.

1. 객체별로 구성된 액세스 규칙은 반복적이며 일관성이 떨어집니다. 모든 테이블에 자체 행 필터 또는 열 마스크가 필요한 경우, 동일한 열 유형에 대한 다른 마스킹 로직, 이전 테이블의 오래된 규칙, 팀 간의 충돌하는 정의와 같은 미묘한 차이가 발생합니다.
2. 객체 소유자와의 조정에 의존하는 적용은 격차를 남깁니다. 데이터 생산자는 데이터를 만드는 전문가이지만, 모든 열이 분류되었고 민감한 데이터가 유출되지 않았는지 확인하는 데 상당한 오버헤드가 있습니다. 적용 단계가 누락되거나 다른 업무를 하는 사람들에게 지연되어, 감사 또는 규정 준수 확인 중에만 격차가 드러납니다.
3. 민감한 데이터를 수동으로 식별하는 것은 성장에 발맞출 수 없습니다. 새로운 테이블과 데이터 레코드는 지속적으로 도착하며, 비즈니스는 즉시 사용하기를 기대합니다. 탐지가 사람에게 의존하거나 들어오는 모든 유형의 데이터에 대해 개별 파이프라인에 수동으로 코딩된 탐지 로직에 의존한다면, 데이터와 수요 모두에 뒤처질 것입니다.

이러한 과제는 수동, 객체별 거버넌스에서 벗어나는 전환이 필요합니다.

Unity Catalog가 ABAC, 태그 및 분류를 통해 높은 활용도의 데이터 거버넌스를 지원하는 방법

액세스 규칙은 속성을 기반으로 동적으로 적용되어야 하며, 민감한 데이터는 나타나는 대로 감지되어야 하며, 책임은 단일 개인이 병목 현상이 되지 않도록 전문화된 역할에 분산되어야 합니다. Unity Catalog는 역할 분리를 지원하는 권한 모델과 함께 세 가지 상호 보완적인 기능을 통해 이를 통합합니다. 바로 속성 기반 액세스 제어(ABAC) 정책,거버넌스 태그, 그리고에이전트 기반 데이터 분류입니다.

• ABAC 정책은 Unity Catalog의 동적 액세스 제어 모델입니다. 데이터 속성을 기반으로 액세스를 제어하므로 단일 정책으로 많은 일치하는 테이블을 다룰 수 있으며, 각 테이블을 개별적으로 구성할 필요가 없습니다. ABAC 정책은 태그 기반 조건을 평가하고 행 필터(사용자가 보는 행을 제어)와 열 마스크(특정 열에 대한 사용자가 보는 값을 제어)를 자동으로 모든 카탈로그 및 스키마의 일치하는 객체에 적용합니다. 거버넌스 관리자가 정책을 한 번 정의하면, 올바른 태그가 적용되는 즉시 새로운 데이터가 보호됩니다.
• 거버넌스 태그는 ABAC 정책이 구축되는 속성 기반입니다. 계정 전체에서 데이터를 설명하는 방식을 표준화하는 키와 값의 계정 수준 어휘이며, 누가 어떤 태그를 어떤 객체에 적용할 수 있는지 제어하는 권한을 가집니다. 태그는 카탈로그, 스키마, 테이블 및 열에 연결되는 키 또는 키-값 쌍(예: sensitivity:confidential 또는 pii:ssn)이며, 상위 객체에서 하위 객체로 상속됩니다.
• 에이전트 기반 데이터 분류는 거버넌스 및 규정 준수를 위해 민감한 데이터(PII, PHI 등)를 자동으로 식별합니다. 내장된 분류기는 GDPR 및 HIPAA와 같은 표준을 다루며, 사용자 지정 분류기는 이미 태그가 지정된 열에서 학습된 비즈니스별 패턴으로 탐지를 확장합니다. 검증된 패턴 인식, 메타데이터 및 대규모 언어 모델을 사용하여 수동 또는 정규식 전용 도구보다 높은 정확도를 제공합니다. 새로운 데이터는 도입된 민감한 데이터가 포착되도록 자동으로 스캔됩니다. 일치하는 태그가 있는 데이터 보호 ABAC 정책과 결합된 이러한 기능은 민감한 데이터의 자동화되고 확장 가능한 보호를 보장합니다.

이 세 가지 기능은 함께역할 분리를 지원하는 거버넌스 모델을 가능하게 합니다. 거버넌스는 단일 개인이나 단일 역할에 의존해서는 안 됩니다. 대신, 각자의 전문 분야에 대한 전문가이며 다른 사람에게 의존할 필요가 없는 전문 그룹에 책임을 분산할 수 있습니다. Unity Catalog는 세 가지 기능 전반에 걸쳐 적절한 권한 및 경계를 지원하므로 각 그룹은 자신이 책임 있는 작업만 수행할 수 있습니다.

실제 역할 분리

세 가지 기능은 함께 작동하도록 설계되었습니다. 정책, 태그 분류 체계, 권한 및 분류가 모두 Unity Catalog 내에서 작동하므로 시스템 간의 핸드오프가 없고 검색과 보호 사이에 수동 단계가 없습니다.

실제로는 워크플로가 다음과 같이 진행됩니다.

1. 분류 체계 정의: 거버넌스 팀은 GDPR, HIPAA, PCI와 같은 표준에 맞춰진 내장 분류기, 반복 가능한 패턴을 위한 사용자 지정 분류기, 도메인 또는 민감도 계층과 같은 비즈니스 컨텍스트를 위한 메타데이터 태그를 결합한 거버넌스 태그 분류 체계를 설정합니다.
2. ABAC 정책 생성: 거버넌스 관리자는 이러한 태그를 참조하여 데이터 속성을 기반으로 액세스를 제어하는 정책을 정의합니다.
3. 데이터 자동 분류 및 보호: 분류는 지속적으로 실행되어 도착하는 새 데이터를 태그합니다. 관리자는 필요한 경우 태그를 적용할 수 있으며 시스템은 시간이 지남에 따라 이를 학습하여 수동 노력을 줄입니다. 결과적으로 새로 태그가 지정된 데이터는 즉시 보호됩니다.
4. 거버넌스 데이터 액세스 활성화: 데이터 생산자는 거버넌스 범위 내에서 테이블을 생성하고, 데이터 소비자는 허용된 행과 열만 보면서 쿼리 결과를 실행합니다.

“Atlassian에서는 수천 명의 사용자와 데이터셋에 걸쳐 데이터 액세스 및 규정 준수를 관리하는 것이 기존의 역할 기반 모델로는 점점 더 복잡해지고 있었습니다. Unity Catalog의 ABAC를 통해 데이터 속성을 기반으로 세분화된 액세스 정책을 정의할 수 있게 되어 대규모 권한 관리에 대한 운영 오버헤드가 크게 줄었습니다. 광범위한 수동 권한 관리가 필요했던 작업이 이제 동적으로 이루어져 팀이 액세스 관리보다는 인사이트 제공에 집중할 수 있게 되었습니다.” — Gerald Nakhle, Software Engineer, Atlassian

새로운 기능: ABAC 정책, 거버넌스 태그 및 데이터 분류의 일반 공급(GA)

세 가지 기능 모두 이제 일반 공급(GA)되며, 가장 일반적인 고객 피드백을 해결하는 개선 사항이 포함되어 있습니다.

ABAC 정책 GA: 데이터 에스테이트 전반의 속성 기반 액세스 제어

GA에서 ABAC는 가장 큰 엔터프라이즈 데이터 에스테이트에 맞춰 확장되며 정책 평가 및 작성에 대한 개선 사항이 추가됩니다. GA 주요 내용은 다음과 같습니다.

• 엔터프라이즈 규모 배포를 위해 구축됨. 메타데이터 저장소당 10,000개 이상의 정책과 카탈로그 및 스키마당 100개 이상의 정책을 지원하며 모든 범위에서 정책 제한이 10배 증가했습니다.
• 뷰와 함수에 대한 세션 ID 평가. 이제 ABAC 정책은 쿼리를 실행하는 사용자의 ID를 기준으로 평가됩니다. 사용자는 뷰나 함수를 통해 쿼리하더라도 자신의 권한으로 볼 수 있는 것만 정확히 보게 됩니다.
• 여러 열 유형에 대한 단일 마스킹 함수. VARIANT를 수락하고 반환하는 단일 UDF는 INT, DOUBLE, DECIMAL 및 기타 숫자 유형을 한 번에 마스킹할 수 있으며, 동일한 접근 방식은 STRUCT 열에도 적용됩니다. 이를 통해 조직에서 유지 관리해야 하는 정책 수를 줄일 수 있습니다.

"더 적은 정책, 더 낮은 비용, 정밀한 제어. ABAC는 Udemy의 데이터 거버넌스를 무차별 대입 방식에서 우아함으로 변화시켰습니다." — Rajit Saha | 데이터 및 AI 플랫폼 이사, Udemy

거버넌스 태그 GA: 태그를 사용하여 데이터 분류 표준화

GA에서 거버넌스 태그는 SQL, API 및 UI 전반에 걸쳐 전체 수명 주기 관리를 제공하며, 더 강력한 관리자 제어와 명확한 가시성을 제공합니다. GA의 주요 기능은 다음과 같습니다.

• SQL, API 및 UI를 통한 전체 수명 주기 관리. 관리자는 UI, REST API 및 Terraform뿐만 아니라 SQL(CREATE, ALTER, DROP, SHOW, DESCRIBE GOVERNED TAG)을 사용하여 태그를 생성, 수정 및 검사할 수 있습니다. 이를 통해 기존 워크플로우에 쉽게 자동화하고 통합할 수 있습니다.
• 작업 영역 관리자 제어. 작업 영역 관리자는 기본적으로 CREATE 권한을 받으며(구성 가능), 계정 관리자는 MANAGE 및 CREATE 권한을 받아 태그 거버넌스에 대한 유연한 제어를 가능하게 합니다.
• 태그 적용 범위 및 상속에 대한 가시성 향상: UI 및 API는 태그가 적용되고 상속되는 방식에 대한 더 명확한 통찰력을 제공하여 팀이 적용 범위를 추적하고, 분류 결정을 추적하며, 변경 사항을 감사하는 데 도움이 됩니다.

에이전트 기반 데이터 분류 GA: 대규모 데이터 자동 감지 및 태그 지정

GA에서 분류는 규정 준수 범위를 확장하고, 정확도 제어를 추가하며, 비즈니스별 패턴을 위한 사용자 지정 분류기를 잠금 해제합니다. 현재 기능 외에도 GA의 주요 기능은 다음과 같습니다.현재 기능:

• 민감한 데이터에 대한 완전한 가시성을 한 곳에서 확인: 작업 영역 전체에서 감지된 모든 분류를 확인하고, 어디에서 발견되었는지, 누가 액세스 권한을 가지고 있는지, 보호를 위해 ABAC 정책을 어디에 생성해야 하는지 자세히 알아볼 수 있습니다.
• 탐지 정확도를 지속적으로 개선하는 휴먼 인 더 루프 검증. 고객 피드백과 품질 평가를 통해 탐지 정확도가 더욱 향상되었습니다. 또한 사용자는 잘못 탐지된 항목을 태그에서 제외할 수 있어 향후 스캔의 정확도를 지속적으로 개선할 수 있습니다.
• 확장된 규정 준수 범위. 새로운 분류기는 GDPR, HIPAA, GLBA, DPDPA 및 PCI를 다루며, 영국, 독일, 호주 및 브라질 전역을 지원합니다. 인도 및 캐나다에 대한 추가 분류기가 이번 달에 제공될 예정입니다. 전체 목록은 여기에서 찾을 수 있습니다.
• 베타 버전의 사용자 지정 분류기. 비즈니스별 범주가 이제 지원됩니다. 데이터 분류에 거버넌스 태그를 지정하면 시스템이 일치하는 열을 자동으로 식별합니다. 탐지 패턴은 기존에 태그가 지정된 열과 주변 Unity Catalog 메타데이터에서 학습되어 데이터에 자동으로 맞춰집니다.

"우리 회사가 성장함에 따라 데이터 식별 및 보호를 위한 수동 방식은 유지하기가 점점 더 어려워지고 있습니다. Databricks의 에이전트 기반 데이터 분류는 수동 오버헤드를 자동화되고 고품질의 결과로 대체하여 가치에 따라 비용이 더 많이 듭니다. 데이터 분류는 환경 전반에 걸쳐 핵심 데이터가 어디에 있는지 지속적으로 파악하는 데 도움이 될 수 있습니다. 사용자 지정 분류기는 특정 데이터 패턴에 맞춰 액세스 및 규정 준수 관리를 간소화하는 데 도움이 될 수 있습니다. 속성 기반 액세스 제어(ABAC) 정책은 수동 오버헤드를 줄여 분류를 통해 규정 준수 노력을 확장할 수 있도록 지원할 것입니다.” — Nan Wu, 소프트웨어 엔지니어, Superhuman

Unity Catalog에서 ABAC, 거버넌스 태그 및 데이터 분류 시작하기

ABAC 정책, 거버넌스 태그 및 데이터 분류는 Unity Catalog에서 오늘부터 사용할 수 있습니다.

• ABAC 설명서: 행 필터, 열 마스크 및 일반적인 정책 패턴 정의 방법 알아보기
• 거버넌스 태그 설명서: 태그 정의 및 권한 생성 및 관리
• 데이터 분류 설명서: 규정 준수 상태를 위해 모든 카탈로그에서 분류 및 민감한 데이터 자동 감지.

이 세 가지 기능은 Unity Catalog에서 확장 가능한 데이터 거버넌스의 기반을 나타냅니다. 데이터 에스테이트가 성장함에 따라 구성-감지-보호 파이프라인도 함께 성장합니다.

Data and AI Summit에서 자세히 알아보기

2026년 6월 15일부터 18일까지 샌프란시스코에서 열리는 Data + AI Summit에서 속성 기반 액세스 제어 및 데이터 거버넌스의 미래를 어떻게 만들어가고 있는지 확인해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)