Unity Catalog에서 관리되는 태그를 사용하여 데이터 및 AI 자산에 일관적이고 안전한 태깅을 강제합니다 (Public Preview)

오늘, 우리는 공개 미리보기에서 관리 태그 를 모든 지역에서 AWS와, Azure, 그리고 Google Cloud에서 활용할 수 있음을 발표하게 되어 기쁩니다!

Unity Catalog (UC)의 태그 는 발견, 비용 추적, 접근 관리 등에 널리 사용되지만, 태그 사용이 늘어남에 따라 일관성이 없는 태그는 문제를 일으킬 수 있습니다. 한 팀이 데이터 세트를 ‘finance’라고 태그하고, 또 다른 팀이 ‘fin’이라고 사용하면, 검색, 감사, 거버넌스 정책이 완전하지 않게 됩니다. 이로 인해 준수가 더 어려워지고, 보안 강화가 약해지며, 비용 산정이 복잡해집니다.

관리되는 태그는 계정 수준의 태그 정책을 도입하여, 계정 관리자와 데이터 관리자가 태그를 사용할 수 있는 사람, 허용되는 값, 태그가 적용될 수 있는 장소를 정의할 수 있게 합니다. 이러한 태그는 테이블, 뷰, 볼륨, 카탈로그, 스키마, 열 등의 UC 객체에 적용될 수 있으며, 대시보드와 노트북과 같은 작업 공간 수준의 객체에 대한 지원이 곧 제공될 예정입니다. 그들은 계정의 모든 작업 공간에서 작업하여 검색, 보안, 그리고 대규모 비용 보고를 위해 일관된 메타데이터를 보장합니다.

이 블로그에서는 주요 사용 사례, 기존 태그와의 호환성, 그리고 앞으로 계획에 대해 다룹니다.

언제 관리되는 태그를 사용해야 하는가

팀의 일상적인 문제를 해결할 때 태그가 가장 유용합니다. 관리되는 태그는 태깅을 더 신뢰할 수 있고 일관성이 있게 만들어, 발견, 거버넌스, 비용 관리 각 분야에서 실질적인 이점을 제공합니다. 다음은 조직이 이를 사용할 수 있는 세 가지 일반적인 방법입니다 :

discovery

일관된 태깅은 데이터를 찾기 쉽게 만듭니다. 관리되는 태그를 사용하면, ‘marketing’을 검색하는 사용자는 ‘mktg’라고 레이블이 지정된 자산을 놓치지 않고 메타스토어 전체의 모든 마케팅 데이터 세트를 볼 수 있습니다. 팀은 데이터셋을 "ML_ready"라고 마킹하는 것과 같은 ad hoc 조직을 위해 자유 형식의 태그를 계속 사용할 수 있습니다. 미래에는 관리되는 태그가 인증 및 폐기를 지원하여 사용자가 신뢰할 수 있거나 더 이상 유효하지 않은 데이터를 빠르게 식별할 수 있게 될 것입니다.

거버넌스 및 컴플라이언스

관리되는 태그는 전체 Databricks 계정 및 작업 공간에 걸친 확장 가능한 거버넌스를 위한 분류 및 감사를 단순화합니다. 데이터 분류 가 활성화되면, 민감한 열은 자동으로 태그되어, 민감한 데이터의 발견 및 준수를 확장합니다. 기반 접근 제어 (ABAC) 정책과 결합하면, 개인 정보와 같은 민감한 데이터가 데이터 플랫폼 전체에서 올바른 사용자만 접근할 수 있도록 보장합니다.

비용 분배 및 최적화

태그는 사용량과 비용을 추적할 수도 있습니다. 예를 들어, 데이터셋에 "costcenter: finance"라는 태그를 붙이면, 저장 및 쿼리에 대한 비용을 재무팀에 쉽게 할당할 수 있습니다. 이러한 통찰력은 정확한 청구 및 보다 나은 예산 계획을 지원합니다. 앞으로 출시될 버전에서, 관리 태그는 서버리스 예산 정책 과 통합하여 비용 제어를 더욱 간편하게 할 것입니다.

기존 UC 태그 할당과 함께 관리 태그가 작동하는 방법

관리되는 태그는 기존의 UC 태그 할당을 제거하거나 덮어쓰지 않습니다. 권한이 부여된 사용자가 거버넌스 태그를 생성하면, 모든 기존 태그 할당은 자동으로 거버넌스화되어 새로운 태그 정책에 연결됩니다. UI에서 관리되는 태그는 파란색으로 나타나며, 보호되고 있다는 것을 보여주기 위해 잠금 아이콘이 함께 표시됩니다.

예를 들어, 누군가가 데이터셋에 “costcenter: fin”이라고 태그했다고 가정해봅시다. 이는 승인된 값인 “costcenter: finance”를 대신한 것입니다. 관리되는 태그를 활성화하면 오래된 잘못된 태그(fin)은 자동으로 제거되지 않습니다. 그대로 유지되므로, 이미 이를 사용하는 팀에게는 문제가 발생하지 않습니다. 그러나 그 시점부터는 더 이상 fin을 추가할 수 없습니다. 허용되는 값은 finance뿐입니다.

모든 기존 태그와 적절한 허용된 값을 식별할 수 있도록 팀들이 관리되는 태그를 점진적으로 도입하도록 권장합니다. 태깅의 베스트 프랙티스에 대해 더 자세히 알아보려면 여기를 클릭하세요!

관리되는 태그의 시작 및 다음 단계

관리 태그는 오늘 AWS, Azure, GCP에서 지원하는 모든 지역에서 Public Preview로 사용할 수 있습니다. 

• 시작하기: Unity Catalog 관리자 경험으로 이동하고 관리되는 태그를 생성하세요. 빠른 개요를 보려면 우리의 데모 비디오 를 확인하세요.
• 문서: 설치 세부 정보를 위한 관리되는 태그 문서를 (AWS, Azure, Google Cloud) 읽어보세요.
• 로드맵: 다가오는 릴리즈는 관리 태그를 더 많은 자산 유형으로 확장하고, 서버리스 예산 정책과 같은 기능과 통합할 예정입니다.
• 저희의 데이터 + AI 서밋 세션을 확인해보세요: ABAC, 거버넌스 태그, 데이터 분류 등 다양한 주제에 대해 온디맨드 세션 에서 상세히 살펴보실 수 있습니다. 

Unity Catalog를 시작하려면, AWS, Azure, 그리고 GCP에 대한 가이드를 따르세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)