Distributed Data Governance and Isolated Environments with Unity Catalog
Effective data governance is essential for any organization that relies on data, analytics and AI for its operations. In many organizations, there is...
번역: HaUn Kim - Original blog post
데이터브릭스 Unity Catalog는 데이터 및 AI 자산의 안전한 검색, 접근, 모니터링 및 협업을 위한 통합 솔루션을 제공하여 데이터 및 AI 거버넌스를 간소화합니다. 이에는 테이블, ML 모델, 파일 및 함수 등이 포함되며, 이를 통해 생산성이 향상되고 Lakehouse 환경의 전체 잠재력을 발휘할 수 있습니다.
오늘은 Unity Catalog가 AWS와 Azure의 새로운 프리미엄 워크스페이스에서 사전 구성되어 액세스할 수 있다는 기쁜 소식을 전해드립니다. 이 기능의 롤아웃은 점진적으로 계정과 지역에 따라 진행될 예정입니다. 자세한 내용은 담당자에게 문의하시기 바랍니다.
Unity Catalog가 사전 구성된 워크스페이스의 개요
워크스페이스에서 몇 가지 새로운 기능을 확인하실 수 있습니다.
- 워크스페이스는 이제 Unity 카탈로그에 대한 사전 구성된 액세스를 제공합니다! 계정 관리자가 추가적인 활성화 단계를 거치지 않아도 됩니다.
- 워크스페이스 이름(이 예에서는 'acme prod')으로 명명된 카탈로그를 찾으실 수 있습니다. 이 카탈로그는 테이블, 모델, 파일 및 함수와 같은 데이터 및 AI 자산을 저장하는 공간으로 사용됩니다. 이 카탈로그는 워크스페이스에 할당된 클라우드 스토리지를 사용하여 기본 데이터를 저장합니다.
- 카탈로그는 워크스페이스의 관리자가 소유하며, 관리할 수 있습니다. 예를 들어, 관리자는 카탈로그 내에서 '스키마'를 생성하여 자산을 추가로 구성하고, 해당 스키마에 자산을 추가할 수 있는 사용자를 선택할 수 있습니다. 카탈로그 내에서는 모든 워크스페이스 사용자가 'default'라는 스키마를 사용하여 자산을 생성할 수 있습니다 (이 권한은 워크스페이스 관리자가 원하는 경우 세밀하게 조정할 수 있습니다).
- 이 릴리스는 이전 버전의 Databricks를 기반으로 하며, 여전히 Hive 메타스토어에 액세스할 수 있도록 사전 구성되어 있습니다. '워크스페이스의 기본 카탈로그'라는 새로운 설정을 통해 워크스페이스가 기본적으로 사용할 카탈로그를 지정할 수 있습니다 (AWS | Azure).
Unity Catalog와 함께 오늘 해봐야 할 것 3가지
이제 워크스페이스에서 Unity 카탈로그에 액세스할 수 있으므로 다양한 기능을 사용할 수 있습니다! 지금 바로 노트북을 사용하여 세 가지 기능을 확인해 보세요!
기업의 데이터 및 AI 자산 카탈로그를 작성하고 안전하게 공유하세요
데이터 및 AI의 민주화는 데이터 및 AI 자산의 접근성과 보안을 보장하는 것이 필요합니다. Unity Catalog는 사용자들에게 데이터 및 AI 자원을 손쉽게 관리할 수 있는 중앙 허브를 제공하여 이 과정을 간소화합니다. 이를 통해 사용자들은 테이블, AI 모델, 함수, 파일을 생성하고 한 곳에 카탈로그화함으로써 접근 제어와 감사 추적성을 유지하면서 활용할 수 있습니다.
아래의 데모를 시청하여 데이터 및 AI 자산을 등록하고 접근 권한을 정의하는 방법을 확인하세요.
실시간 데이터 리니지 (lineage) 탐색
Unity Catalog는 열 수준의 모든 작업에 대한 실시간 데이터 리니지 추론을 제공합니다. 이 기능은 데이터 및 AI 자산에 대한 신뢰를 구축하고 영향 분석을 수행하며 최종 사용자를 위한 데이터 탐색을 촉진하는 데 도움이 됩니다.
아래의 데모를 시청하여 데이터 리니지가 어떻게 작용하는지 확인하세요.
세밀한 행 및 열 수준 보안 적용
Unity Catalog는 Databricks 작업에 대한 행 및 열 수준의 세밀한 권한 설정을 간소화합니다. 이 클라우드에 독립적인 SQL 기반 인터페이스는 직관적이고 사용자 친화적인 경험을 제공합니다. Unity Catalog에서 행 필터 및 열 마스크에 대해 자세히 알아보려면 가이드(AWS, Azure, GCP)를 살펴보세요.
아래의 데모를 시청하여 Unity Catalog에서 열 마스킹이 어떻게 작동하는지 확인하세요.
더 많은 리소스를 찾으시나요?
Unity Catalog를 레이크하우스 아키텍처의 기반으로 채택하면 데이터 및 AI 에코시스템 전체를 아우르는 유연하고 확장 가능한 거버넌스 솔루션의 잠재력을 활용할 수 있습니다. AWS, Azure, GCP용 Unity Catalog 가이드에서 자세한 설명서를 찾아보실 수 있습니다. 또한 데이터브릭스의 데모 센터를 방문하여 Unity Catalog에 대한 추가 튜토리얼을 확인하실 수 있습니다. 데이터 및 AI 거버넌스에 대한 무료 전자책을 다운로드하여 데이터브릭스 레이크하우스 플랫폼이 데이터 및 AI 거버넌스 문제를 어떻게 해결하는지 자세히 알아보실 수도 있습니다.
Databricks 무료로 시작하기
