Unity Catalog의 비즈니스 컨텍스트를 활용한 통합 데이터 탐색

데이터 탐색은 비즈니스 컨텍스트를 기반으로 합니다

데이터 자산이 증가함에 따라 많은 조직이 사람들이 올바른 데이터를 찾고 사용 여부를 결정하도록 돕는 기본적인 문제에 어려움을 겪고 있습니다. 팀은 다음과 같은 기본적인 질문에 자신 있게 답할 수 없기 때문에 어려움을 겪습니다. 이 데이터가 존재합니까? 어디에 있습니까? 어떤 데이터를 사용해야 합니까? 무슨 의미입니까? 신뢰할 수 있습니까? 그리고 어떻게 액세스할 수 있습니까?

실제로 검색은 분산되어 있습니다. 데이터는 소스 및 프로덕션 시스템을 중심으로 구성되는 반면, 비즈니스 의미는 대시보드, 문서, 위키 또는 기관 지식과 같은 다른 곳에 존재합니다. 신뢰 신호와 액세스 워크플로는 사용자가 실제로 데이터를 찾는 위치와 단절되어 있는 경우가 많습니다.

검색에 비즈니스 컨텍스트가 부족하면 사용자는 검색하거나 작업을 중복 수행하는 데 시간을 낭비하고, 스튜어드는 병목 현상을 유발하며, 올바른 데이터가 이미 존재하는 경우에도 도입이 지연됩니다.

모든 데이터 및 AI 자산에 대한 통합된 지능형 검색 환경

오늘 Databricks는 Unity Catalog에 직접 내장된 새로운 Discover 환경을 소개합니다. 현재 베타 버전으로 제공됩니다. Discover 페이지는 분산된 도구별 검색을 데이터, 분석 및 AI 자산을 찾고 이해하기 위한 단일의 큐레이팅된 방식으로 대체합니다. 사용자는 여러 도구에서 검색하거나 사용할 데이터 세트를 추측하는 대신 한곳에서 관련성 있고 신뢰할 수 있는 자산을 찾을 수 있습니다.

Unity Catalog는 검색에 데이터 인텔리전스를 적용하여 다음을 가능하게 합니다.

• 비즈니스 의미는 도메인(비즈니스에 맞춰 조정된 자산 그룹) 및 관리되는 메타데이터를 통해 카탈로그에 직접 내장되므로 사용자는 데이터가 어디에 있는지뿐만 아니라 무엇을 나타내는지도 이해할 수 있습니다.
• 인증 및 사용 중단은 자산과 함께 신뢰도 및 품질 신호를 표시하여 팀이 가장 중요한 데이터에 집중하도록 돕습니다.
• 플랫폼 네이티브 데이터 인텔리전스 는 사용량, 리니지, 소유권과 같은 신호를 사용하여 자산 사용 방식과 책임자에 대한 컨텍스트를 제공합니다
• 통합된 액세스 요청 워크플로 를 통해 사용자는 환경을 벗어나지 않고 검색에서 실행으로 바로 이동할 수 있습니다

'Discover' 페이지는 정형 및 비정형 데이터부터 대시보드, 메트릭, 노트북, 애플리케이션, Genie spaces와 같은 AI 자산에 이르기까지 전체 lakehouse를 포괄하며, 거버넌스가 적용된 단일 환경을 통해 모두 표시됩니다.

도메인: 비즈니스 운영 방식을 중심으로 검색 구성

현재 베타 버전인 도메인은 비즈니스 맞춤형 검색을 위한 기반을 제공합니다.

도메인은 자산을 경직된 기술 계층 구조로 강제하는 대신, 재무, 마케팅 또는 고객 원격 측정과 같은 비즈니스 단위나 사용 사례별로 데이터 및 분석 자산을 구성합니다. 중요한 점은 자산이 여러 도메인에 표시될 수 있다는 것입니다. 이를 통해 팀이 자산이 속할 단일 계층 구조를 결정해야 하는 기존 폴더 구조의 단점을 없앨 수 있습니다.

도메인은 메타데이터 인텔리전스와 인간의 제어를 결합합니다:

• 인기 있고 자주 사용되는 자산이 자동으로 표시됩니다
• 스튜어드는 우선순위가 높거나 새로 게시된 자산을 pin하여 가장 중요한 데이터세트와 대시보드를 쉽게 찾을 수 있도록 할 수 있습니다.
• 자산은 중복 없이 여러 도메인에 걸쳐 큐레이션될 수 있습니다

도메인은 또한 스튜어드가 다음을 수행할 수 있도록 합니다.

• 데이터 및 분석 전반에 걸쳐 관련 자산 큐레이션
• 각 도메인 페이지에서 검색 환경 맞춤 설정
• 상세한 설명을 추가하고 기술 및 비즈니스 소유자를 모두 지정하세요

사용자에게 이는 검색이 직관적이고 자신의 업무에 맞춰진다는 것을 의미합니다. 조직의 경우 이는 깨지기 쉬운 계층 구조를 강요하지 않고 비즈니스 컨텍스트가 카탈로그에 유연하게 인코딩됨을 의미합니다.

지능형 큐레이션을 통해 인간 전문 지식의 안내를 받는 AI 신호

Discover 페이지 환경은 기존 Unity Catalog 기능을 기반으로 구축되며, 사용량 및 인기도와 같은 AI 기반 신호와 인증 및 사용 중단 태그 지정을 통한 사람의 큐레이션을 결합합니다.

인증은 명확한 신뢰 신호 역할을 하여 사용자가 어떤 자산이 권장되고 승인된 단일 정보 소스인지 빠르게 식별할 수 있도록 돕습니다. 그런 다음 AI 기반 추천은 사용자에게 부담을 주지 않으면서 관련성 높은 고가치 자산을 표시하는 데 도움이 됩니다.

또한 Discover 페이지에서는 스튜어드가 맞춤 섹션을 만들어 Discover 페이지 및 개별 도메인 페이지의 주요 자산을 강조할 수 있습니다. 이는 조직의 데이터 환경에 익숙하지 않은 사용자를 올바른 데이터와 인사이트로 안내할 수 있습니다. 

검색에 직접 내장된 신뢰 및 액세스

검색은 사용자가 찾은 내용에 대해 조치를 취할 수 있을 때만 유용합니다. Discover 페이지는 Unity Catalog의 권한 모델을 기반으로 구축되어, 조직이 기본 데이터 쿼리에 대한 액세스 제어는 계속 적용하면서도 찾아보기 를 통해 광범위한 메타데이터 액세스 권한을 부여할 수 있도록 합니다. 사용자는 자산의 목적, 품질, 소유권을 파악한 후 사용할 준비가 되면 직접 액세스를 요청 할 수 있습니다.

검색에 액세스 워크플로를 내장함으로써 팀은 수동 승인을 줄이고, 인사이트 도출 시간을 단축하며, 스튜어드가 병목 현상이 되지 않도록 거버넌스를 확장할 수 있습니다.

시작하기

Discover 페이지와 도메인은 현재 AWS, Azure Databricks, GCP에서 베타 버전으로 제공되며, 분산된 데이터, 도메인 지향 팀, 기술 및 비즈니스 사용자 모두에게 서비스를 제공하는 데이터 플랫폼을 갖춘 기업을 위해 구축되었습니다. 베타 버전에 등록하고 피드백을 공유하여 로드맵 구체화에 참여해 보세요. 데모 에서 실제 작동 방식을 확인해 보세요! 

저희 웹사이트 를 방문하여 Unity Catalog가 데이터, 모델, 에이전트, 앱을 검색 가능하고, 거버넌스를 적용하며, 안전하게 보호하는 방법에 대해 자세히 알아보세요. 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)