Unity Catalog 기반의 Discover 및 Domains 퍼블릭 프리뷰 출시를 발표합니다

오늘 Unity Catalog 기반의 Domains 및 Discover 페이지 퍼블릭 프리뷰 출시를 발표합니다.

데이터 및 AI 자산이 증가함에 따라, 사용자와 에이전트가 어떤 자산이 관련성이 높고 고품질이며 안전하게 사용할 수 있는지 판단하기가 점점 더 어려워지고 있습니다. 잘못 판단할 경우 그 결과는 심각합니다. 에이전트가 잘못된 테이블을 기준으로 답변을 생성하거나, 비즈니스 사용자가 잘못된 메트릭을 사용하여 보고서를 작성하거나, 팀이 이미 다른 곳에 존재하는 것을 중복으로 다시 만들 수 있습니다. 에이전트가 이러한 작업을 더 많이 수행하게 되면서 그 위험은 더욱 커집니다.

Discover와 Domains는 바로 이 문제를 해결하기 위해 만들어졌습니다. Domains는 기능, 비즈니스 부서, 지리적 위치 등 비즈니스 구조에 따라 데이터 및 AI 자산을 정리하여 관련성이 높고 신뢰할 수 있는 자산을 더 쉽게 찾을 수 있도록 지원합니다. Discover 페이지는 사용자가 직접 도메인을 탐색하고 필요한 자산을 찾을 수 있는 사용자 중심의 경험을 제공합니다. 이러한 도메인 구조는 에이전트가 특정 비즈니스 영역에 어떤 자산이 관련되어 있고 어떤 자산을 신뢰할 수 있는지 이해하는 데에도 도움이 됩니다.

Domains는 조직이 비즈니스 용어로 데이터를 구조화하고 이해하는 방식을 캡처하여 Unity Catalog Semantics를 확장합니다. 이 컨텍스트는 Genie Ontology에 제공되어 에이전트가 각 사용자의 기존 권한 내에서 적절한 자산을 찾아 사용할 수 있도록 돕습니다.

조직을 위한 내부 데이터 및 AI 마켓플레이스

Discover 페이지는 테이블, 대시보드, 노트북, 쿼리, 메트릭 뷰, Genie Agents, 앱을 포함한 데이터 및 AI 자산을 기술적 위치가 아닌 도메인별로 정리하여 조직에 내부 마켓플레이스를 제공합니다. 사용자는 스키마와 카탈로그를 헤맬 필요 없이 비즈니스 영역별로 탐색하고, 인증된 자산을 검색하며, 소유자를 찾아가 "이게 맞나요?"라고 물어볼 필요 없이 신뢰할 수 있는 자산을 바로 찾을 수 있습니다.

Discover는 기본적으로 다음과 같은 정보를 표시하여 고품질의 관련성 높은 자산을 찾을 수 있도록 지원합니다.

• 사용자의 활동, 인기, 인증 등의 신호를 기반으로 가장 관련성이 높고 품질이 우수한 자산을 제안하는 AI 기반 추천 기능
• 신뢰할 수 있는 자산을 쉽게 찾을 수 있도록 돕는 인증된 자산 표시
• 조직 전체에서 인기 있고 트렌디한 자산

데이터 스튜어드는 이러한 경험을 더욱 세부적으로 구성할 수 있습니다. 다음과 같은 작업이 가능합니다.

• 비즈니스 구조에 맞게 기능(Marketing, Sales, R&D), 비즈니스 부서(Consumer, Enterprise) 또는 지리적 위치(EMEA, AMER, APJ)별로 도메인을 생성하여, 조직 구성원들이 이미 익숙한 영역을 기준으로 탐색할 수 있도록 지원합니다.
• 더 세분화된 정리를 위해 대규모 도메인 내에 하위 도메인을 추가합니다. 예를 들어 Finance 내에 Revenue 및 FP&A를 추가하거나, Marketing 내에 Acquisition 및 Retention을 추가할 수 있습니다.
• 가장 품질이 높은 자산을 인증하여 사용자와 에이전트에게 무엇을 신뢰해야 하는지 명확한 신호를 제공합니다.
• 각 도메인에 부제목, 설명, 비즈니스 및 기술 담당자를 주석으로 추가하여 모든 사람이 도메인의 용도와 담당자를 알 수 있도록 합니다.
• 섹션을 구성 및 재정렬하고 주요 자산을 고정하여 가장 가치 있는 콘텐츠가 항상 전면에 표시되도록 합니다.

그 결과, 불필요한 시행착오가 줄어들고 더 효과적인 검색이 가능해집니다. 채널에 "어떤 테이블이 단일 진실 공급원(source of truth)인지 아시는 분 계신가요?"라고 물어보는 대신, 비즈니스 영역별로 탐색하거나 하위 도메인을 탐색하거나 AI 기반 추천을 활용하여 업무에 필요한 신뢰할 수 있는 자산을 찾을 수 있습니다.

Domains가 AI를 위한 엔터프라이즈 컨텍스트를 구축하는 방법

조직이 AI를 도입함에 따라, 에이전트가 정확하고 신뢰할 수 있는 결과를 제공하려면 비즈니스 컨텍스트가 필요합니다. 즉, 조직이 주요 용어와 메트릭을 정의하는 방식, 비즈니스의 다양한 영역에 어떤 자산이 관련되어 있는지, 어떤 소스를 신뢰할 수 있는지에 대한 정보가 필요합니다. 이러한 정보가 없으면 에이전트는 잘못된 테이블을 사용하거나 중요한 비즈니스 개념을 오해하거나 가장 중요한 자산을 간과할 수 있습니다.

Domains는 이러한 컨텍스트의 기반을 제공합니다. 예를 들어, 에이전트가 매출 예측을 요청받았을 때 전체 데이터 자산을 검색하는 대신 Finance 도메인 또는 Revenue와 같은 더 좁은 하위 도메인을 관련 도메인으로 인식하고 그곳에 선별된 신뢰할 수 있는 고품질 자산을 활용할 수 있습니다. 곧 출시될 Glossary 기능은 매출(revenue), 예약(bookings), 연간 반복 매출(annual recurring revenue)과 같은 용어에 대한 공유 정의를 추가하여 에이전트가 비즈니스 의도에 맞게 이러한 개념을 이해하도록 돕습니다.

선별된 모든 도메인은 Unity Catalog Semantics의 일부가 되며 Genie Ontology에 제공됩니다. Genie Ontology는 조직이 정의한 컨텍스트와 환경 전반에서 지속적으로 학습하는 내용을 결합합니다. Databricks 전반의 에이전트는 이 공유 기반을 활용하여 검색 범위를 가장 관련성이 높은 도메인 및 하위 도메인으로 좁히고, 신뢰할 수 있는 자산과 메트릭의 우선순위를 지정하며, 비즈니스 언어를 사용하여 결과를 해석할 수 있습니다. 이 모든 과정은 각 사용자의 기존 권한 내에서 이루어집니다. 사용자를 위해 데이터를 정리하는 작업은 에이전트가 사용할 수 있는 컨텍스트도 강화하여 기존 에이전트의 신뢰성을 높이고 새로운 에이전트를 더 쉽게 구축할 수 있도록 합니다.

시작하기

Discover 페이지와 Domains는 현재 퍼블릭 프리뷰로 제공됩니다. Databricks 작업 공간에서 새 Discover 페이지를 열어 첫 번째 도메인을 생성하고 조직을 위한 신뢰할 수 있는 데이터 및 AI 자산 선별을 시작해 보세요. 구축하는 모든 도메인은 현재 팀의 검색 효율성을 높이는 동시에 미래의 AI를 위한 더 강력한 기반을 마련해 줍니다.

시작하려면 Discover 문서를 참조하시고, 다음에 보고 싶은 기능이 있다면 의견을 공유해 주세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)