Unity Catalog에서 Databricks Assistant로 즉시 데이터 탐색

모든 애널리스트라면 공감할 것입니다. 카탈로그에서 데이터세트를 열고 열을 스크롤하며 이런 궁금증이 들죠. '이게 내가 필요한 데이터가 맞나?' 지금까지 이 질문에 답하려면 탐색용 SQL을 작성하거나, 리니지를 확인하거나, 문서를 추적해야 했습니다.

Databricks Assistant가 탑재된 Unity Catalog의 새로운 샘플  데이터 탐색 환경 을 통해 데이터에 간단히 질문해 보세요. '어느 지역의 판매가 가장 높나요?'와 같이 자연어로 질문을 입력하기만 하면 Catalog Explorer UI의 샘플 데이터 페이지에서 즉시 답변이나 시각 자료를 받아볼 수 있습니다. 

이 기능은 이제 공개 미리 보기로 제공되며, 이는 AI와 컨텍스트가 함께 작동하여 기술 지식 유무에 관계없이 모든 사용자가 데이터로부터 더 빠르게 의사 결정을 내릴 수 있도록 지원하는 Databricks Data Intelligence Platform이 한 걸음 더 나아갔음을 보여줍니다.

모든 사용자를 위한 기본 내장 인텔리전스

대부분의 데이터 플랫폼은 데이터의 의미, 출처, 활용 방법을 해석하기 위해 여전히 기술 전문가에게 크게 의존합니다. 기본 내장 인텔리전스가 없으면 팀은 올바른 데이터세트를 찾고, 신뢰도를 검증하고, 기술 구조를 비즈니스 개념으로 변환하는 데 시간을 낭비하게 됩니다.

Unity Catalog 는 Databricks 데이터 인텔리전스 플랫폼의 지능형 기반으로서 비즈니스 컨텍스트를 기본 데이터, 모델 및 리니지와 연결하여 상황을 바꿉니다.

새로운 샘플 데이터 탐색 기능은 이러한 인텔리전스를 카탈로그 탐색기 환경으로 직접 가져옵니다. 이제 모든 데이터세트의 샘플 데이터 tab에서 할 수 있습니다:

• 자연어로 질문: 인라인 Assistant 채팅을 사용하여 데이터 사용에 대해 질문합니다.
• SQL을 작성하거나 도구를 전환하지 않고도즉각적인 답변과 시각화를 확인할 수 있습니다.
• 새로운 인사이트 발견: Assistant가 생성한 추천 후속 질문을 통해 새로운 인사이트를 찾습니다.

Databricks Assistant는 일반적인 챗봇이 아니라, Unity Catalog의 메타데이터, 리니지, 거버넌스 신호를 사용하여 모든 응답이 조직의 신뢰할 수 있고 관리되는 데이터에 기반하도록 보장하는 컨텍스트 인식 코파일럿입니다.

이 기능은 데이터를 찾는 것 과 이해하는 것 의 격차를 해소하여 모든 사용자가 관련성, 정확성, 가치를 빠르게 평가하도록 돕습니다.

Unity Catalog의 AI 기반 데이터 관리

샘플 데이터 탐색은 Unity Catalog를 단순한 거버넌스 계층이 아닌 데이터를 지속적으로 보강, 보호 및 최적화하는 데이터 인텔리전스 엔진으로 만들어 주는 광범위한 AI 기능 세트의 일부입니다. 최근 혁신 사항은 다음과 같습니다.

AI 생성 댓글: 설명이 포함된 테이블 및 열 주석을 자동으로 생성하여 데이터 집합 컨텍스트를 개선합니다. 최근 더 높은 품질과 통합된 모델 제어를 위해 Assistant 플랫폼으로 마이그레이션한 이 업데이트를 통해 수락 또는 편집된 댓글이 36%(% ) 증가했으며, 내부 모델 서비스 비용이 연간 약 20만 달러 절감되었습니다.

일괄 열 댓글: 새로운 모달을 통해 사용자는 테이블의 모든 열에 걸쳐 AI가 생성한 댓글을 검토하고 적용할 수 있어 주간 throughput이 6배 증가하고, AI가 생성한 댓글이 하나 이상 있는 테이블이 400개(% ) 증가했습니다.

Databricks Data Classification: 정책 기반 접근 제어로 민감한 데이터를 자동으로 탐지하고 보호합니다. 자세한 내용은 발표 블로그에서 확인하세요! 

Unity Catalog 관리 테이블:% 거버넌스와 통합 가시성을 한곳에 통합하면서 최대 20배 빠른 query와 50% 저렴한 비용( % )을 제공하는 지능형 스토리지 계층으로 성능과 비용 관리를 간소화하세요. 블로그에서 이러한 이점에 대한 자세한 내용을 확인할 수 있습니다.

Unity Catalog Business Semantics: 통합되고, 거버넌스가 적용되며, 개방된 시맨틱 기반을 통해 모든 BI 자산, 개발자 도구, AI 에이전트 전반에 걸쳐 일관되고 신뢰할 수 있는 인사이트를 제공합니다. 자세한 내용은 여기에서 알아보세요. 

이러한 기능들이 함께 Unity Catalog를 Databricks Data Intelligence Platform의 지능형 기반으로 만들어 주며, 이는 데이터를 관리할 뿐만 아니라 데이터로부터 지속적으로 학습합니다.

사용해 보세요

시작하는 방법은 간단합니다.

1. workspace 설정에서 Databricks Assistant를 활성화하세요(단계별 지침은 문서 참조).
2. Unity Catalog Catalog Explorer에서 아무 테이블의 샘플 데이터 tab을 엽니다.
3. 질문하고 데이터가 생생하게 살아나는 것을 확인해 보세요.

Unity Catalog에서 AI와 거버넌스가 어떻게 결합되는지 살펴볼 준비가 되셨나요?

• 무료 버전 또는 평가판에 가입하여 직접 체험해 보세요.
• Unity Catalog 페이지 를 방문하여 데이터, AI, 거버넌스를 통합하는 방법을 알아보세요
• Unity Catalog 설정에 대해 자세히 알아보려면 설명서를 읽어 보세요.
• 데모 보기 또는 제품 둘러보기
• Databricks Academy 에 가입하고 무료 교육과 튜토리얼을 통해 빠르게 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)