지능이 추가된 데이터브릭스 검색

(번역: Youngkyong Ko) Original Post

데이터브릭스 워크스페이스의 검색 기능이 크게 개선되었음을 알려드리게 되어 기쁘게 생각합니다. 이러한 개선 사항은 데이터브릭스 플랫폼의 데이터 인텔리전스 엔진인 DatabricksIQ를 기반으로 더욱 지능적인 AI 기반 검색 환경을 제공하여, 자연어 및 시맨틱 검색을 활용해 가장 관련성이 높은 콘텐츠를 찾고 기업 데이터와 AI 자산에서 새로운 인사이트를 발견할 수 있도록 해줍니다.

AI가 생성한 메타데이터를 사용하는 검색

데이터브릭스 검색의 주요 이점 중 하나는 Unity Catalog에서 관리되는 데이터에 대해 AI가 생성한 테이블 및 열 주석을 활용한다는 점입니다. 이러한 코멘트를 통해 검색 엔진은 데이터의 뜻과 의미 구조를 파악하여 훨씬 더 관련성 높고 정확하며 활용 가능한 결과를 생성하는 데 필요한 컨텍스트를 제공합니다.

 

AI가 생성한 코멘트는 DatabricksIQ로 구동됩니다. 검색에서 사용될 때, DatabricksIQ는 다양한 산업의 예시 스키마를 바탕으로 엔터프라이즈 데이터에 맞게 특별히 튜닝된 대규모 언어 모델(LLM)을 사용합니다. DatabricksIQ는 검색에서 문맥 인식을 촉진할 뿐만 아니라 노트북, SQL 편집기, Lakeview 대시보드를 위한 Databricks Assistant 등 다른 AI 기반 도구도 향상시킵니다.

데이터브릭스 검색의 새로운 기능

이번 릴리스에서 데이터브릭스 검색에 적용된 개선 사항들을 자세히 살펴보겠습니다.

전체 페이지 검색 결과 화면

먼저, 새로운 전체 페이지 환경을 추가하여 검색 결과를 볼 수 있는 더 많은 공간을 제공하고, 결과에 대한 더 많은 메타데이터를 표시하며, 더 많은 필터를 통해 결과 범위를 좁힐 수 있게 되었습니다.

시맨틱 검색

검색어와 자산을 키워드로 매치하는 것 외에도, 이제 검색은 단어의 의미를 해석하고 자연어 질의를 지원합니다. 즉, 검색 쿼리의 가장 중요한 부분과 의미론적 유사성이 있는 자산을 검색한 후, 결과를 키워드 검색과 결합하여 최상의 검색 결과를 제공합니다. 

 

예: "지리에 무엇을 사용해야 하나요"라는 검색 쿼리는 '지리'에 초점을 맞추고 도시, 국가, 영토, 지리적 위치 등과 같은 지리적 속성을 포함하는 관련 용어를 찾습니다.

검색 쿼리 이해

검색은 이제 검색어와 필터를 분리하여 검색 쿼리의 패턴을 이해할 수 있으므로 자연어 쿼리가 훨씬 더 강력해집니다. 

 

예: "검사에 대한 테이블들을 보여줘"라는 검색 쿼리는 "검사"가 핵심 용어이고 "테이블"이 사용자가 찾고 있는 개체 유형이 되도록 세분화됩니다.

인기도를 이용하여 관련성 개선 

워크스페이스의 사용자들이 특정 자산에 대해 상호작용하는 빈도에 기반한 인기도 신호를 사용하여 검색 결과의 랭킹 방법을 개선합니다. 

 

예: 식품 검사 테이블을 찾기 위해 'food_inspections'를 검색하면, 인기도 부스팅을 사용하지 않을 때는  'food_inspections' 문구가 포함된 여러 테이블이 결과로 반환되어 쿼리 해보기 전까지는 어떤 테이블이 권위 있는 테이블인지 알 수 없습니다. 인기도가 높아지면 가장 인기 있는 테이블이 더 높은 순위를 차지하므로 어느 것이 맞는지 추측하고 확인할 필요가 없습니다.

위에서 볼 수 있듯이 각 결과의 인기도를 빠르게 확인할 수 있도록 시각적 인기도 표시 아이콘도 추가했습니다.

 

새로운 "인기순 정렬" 옵션으로 검색 결과의 순위를 변경할 수도 있습니다. 

지식 카드

사용자가 찾는 것을 확실하게 알 수 있는 경우 최상위 결과가 지식 카드로 전환됩니다. 이렇게 하면 최상의 결과를 더 쉽게 확인할 수 있을 뿐만 아니라 자산에 대한 추가적인 메타데이터도 제공됩니다. 현재 지식 카드는 테이블에만 지원되지만 향후 다른 객체로 확장할 예정입니다.

빠른 필터

찾고 있는 개체 유형을 정확히 알고 있는 경우 빠른 필터를 사용하면 클릭 한 번으로 해당 개체 유형을 필터링할 수 있습니다.

검색 필터 구문

UI에서 필터를 지정하는 것 외에도 검색창의 검색어를 통해 필터를 지정할 수도 있습니다. 구문을 통해 필터를 지정하는 방법에 대해 자세히 알아보려면 UI에서 필터를 적용하고 검색창의 쿼리가 자동으로 업데이트되는 과정을 확인하세요.

검색 URL

자주 다시 찾는 일반적인 검색어가 있거나 다른 사용자와 검색 결과를 공유하려는 경우, 검색 페이지의 URL에 전체 검색어가 포함되어 있으므로 해당 URL을 북마크하고 공유하여 동일한 검색 결과를 재현할 수 있습니다.

보너스 기능

• 최근 항목: 검색창을 클릭하면 검색어를 입력하기 전에 최근에 본 개체가 드롭다운 목록에 표시됩니다. "최근 항목" 페이지 또는 "홈" 페이지로 이동할 필요 없이 최근에 본 항목으로 빠르게 이동할 수 있는 간편한 방법입니다.
• 키보드 단축키: 키보드에서 손을 떼지 않고 검색창으로 이동하려면 "CMD+P"(Mac의 경우) / "CTRL+P"(Windows의 경우) 키보드 단축키를 사용하세요. 이렇게 하면 훨씬 더 쉽게 검색하고 최근 내용으로 이동할 수 있습니다(위 참조).
• 새 탭에서 검색 페이지 열기: 검색창에 입력한 용어를 검색할 때 "Enter"를 누르는 대신 "CMD+Enter"(Mac의 경우) 또는 "CTRL+Enter"(Window의 경우)를 누르면 검색 결과가 새 탭에서 열립니다. 이렇게 하면 작업 중인 현재 페이지를 보존할 수 있고 검색을 마친 후 페이지를 새로 고치지 않고도 원래 작업으로 돌아갈 수 있습니다. 
• 빈 검색: 특정 필터 기준(예: 내가 소유한 모든 노트북)과 일치하는 모든 개체를 보려면 필터만 있고 검색어는 없는 "빈" 검색(예: "type:notebook owner:me)"을 수행해 보세요. 이 방법이 유용한 시나리오 중 하나는 주제 전문가가 만든 모든 대시보드를 보고 싶은 경우입니다.
• 코드 검색: 노트북과 쿼리를 이름으로 검색할 수 있을 뿐만 아니라, 그 안에 있는 컨텐츠도 검색할 수 있습니다. 즉, 함수 이름이나 테이블 이름 같은 것을 검색해 어떻게 참조되는지 확인할 수 있습니다. 두 가지 추가 보너스로는 1) 노트북/쿼리 안에 있는 일치하는 컨텐츠의 미리보기만 필요한 경우, 검색 결과에서 스니펫을 볼 수 있고, 2) 스니펫에 표시된 것 이상의 정보가 필요한 경우, 검색 결과를 클릭하면 검색어가 일치하는 위치로 노트북/쿼리가 자동으로 스크롤되어 개체가 열립니다.

향상된 지능형 검색을 활용한 사용 사례들

지능형 검색은 데이터브릭스 플랫폼의 데이터와 AI 자산을 효과적으로 활용하는 데 매우 중요하며, 탐색과 발견 두가지 문제 해결에 주요하게 활용되고 있습니다.

 

탐색은 사용자가 원하는 것을 빠르고 효율적으로 찾을 수 있도록 돕는 것입니다. 이는 일반적으로 사용자가 자신이 찾으려는 것을 이미 구체적으로 알고 있다는 것을 의미합니다. 예를 들어, 식품 검사라는 테이블을 찾고 있는데 가능한 한 빨리 해당 테이블로 이동하고 싶다고 가정해 보겠습니다. 검색창에 "식품 검사", "식품_검사" 또는 "식품 테이블"을 입력하면 검색어와 일치하는 모든 테이블을 빠르게 볼 수 있습니다.

 

발견(Discovery)은 이와 다르게, 사용자가 원하는 것에 대한 일반적인 개념은 있지만 구체적으로 어떤 것을 검색해야 할지 모르는 경우입니다.  앞의 예를 바탕으로, 검색창에 "시카고 레스토랑 등급과 관련된 모든 것을 보여줘"라고 입력하면 테이블, 노트북, 작업, SQL 쿼리, 대시보드, ML 모델 등 관련성 있는 모든 것을 검색할 수 있습니다. 발견 사용 사례를 사용하면 검색창에 입력한 특정 단어와 일치하는지 여부에 관계없이 모든 관련 항목이 반환됩니다.

 

탐색과 발견 두 사용 사례 모두를 효과적으로 지원하는 것이 고객에게 필수적이라고 생각하기 때문에, 우리는 기존 검색 기능에 인텔리전스를 추가하는 데 많은 투자를 해왔습니다. 

당신의 의견을 보내주세요

데이터브릭스에서 지능형 검색을 향한 여정은 먼 길을 걸어왔지만, 이제 시작에 불과하며 더 많은 개선이 진행 중입니다! 새로운 기능을 사용하면서 마음에 드는 점, 마음에 들지 않는 점, 향후 개선 사항에 바라는 점을 알려주세요. 이를 돕기 위해 검색 페이지 상단에 "피드백 보내기" 링크를 만들어 여러분의 의견과 제안을 추가할 수 있도록 했습니다.

지금 바로 새로운 데이터브릭스 검색을 사용해 보세요!

이 새로운 지능형 검색을 사용하는 방법은 간단합니다. 데이터브릭스 워크스페이스에 로그인하여 바로 사용하면 됩니다.  최신 버전의 데이터브릭스 플랫폼에서 사용할 수 있으며 추가 라이선스가 필요하지 않습니다. 데이터브릭스 검색의 전체 기능에 대해 자세히 알아보려면 제품 설명서도 참조하세요. 

 

즐겁게 검색하세요!