AI/BI Genie가 이제 정식 출시되었습니다

지난 6월, 저희는 데이터, 의미론 및 사용 패턴을 깊이 이해하는 AI를 중심으로 구축되고 Data Intelligence Platform을 활용하도록 처음부터 설계된 비즈니스 인텔리전스 분야 진출작인 Databricks AI/BI를 발표했습니다. AI/BI는 Dashboards를 통해 기존 BI 환경을 제공할 뿐만 아니라, 누구나 자연어를 통해 데이터 관련 질문에 답할 수 있는 대화형 분석 환경인 Genie도 갖추고 있습니다. 오늘, AI/BI Genie가 이제 AI/BI Dashboards와 함께 모든 클라우드에서 정식 출시되었음을 기쁜 마음으로 공유합니다.

Genie란 무엇인가요?

핵심적으로 AI/BI Genie는 사용자가 자연어로 질문하고 데이터에서 즉각적인 인사이트를 얻을 수 있도록 합니다. 비즈니스 사용자는 “내 영업 파이프라인은 어떤가요?”와 같은 질문을 할 수 있으며, Genie는 텍스트 요약, 표 형식 데이터 및 시각화를 조합하여 답변합니다. Genie는 각 답변과 함께 어떻게 그 답변에 도달했는지에 대한 설명도 제공하여 사용자가 해당 결과에 확신을 가질 수 있도록 합니다.

Genie를 통해 저희의 목표는 실제 세계에서 광고한 대로 작동하는 대화형 분석 환경, 즉 조직의 고유한 맥락 내에서 정확하고 관련성 있는 신뢰할 수 있는 답변을 제공하는 것입니다. 이는 최신 LLM에게도 어려운 과제인데, 각 조직의 데이터 및 비즈니스에 특정한 고유한 맥락이나 의미론을 이해하지 못하기 때문입니다.

AI/BI Genie는 분석가가 데이터(테이블 및 뷰 등)를 의미론(메트릭 정의, 샘플 쿼리, 텍스트 지침 및 인증된 애셋 등)과 함께 특정 주제, 예를 들어 영업 파이프라인에 초점을 맞춘 Genie 공간에 패키징할 수 있도록 하여 이 문제를 해결합니다.

Genie 공간은 로컬 지식 저장소 역할을 하며, Data Intelligence Platform의 기존 애셋에서 추출된 의미론과 전문가 분석가가 제공한 큐레이션 및 피드백을 결합합니다. 본질적으로 이 시스템은 데이터 분석가가 자신과 같이 데이터 질문에 답할 수 있는 지식 있는 에이전트를 생성하여 영향력을 확장할 수 있도록 합니다. 이를 통해 비즈니스 사용자는 기존 대시보드 및 보고서에서 다루지 않는 질문을 셀프 서비스로 해결할 수 있으며, 분석가는 더 높은 가치의 작업에 집중할 수 있습니다.

발표 이후 업데이트 사항

지난 6월 AI/BI Genie를 발표한 이후, 저희는 미리 보기 고객의 피드백을 바탕으로 더 많은 기능, 신뢰할 수 있는 답변 품질 및 개선된 사용자 경험을 도입하기 위해 노력해 왔습니다. 몇 가지 주요 사항은 다음과 같습니다.

• 업계 최고 수준의 정확도:   답변 품질은 Genie 제품 팀의 최우선 과제이며, 저희는 수천 명의 활성 고객이 제기한 실제 문제를 해결하는 데 집중해 왔습니다. 예를 들어, 저희는 값 사전 개념을 추가했습니다. 이 값 사전은 아래 예시에서 볼 수 있듯이, Genie가 기본 데이터에 있는 내용을 바탕으로 “첫 번째 수준 그룹”이라는 요청을 “1차 지원 그룹”이라는 실제 값과 의미론적으로 일치시킬 수 있도록 합니다. Genie는 이제 훨씬 더 큰 데이터 세트(열 개수 제한 없음), 복잡한 지침을 처리할 수 있으며 여러 차례의 모델 업데이트를 거쳤습니다.

• Unity Catalog 메트릭 뷰: Genie는 Data Intelligence Platform을 기반으로 구축되었으며, 저희는 계속해서 그 기반을 확장하고 있습니다. 예를 들어, Unity Catalog 메트릭에 대한 지원을 추가하여 고객이 거버넌스되고 신뢰할 수 있는 데이터 모델을 사용하여 중요한 사용 사례의 정확성을 보장할 수 있도록 했습니다. AI/BI Genie를 사용하면 Unity Catalog는 데이터와 의미론 모두에 대한 단일 진실 공급원 역할을 하여 중복 모델링의 필요성을 없앱니다.
• 평가 및 벤치마크 지원: 숙련된 엔지니어라면 모든 AI 노력은 평가 단계에서 시작해야 한다고 말할 것입니다. 그렇게 하지 않으면 프로덕션에서 실패하게 됩니다. 대화형 분석 환경도 다르지 않습니다. 새로운 Genie 공간을 만들 때, 특정 도메인을 위한 새로운 AI 시스템을 만드는 것입니다. 이것이 바로 저희가 벤치마크 및 검토 요청과 같은 기능을 추가한 이유입니다. Genie 벤치마크는 예상 SQL 답변이 있는 큐레이션된 테스트 질문으로, 작성자가 Genie의 응답 정확도를 체계적으로 평가하고 개선할 수 있도록 합니다. 반면 ‘검토 요청’은 최종 사용자가 특정 응답을 공간 관리자가 검증하거나 수정하도록 플래그를 지정할 수 있도록 하여 비즈니스 사용자와 데이터 팀 간의 신뢰와 협업을 촉진합니다.

• Genie 파일 업로드를 통한 임시 분석: 미리 보기 기간 동안 발견한 일반적인 분석 패턴 중 하나는 임시 작업을 완료하기 위해 로컬 스프레드시트(캠페인 리드 목록 등)를 Unity Catalog의 관리형 데이터 세트(Salesforce 계정 및 연락처 등)와 병합해야 하는 필요성이었습니다. Genie 파일 업로드를 사용하면 Excel 또는 CSV 파일을 Genie에 끌어다 놓기만 하면 자연어를 통해 포괄적인 분석을 완료할 수 있습니다.

• 모든 곳에 Genie: Dashboards와 Genie는 함께 더 잘 작동합니다. 이것이 바로 모든 AI/BI Dashboard에 통합 Genie 공간이 포함된 이유입니다. Dashboards는 탐색 가능한 데이터를 보여주는 반면, Genie를 통해 사용자는 동일한 환경 내에서 사전 정의된 슬라이스, 필터 및 조합의 한계를 넘어설 수 있습니다. 또한, 새로운 Genie 대화 API를 통해 개발자는 Slack, Microsoft Teams 또는 사용자 지정 내부 애플리케이션과 같은 협업 도구에 Genie를 유사하게 포함할 수 있습니다. 이를 통해 비즈니스 사용자는 컨텍스트를 전환하거나 별도의 인터페이스에 로그인할 필요 없이 작업 흐름 내에서 대화형 분석에 액세스할 수 있는 새로운 방법을 열어줍니다.

또한, 향상된 시각화부터 최종 사용자의 분석을 안내하는 재설계된 사용자 인터페이스에 이르기까지 다양한 기타 개선 사항을 제공했습니다. GA 이후에도 이러한 높은 수준의 기능 속도를 계속 유지할 계획입니다. AI/BI 릴리스 노트를 확인하시고 시간이 지남에 따라 기능을 계속 추가할 예정이니 더 많은 블로그를 기대해 주세요.

Genie를 통한 실제 성공 사례

저희는 Genie의 빠른 채택에 매우 기뻤습니다. 미리 보기 기간 동안 4000명 이상의 고객이 AI/BI Genie를 채택하여 데이터를 민주화하고 비기술 사용자에게 권한을 부여했습니다. 다음은 일부 미리 보기 고객이 Genie에 대해 공유한 내용의 샘플입니다.

Genie는 HP에서 저희 팀에 권한을 부여하는 방식을 바꾸고 있습니다. 직관적인 자연어 인터페이스를 통해 사용자는 코딩 없이도 중요한 데이터에 즉시 액세스할 수 있어 데이터 기반 인사이트를 더 빠르고 효율적으로 얻을 수 있습니다. — Bruce Hillsberg, VP, Data Engineering & Insights, Technology & Innovation, HP Inc

사용자들은 분석가에게 계속해서 “이전 연도와 비교했을 때 남서부 지역의 매출은 어땠나요?”라고 물었습니다. 올바른 분석가를 찾기 위해 애쓰고 답변이 정확하기를 바라는 대신 Genie에게 바로 물어볼 수 있다는 아이디어는 비즈니스에 매우 흥미로웠습니다. — Shahmeer Mirza, Senior Director of Data, AI/ML, and R&D, 7-Eleven

마케팅 및 재무 부문의 임원 및 기타 LOB 리더는 Genie를 사용하여 일반 영어만으로 필요한 데이터에 액세스할 수 있습니다. 정말 놀랍습니다. — Felix Baker, Head of Data Services, SEGA Europe

저희는 Premier Inc, Magic Orange, The AA, 그리고 Casas Bahia를 포함하여 Genie를 통해 엄청난 성공을 거둔 다른 많은 고객들도 보유하고 있습니다. Genie를 일반적으로 사용할 수 있게 함으로써 더 많은 조직이 저희와 함께하기를 기대합니다. 

차세대 지식 저장소

Genie의 핵심은 지식 저장소입니다. 이는 Genie의 AI 시스템이 질문에 답할 때마다 참조하는 살아있는 시맨틱 모델입니다. 저희는 이제 지식 저장소의 차세대를 출시하며, 이를 통해 작성자는 훨씬 더 세밀한 수준에서 훨씬 적은 노력으로 지식을 큐레이션할 수 있습니다. 작성자는 열 수준 동의어 및 샘플 값, 기본/외래 키 조인 또는 인증된 메트릭과 같은 테이블 수준 컨텍스트를 포함한 데이터 자산에 직접 지식을 추가할 수 있습니다. Genie의 복합 AI 시스템은 각 질문에 대한 올바른 지식 조각을 검색하여 사용자 질문에 정확한 답변을 제공할 수 있습니다. 

이러한 개선 사항에도 불구하고 시맨틱 큐레이션은 여전히 번거로운 작업입니다. 이 프로세스를 훨씬 더 쉽게 만들기 위해 Genie는 이제 지식 마이닝 및 추출을 수행합니다. 

지식 마이닝(위)은 Genie가 Unity Catalog의 계보 및 쿼리 기록을 검토하여 Unity Catalog의 거버넌스 보증을 유지하면서 새로운 지침을 제안하거나 지식 저장소로 승격할 가치가 있는 반복되는 패턴을 강조 표시하여 공간 소유자의 수동 큐레이션을 크게 줄일 수 있도록 합니다. 

또한 저희는 지식 저장소를 부트스트랩할 사전 참조가 없는 새로운 사용 사례에 Genie를 활용하는 많은 고객을 보유하고 있습니다. 이러한 경우를 처리하기 위해 Genie의 지식 추출을 강화하여 큐레이션이 일반 사용의 일부로 발생하도록 했습니다. 모든 채팅 세션 중에 Genie는 시맨틱 정보를 추출하고, 간결한 지식 스니펫을 제안하며, 사용자가 승인하면 저장소에 커밋합니다. 

내장된 활동 모니터링 및 피드백 루프와 함께 일상적인 사용 자체는 주기적인 재작업 없이 Genie의 시맨틱 모델을 정확하게 유지하는 지속적인 학습 파이프라인이 됩니다.

Genie 심층 연구

Genie의 GA는 중요한 이정표이지만, AI 우선 접근 방식으로 BI를 재구상하는 여정에서 속도를 늦추지 않을 것입니다. 저희는 더 복잡하고 다단계 질문을 처리하기 위해 설계된 Genie의 새로운 모드인 Genie Deep Research의 미리 보기를 발표하게 되어 기쁩니다. 지금까지 Genie는 "무슨 일이 일어났는가" 질문(예: "우리의 판매 파이프라인은 얼마인가?")에 최적화되었습니다. "왜" 및 "어떻게" 질문(예: "판매가 감소한 이유는 무엇인가?" 또는 "판매 파이프라인을 어떻게 늘릴 수 있는가?")에 답하려면 사용자가 자체 가설을 형성하고 각 가설을 개별적으로 테스트하도록 Genie에 요청해야 했습니다. Deep Research를 통해 Genie는 LLM 연구의 최신 발전을 활용하여 연구 계획을 생성하고 여러 가설을 병렬로 분석한 다음 결과를 요약하여 이러한 유형의 질문을 처리할 것입니다.

Genie의 나머지 부분과 마찬가지로 Deep Research는 Genie의 지식 저장소를 기반으로 확장하여 정확하고 신뢰할 수 있는 결과를 제공할 것입니다. Genie는 또한 자신이 도출한 결론에 대한 인용을 명시적으로 제공하고 진행된 모든 작업을 검토할 수 있는 쉬운 원클릭 경험을 제공할 것입니다. Deep Research는 올여름 말에 Genie 고객에게 실험 기능으로 제공될 예정입니다. 

AI/BI Genie를 비즈니스 팀에 제공

Genie를 광범위하게 배포하는 것에 대해 고객으로부터 들었던 몇 가지 우려 사항 중 하나는 AI/BI에 액세스하려면 기술적인 Databricks 작업 공간을 탐색해야 한다는 것입니다. 이는 기술에 익숙하지 않은 비즈니스 사용자에게는 부담스러울 수 있는 경험입니다. Data and AI Summit 발표의 일환으로, 저희는 비즈니스 팀에게 AI/BI 대시보드 및 Genie 공간, 그리고 Databricks Apps에 대한 간단하고 안전한 액세스를 제공하는 새로운 경험인 Databricks One을 소개합니다. AI/BI와 마찬가지로 Databricks One은 모든 Databricks SQL 고객에게 무료로 제공됩니다.  

더 알아보기

AI/BI Genie 및 대시보드는 이제 추가 라이선스 없이 Databricks SQL 고객에게 제공됩니다.  더 자세히 알고 싶으시면 AI/BI Genie 웹페이지를 확인하고 다음 콘텐츠를 탐색하여 시작할 수 있습니다.

1. 문서: 저희 문서를 통해 자세한 내용을 알아보세요.
2. 데모: 저희 데모 동영상을 시청하고, 제품 투어를 하고, AI/BI를 실제로 사용하는 모습을 볼 수 있는 실습 튜토리얼을 받아보세요.
3. 교육: Databricks Academy를 통해 무료 제품 교육으로 시작하세요.
4. 전자책: Business Intelligence Meets AI 전자책을 다운로드하세요.

기존 Databricks 고객이 아닌 경우 무료 평가판에 가입하여 Genie 및 기타 Databricks 제품을 시험해 볼 수도 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)