오늘, 우리는 비즈니스와 데이터의 고유한 뉘앙스를 학습하여 다양한 사용 사례에 자연어로 액세스할 수 있도록 지원하는 지식 엔진인 레이크하우스 IQ를 발표하게 되어 매우 기쁩니다. 조직의 모든 직원은 레이크아후스IQ를 사용하여 자연어로 데이터를 검색, 이해 및 쿼리할 수 있습니다. 레이크하우스 IQ는 데이터, 사용 패턴 및 조직도에 대한 정보를 사용하여 비즈니스의 전문 용어와 고유한 데이터 환경을 이해하고, 대규모 언어 모델(LLM)을 순진하게 사용할 때보다 훨씬 더 나은 답변을 제공합니다.
물론 대규모 언어 모델은 데이터에 언어 인터페이스를 제공하겠다고 약속했고, 모든 데이터 회사가 AI 비서를 추가하고 있지만, 실제로는 이러한 솔루션 중 상당수가 기업의 데이터에는 미치지 못합니다. 모든 기업에는 비즈니스 질문에 답하는 데 필요한 고유한 데이터 세트, 전문 용어 및 내부 지식이 있으며, 단순히 인터넷에서 학습된 인공 지능을 호출하여 질문에 답하면 잘못된 결과를 얻을 수 있습니다. '고객'의 정의나 회계 연도처럼 간단한 것조차도 기업마다 다릅니다.
레이크하우스IQ는 기업의 비즈니스 및 데이터 개념을 자동으로 학습하여 이 문제를 직접 해결하는 동종 최초의 지식 엔진입니다. 이 엔진은 유니티 카탈로그, 대시보드, 노트북, 데이터 파이프라인, 문서 등 데이터브릭스 레이크하우스 플랫폼 전반의 신호를 사용하여 데이터가 실제로 어떻게 사용되는지 파악하는 데이터브릭스 플랫폼의 고유한 엔드투엔드 특성을 활용합니다. 이를 통해 레이크하우스IQ는 기업을 위한 매우 정확한 전문 모델을 구축할 수 있습니다.
레이크하우스IQ를 사용하여 쿼리부터 문제 해결에 이르기까지 데이터브릭스 전반에 걸쳐 새로운 자연어 인터페이스를 구현하고 있습니다. 그리고 더 중요한 것은 고객이 이 자동 학습된 지식을 사용하는 자체 AI 앱을 구축할 수 있도록 API를 통해 그 기능을 공개하고 있다는 점입니다. 이러한 종류의 엔터프라이즈용 지식 엔진이 차세대 소프트웨어 스택의 중요한 구성 요소가 될 것이라고 믿습니다.
자연어 기반의 쿼리
대부분의 데이터브릭스 사용자가 가장 먼저 보게 될 AI 기능은 SQL 편집기와 노트북의 새로운 어시스턴트로, 쿼리를 작성하고, 설명하고, 질문에 답할 수 있는 기능입니다. 이 기능은 이미 사용자들에게 수백 시간의 시간을 절약해주고 있습니다. 어시스턴트는 각 활동에 적합한 데이터를 찾고 이해하며 정확한 답변을 제공하기 위해 레이크하우스IQ에 크게 의존합니다. 레이크하우스IQ와 같은 지식 엔진 없이는 LLM은 가끔 기업에서 데이터가 어떻게 쓰이는지 모르는 경우가 많습니다. 예를 들어, 아래 쿼리에서 LakehouseIQ가 탑재된 어시스턴트는 '유럽'이라는 영업 지역에 대한 검색을 해제했지만 회사가 실제로 북부와 남부 두 개의 유럽 지역을 보유하고 있다는 사실을 알지 못하기 때문에 아무런 결과도 찾지 못했습니다 LakehouseIQ 버전은 이 정보를 알고 있을 뿐만 아니라 이 데이터 집합을 사용한 다른 쿼리, 대시보드 및 노트북에서 학습한 내부 사용량을 제외하는 필터를 자동으로 추가합니다.
레이크하우스IQ를 활용한 검색
레이크하우스IQ는 또한 데이터브릭스 제품 내 검색 기능을 크게 향상시킵니다. 새로운 검색 엔진은 단순히 데이터를 찾는 데 그치지 않고, 데이터를 해석하고, 정렬하고, 실행 가능한 컨텍스트 형식으로 제시하여 모든 사용자가 데이터를 더 빠르게 시작할 수 있도록 지원합니다. 아래의 예제에서, LakehouseIQ는 Databricks에서 서버리스의 코드명이 'Nephos'이고 'DBU'가 사용량의 척도라는 것을 이해하여 올바른 결과를 찾아냅니다. 또한 각 테이블의 인기도, 최신성, 빈번한 사용자에 대한 정보도 제공합니다.
관리 및 문제해결
또한 레이크하우스의 많은 관리 워크플로우에 레이크하우스IQ를 통합하고 있습니다. 예를 들어, 자동 제안을 통해 데이터 세트에 의미 있는 주석을 제공하는 것이 더 쉬워지고, 더 많은 문서를 추가할수록 레이크하우슨IQ가 해당 데이터를 더 잘 사용할 수 있게 됩니다. 또한, 작업, 데이터 파이프라 인, Spark 및 SQL 쿼리(예: 업스트림 작업이 실패하여 데이터 세트가 불완전할 수 있음을 알려주는 등)를 이해하고 디버그할 수 있어 사용자가 문제가 발생한 시점을 파악하는 데 도움이 됩니다.
레이크하우스IQ API: 자체 기업의 AI 어플리케이션 활용하기
레이크하우스IQ 지식 엔진은 레이크하우스의 생성 AI 기능에서 정확한 결과와 만들어진 결과의 차이점이지만, 조직은 또한 많은 맞춤형 앱을 개발하기를 원합니다. 이러한 앱들도 레이크하우스IQ의 지식의 이점을 누릴 수 있도록, 저희는 LangChain과 같은 LLM 애플리케이션 프레임워크와의 통합을 포함하여 주요 기능을 API를 통해 노출하고 있습니다. AI 앱은 레이크하우스에 있는 데이터 및 문서와 자연어로 대화하여 비즈니스를 위한 풍부하고 근거 있는 애플리케이션을 구축할 수 있습니다.
거버넌스 및 보안
레이크하우스IQ는 데이터와 AI 전반의 보안 및 거버넌스를 위한 데이터브릭스의 대표 솔루션인 Unity Catalog를 기반으로 구축되고 관리됩니다. 레이크하우스IQ를 사용하면 사용자는 Unity 카탈로그에서 액세스 권한이 있는 데이터 세트에 대한 결과만 볼 수 있으므로 새로운 보 안 문제에 대한 걱정 없이 더 많은 사용자에게 데이터 분석을 공개할 수 있습니다. 오늘 우리가 발표하는 AI 기반 자동 데이터 분류, 모니터링, 외부 시스템과의 레이크하우스 페더레이션 등 다른 기능과 결합하여 레이크하우스IQ는 기업 내 모든 데이터를 민주화할 수 있도록 지원합니다.
다음 단계
레이크하우스IQ는 전례 없는 데이터 민주화 시대의 서막이라고 믿습니다. 레이크하우스IQ의 정교한 언어 기능과 심층적인 문맥 이해력을 활용하여 데이터브릭스는 모든 데이터 소스에 대한 상당한 인사이트를 매력적인 대화 형식으로 제공함으로써 데이터와 상호 작용하는 방식을 혁신적으로 변화시킵니다. 단순히 데이터에 액세스할 수 있게 하는 데 그치지 않고, 데이터를 이해하고 실행 가능하며 훨씬 더 가치 있게 만들고 있습니다. 올 한 해 동안 다양한 레이크하우스 IQ 기능을 출시할 예정이며, 여러분의 피드백을 기다리고 있습니다.
동작하는 레이크하우스 IQ에 대해 이번 Data + AI Summit에서 확인하길 원하신다면 이 기회를 놓치지 마세요.