주요 컨텐츠로 이동
플랫폼

Predictive AI Functions로 강력한 인사이트와 예측 기능 활용하기

Predictive AI Functions를 통해 비즈니스 사용자 및 SQL 분석가는 고급 ML 전문 지식 없이도 고품질 예측, 이상 감지, 영향 요인 분석 및 예측을 실행할 수 있습니다.

작성자: Jonathan Brito , Gary Shambat

  • Predictive AI Functions를 사용하면 비즈니스 사용자 및 SQL 분석가가 고급 ML 전문 지식 없이도 예측을 생성하고, 이상 감지를 수행하며, 지표의 주요 영향 요인을 분석하고, 예측을 실행할 수 있습니다.
  • AI Functions는 Genie에서 쉽게 사용할 수 있으며, 사용자가 직접 모델을 구축하고 유지 관리할 필요 없이 기존 워크플로에 간편하게 임베드할 수 있습니다.
  • 이번 출시에는 업그레이드된 ai_forecast와 함께 새롭게 제공되는 ai_top_drivers, ai_detect_anomalies, ai_predict_value, ai_predict_class 등 총 5가지 함수가 포함됩니다.

데이터 팀은 항상 똑같은 질문을 받습니다. "다음 분기 매출은 어떻게 될까요?", "이 지표가 왜 움직였을까요?", "최근 데이터가 일반적인 패턴에서 벗어난 것일까요?" 이러한 고도화된 분석 질문에 답하려면 보통 데이터 사이언스 팀에 작업을 맡겨 모델을 구축하고 인프라를 관리해야 합니다. 그로 인해 현업 사용자들의 대기 시간이 길어지고, 수많은 질문이 시작조차 되지 못하는 병목 현상이 발생합니다.

현재 베타로 제공되는 Predictive AI Functions는 분석가와 현업 사용자가 최신 ML 모델을 기반으로 하는 내장 함수를 통해 예측, 요인 분석(driver analysis), 이상 탐지 같은 고도화된 분석을 수행할 수 있게 함으로써 이러한 병목 현상을 해결해 줍니다. 이러한 SQL 네이티브 함수는 SQL에서 직접 호출하거나, Genie에서 일상 언어로 질문하여 실행하거나, 대시보드에 임베드할 수 있습니다. Databricks가 모델을 중앙에서 관리하므로 팀에서는 인프라를 구축하거나 관리할 필요 없이 일관되고 품질 높은 답변을 얻을 수 있습니다.

이번 출시에서는 네 가지 새로운 SQL 네이티브 함수가 추가되었으며, ai_forecast의 정확도가 향상되었습니다.

  • ai_forecast: 시계열을 미래로 예측
  • ai_top_drivers: 지표 변화에 가장 큰 영향을 미친 세그먼트 파악
  • ai_detect_anomalies: 시간 기반 데이터에서 이상치 행 표시
  • ai_predict_value: 연속형 값 예측(회귀)
  • ai_predict_class: 범주형 값 예측(분류)

이러한 함수가 Databricks 전체에서 어떻게 활용될 수 있는지 보여주기 위해, 뉴욕시 택시 운행 데이터세트를 사용하여 대시보드, SQL, Genie에서의 예시를 살펴보겠습니다.

대시보드에서 제공하는 신뢰할 수 있는 예측

대시보드는 팀이 비즈니스를 운영하는 핵심 지표를 모니터링하고, 지표의 향후 추세를 확인하는 곳입니다. ai_forecast를 사용하면 팀에서 지표를 미래로 예측하고 해당 예측치를 다른 보고 항목과 함께 시각화할 수 있습니다.

새로운 ai_forecast를 사용하면 튜닝 없이도 손쉽게 고품질의 예측 결과를 얻을 수 있습니다. 거대 언어 모델이 텍스트로 학습되는 것처럼 다양하고 방대한 시계열 데이터 수집본으로 사전 학습된 트랜스포머 기반 시계열 파운데이션 모델로 구동됩니다. 계절성과 추세 같은 일반적인 패턴을 이미 인식하고 있으므로 튜닝 없이도 데이터에 대한 정확한 예측을 생성합니다.

아래 시각화는 ai_forecast를 사용하여 뉴욕시 택시 운행 데이터세트의 월별 운행량을 2027년 말까지 예측한 결과입니다. 이 예측을 통해 택시 수요의 예상 계절성 패턴이 드러나며, 승차량의 향후 추세에 대한 데이터 기반 관점을 얻을 수 있습니다.

image1.png

새로운 ai_forecast는 일반적인 패턴을 자동으로 처리할 뿐만 아니라, 비즈니스 특화 요인을 추가할 수 있는 기능도 제공합니다. 내장된 공휴일 지원 기능을 활용하면 크리스마스 시즌의 수요 감소나 방학 기간의 급증과 같은 현지 이벤트를 자동으로 반영할 수 있습니다. 또한 가격 변동이나 마케팅 비용과 같이 지표에 영향을 미치는 외부 공변량(covariate)을 지정하여 예측 결과에 비즈니스 상황이 더 잘 반영되도록 할 수 있습니다.

자연어 기반의 강력한 예측

이번 출시에는 데이터 팀이 자주 접하는 애드혹 고도화 분석 질문을 해결하기 위한 네 가지 새로운 함수도 추가되었습니다.

  • ai_top_drivers: 지표가 변동한 이유 설명
  • ai_detect_anomalies: 정상 범주를 벗어난 값 표시
  • ai_predict_value 및 ai_predict_class: 숫자를 추정하거나 범주를 할당하여 누락된 값 채우기

ai_forecast와 같은 각 함수는 기본 SQL 함수로 제공됩니다. 분석가는 SQL 편집기나 노트북에서 직접 함수를 호출하고, 수억 개의 행에 대해 실행하며, 작업 중인 다른 쿼리 및 파이프라인에 결과를 제공할 수 있습니다. 비슷한 기능을 위한 커스텀 모델을 개발하는 것과 비교하면 개발 시간이 대폭 단축되고 더 많은 사용자들의 접근성이 높아집니다.

예를 들어, 아래 쿼리는 뉴욕시 택시 운행 데이터를 일별 매출 시계열로 집계하고 이를 ai_detect_anomalies에 전달합니다. 그러면 해당 함수가 데이터에 모델을 자동으로 적합(fit) 시키고 특이한 날짜를 표시합니다.

동일한 함수가 Genie를 통해 현업 사용자에게도 제공될 예정입니다(ai_top_drivers 는 현재 사용 가능하며, ai_forecast, ai_detect_anomalies, ai_predict_value 및 ai_predict_class도 곧 지원될 예정입니다). 누구나 지난 분기 매출이 감소한 이유나 이탈 가능성이 높은 고객이 누구인지와 같은 질문을 일상 언어로 던질 수 있으며, Genie는 알맞은 함수를 호출하여 SQL이나 ML 전문 지식 없이도 근거 있고 모델 기반의 답변을 반환해 줍니다.

아래 쿼리는 ai_top_drivers를 사용하여 2016년 1월과 2월 사이의 뉴욕시 택시 요금 매출 변동에 가장 크게 기여한 시간대 및 주중/주말 세그먼트를 자동으로 식별합니다. 절대적 및 상대적 매출 영향도에 따라 각 세그먼트의 순위를 매겨 주중 낮 시간대가 가장 큰 증가를 이끈 반면 주중 저녁 혼잡 시간이 가장 큰 감소 요인이었음을 보여줍니다.

image3.png

이러한 함수는 맞춤형 머신러닝 방법을 사용하므로, 범용 LLM이 자체적으로는 신뢰성 있게 처리하기 어려운 질문에도 Genie가 답변할 수 있도록 해줍니다.

업계 최고 수준의 품질

이러한 함수는 모두 운영(production) 수준의 ML 모델을 기반으로 고품질 예측을 제공합니다. Databricks에서 해당 모델을 중앙 관리하므로 어떤 환경에서 사용하든 품질이 일관되게 유지되어 대시보드, SQL, Genie 중 어디에서 예측을 실행하든 동일하게 신뢰할 수 있는 결과를 얻을 수 있습니다.

예측 기능에서 이러한 장점이 가장 명확하게 드러납니다. fev-bench를 활용하여 새로운 ai_forecast를 주요 클라우드 데이터 웨어하우스의 함수들과 비교 벤치마킹했습니다. 작업 승률(Task win rate)은 한 시스템이 다른 시스템보다 더 낮은 확률적 오차를 달성한 작업의 비율(스케일링된 분위수 손실로 측정)로 정의됩니다. 비교 결과는 다음과 같습니다.

image4.jpg

ai_forecast는 다른 클라우드 데이터 웨어하우스 제공업체는 물론 이전 버전의 ai_forecast보다 뛰어난 성능을 발휘합니다. Predictive AI Functions를 사용하면 별도의 튜닝 없이 모든 환경에서 즉시 업계 최고 수준의 정확도를 활용할 수 있습니다.

지금 시작해 보세요

Predictive AI Functions는 기존에 데이터 사이언스 팀이 필요했던 질문(예: 향후 예측, 변화 원인, 문제 지점, 데이터 가치)에 대해 현업 팀이 이미 작업 중인 대시보드, Genie, SQL 환경에서 스스로 답을 찾을 수 있도록 지원합니다. 모델 구축이나 인프라 관리 없이 누구나 쉽게 사용할 수 있는 고품질 예측으로, 모두를 위한 고도화된 분석을 실현해 줍니다.

시작할 준비가 되셨나요? 여기에서 Predictive AI Functions를 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

관련 태그:

Genie

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.