ai_decide를 소개합니다: 거버넌스가 적용된 데이터에서 신속하게 의사결정을 내려보세요

오늘 Databricks는 거버넌스가 적용된 데이터를 바탕으로 신속한 의사결정을 내릴 수 있도록 지원하는 새로운 Databricks AI Function ai_decide 를 출시합니다.

많은 팀이 복잡한 추론이나 텍스트 생성이 필요하지 않은 작업에도 LLM을 사용하는 것을 보았습니다. 이 지원 티켓은 어떤 카테고리에 속하나요? 이 문서에 사람의 검토가 필요한가요? 이 프롬프트는 어떤 모델이 처리해야 하나요?

이러한 질문들은 수백만 개의 문서를 처리하는 것부터 실시간 앱 로직을 제어하는 것에 이르기까지, 고객의 수많은 대규모 엔터프라이즈 워크플로를 구동합니다. 하지만 이렇게 작고 구조화된 의사결정에 LLM을 사용하면 엔터프라이즈 규모에서 누적되는 추가적인 지연 시간과 비용을 감수해야 합니다. TypeSafe AI의 Jev와 같은 의사결정 모델은 이러한 격차를 줄여줍니다. 텍스트를 생성하는 대신 비구조화된 입력과 일련의 질문을 받아 의사결정 결과와 그 확률을 직접 반환합니다.

ai_decide는 의사결정 모델을 기반으로 하는 새로운 Databricks AI Function입니다. 이 기능은 1초도 안 되는 짧은 시간 내에 텍스트를 대상으로 하나 이상의 질문을 평가하며, 각 질문에 대해 확률, 지정된 기준 중 선택된 옵션, 또는 순서가 지정된 척도의 점수를 반환합니다. ai_decide는 빠른 의사결정에 최적화되어 있으므로, 유사한 작업에서 LLM보다 지연 시간이 짧고 비용도 저렴합니다.

지금 ai_decide를 사용해 보세요

ai_decide는 현재 Databricks에서 베타 버전으로 제공됩니다. 데이터에 대해 대규모로 구조화된 의사결정을 내리려면 SQL에서 이 기능을 호출하거나, 실시간 애플리케이션 및 에이전트를 위해 REST API를 통해 호출할 수 있습니다. 이미 TypeSafe AI API를 사용하여 빌드 중인 팀의 경우, ai_decide 함수가 직접 호환됩니다.

어디서부터 시작해야 할지 모르시겠나요? 비구조화된 데이터가 있고 이를 분류하거나, 점수를 매기거나, 다음에 수행할 작업을 결정해야 한다면 ai_decide가 적합합니다. 지금 바로 시도해 볼 수 있는 몇 가지 사용 사례를 소개합니다:

고객 리뷰를 분석하여 반복되는 제품 문제 파악

매달 수천 건의 제품 리뷰가 접수됩니다. 고객은 혼란스러운 설치 안내부터 잘못된 청구 금액에 이르기까지 모든 것을 설명합니다.

ai_decide를 사용하면 단 한 번의 SQL 쿼리로 각 리뷰에 주요 문제와 고객이 제품 반품을 원하는지 여부를 태깅할 수 있습니다. 이러한 태그를 제품 및 월별로 집계하여 반복되는 불만을 추적하고, 보고된 반품과 함께 가장 자주 발생하는 문제가 무엇인지 확인할 수 있습니다.

사용자 프롬프트를 적절한 모델로 라우팅

AI 어시스턴트를 개발하는 소프트웨어 회사라고 가정해 보겠습니다. 사용자는 어시스턴트에게 문장 재작성부터 데이터베이스 아키텍처 설계에 이르기까지 다양한 작업을 요청합니다. 비용과 성능이 서로 다른 여러 모델을 사용할 수 있으며, 각 요청에 맞는 적절한 모델을 선택하고자 합니다.

ai_decide를 사용하여 프롬프트의 추론 수준과 난이도를 파악합니다. 그런 다음 해당 요청을 그에 맞는 모델로 라우팅합니다.

response.answers의 결과 예시:

평가자(judge)를 통해 AI가 생성한 답변 평가

AI 지원 어시스턴트를 운영하는 온라인 소매업체라고 가정해 보겠습니다. 새 버전을 출시하기 전에 환불 정책에 따라 답변을 평가하려고 합니다. 일련의 고객 질문, 생성된 답변, 참조 정책이 준비되어 있습니다.

ai_decide를 평가자로 사용하여 답변이 정책을 준수하는지 확인하고, 고객의 요청을 얼마나 완벽하게 해결하는지 점수를 매깁니다.

다음은 response.answers를 보여주는 결과 행의 예시입니다:

실시간 애플리케이션에서 다음 작업 결정

ai_decide는 1초도 안 되는 짧은 시간 내에 의사결정을 반환하므로, 각 의사결정이 바로 직전의 상태에 따라 달라지는 실시간 애플리케이션을 구동하기에 충분히 빠릅니다.

이를 시연하기 위해 Databricks Apps에서 호스팅되는 스네이크 게임의 라이브 데모를 제작했습니다. ai_decide가 게임을 플레이합니다. 매 틱마다 앱은 현재 보드 상태를 ai_decide에 전송하고, 스네이크가 다음에 어느 방향으로 움직여야 하는지 묻습니다.

전체 의사결정 루프가 1초도 안 되는 짧은 시간 내에 완료되므로, 에이전트나 애플리케이션이 내려야 하는 모든 실시간 의사결정(호출할 도구, 선택할 분기, 다음에 수행할 작업 등)의 배후에 ai_decide를 배치할 수 있습니다.

시작하기 

ai_decide는 현재 베타 버전으로 제공됩니다. SQL에서 이를 사용하여 거버넌스가 적용된 데이터 전반에 대해 대규모로 분류, 점수 매기기 및 의사결정을 수행하거나, REST API를 호출하여 실시간 애플리케이션 및 에이전트에 빠른 의사결정 기능을 추가해 보세요. 관리형 기능 외에도 개방형 가중치(open-weight) 의사결정 모델의 생태계가 광범위하게 성장하고 있으며, Databricks의 SQL에서 이들 모델을 직접 서빙하고 실행할 수 있습니다. 최근 공개된 open-Jev 연습 가이드는 여기에서 확인하실 수 있습니다.

자세한 내용은 ai_decide SQL 문서를 확인하거나 REST API로 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)