Databricks에서 SQL로 open-Jev 실행하기

지난 주말, Jev와 같은 "System One" 의사결정 모델이 출시되었습니다. 이는 개별 선택지 세트로부터 잘 보정된 의사결정을 내릴 수 있는 성장하는 파운데이션 모델 제품군입니다. 이러한 모델은 대개 매우 빠르고 비용도 저렴하여 대규모 데이터에 대한 광범위한 애플리케이션 적용을 가능하게 합니다. 잠재적인 사용 사례는 고객 지원 스크립트 분석부터 데이터 전반에 걸쳐 대규모로 복잡한 의사결정을 적용하는 것까지 다양합니다.

오픈 소스 커뮤니티 또한 Smelf-open-jev부터 Laya, Kev에 이르기까지 이러한 의사결정 모델의 오픈 가중치 버전을 활발히 출시하고 있습니다. 하지만 이러한 모델의 진정한 힘은 대규모 데이터에 접근할 수 있을 때만 발휘됩니다. 오늘 저희는 Databricks에서 오픈 가중치 의사결정 모델을 서빙하고, 거버넌스가 적용된 데이터에서 직접 실행하는 방법을 공유하게 되어 기쁩니다. 심지어 SQL 콘솔이나 Lakeflow의 프로덕션 작업에서 ai_query를 통해 이러한 모델에 직접 액세스할 수도 있습니다. 또한, AI Runtime과 같은 제품을 사용하면 이러한 모델을 맞춤화하거나 사후 학습시켜 특정 기업 환경에 맞게 조정할 수 있습니다.

이 게시글에서는 이러한 모델인  SemIf-OpenJev를 Databricks에서 직접 사용하여 호텔 리뷰를 긍정 또는 부정으로 분류하는 방법을 보여드리겠습니다.

노트북에서 엔드포인트까지

이 워크플로우를 가져오기 가능한 Databricks 노트북으로 패키징했습니다.

시작하는 데는 세 단계만 거치면 됩니다:

1. 모델 이름/스키마 선택
2. Serverless GPU 선택
3. Run All 클릭

이 노트북은 Databricks AI Runtime을 사용하여 GPU 인프라를 설정하거나 관리할 필요 없이 서버리스 온디맨드 GPU 컴퓨팅을 제공합니다.

거기서부터 노트북은 다음을 수행합니다:

• SemIf-OpenJev 모델 파일을 다운로드합니다.
• Express Deployments를 사용하여 모델을 로깅하고 등록합니다.
• GPU Model Serving 엔드포인트를 자동으로 생성합니다.

이 시점이 되면 애플리케이션이나 SQL에서 직접 호출할 수 있는 관리형 엔드포인트 뒤에서 오픈 소스 분류기가 실행됩니다.

ai_query를 사용하여 SQL에서 모델 호출하기

이 설정의 유용한 점 중 하나는 엔드포인트가 표준 chat-completions 인터페이스를 노출할 필요가 없다는 것입니다.

Databricks  ai_query는 임의의 사용자 지정 모델 API를 지원하므로, SQL에서 직접 SemIf의 구조화된 요청 형식을 보낼 수 있습니다.

예를 들어:

이제 Databricks에 이미 저장된 리뷰에 모델을 적용하고, 선택된 분류 및 옵션 확률을 구조화된 열로 다시 가져올 수 있습니다.

시작하기

의사결정 모델은 빠르게 발전하고 있으며, SemIf-OpenJev와 같은 오픈 소스 구현을 통해 이 패턴을 직접 훨씬 쉽게 실험해 볼 수 있습니다.

노트북을 Databricks 작업 공간으로 직접 가져오고, Serverless GPU를 선택한 다음 Run All을 클릭하여 시작하세요. 거기서부터 자체 데이터에 적용해 보고, 자체 의사결정 기준을 적용해 보며, 이 패턴이 애플리케이션의 어디에 적합한지 확인해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)