모델 제공
모든 AI 모델과 에이전트를 위한 통합 배포 및 거버넌스
소개
Databricks Model Serving은 기업에 고전적인 ML 모델, 생성형 AI 모델 및 AI 에이전트를 배포하기 위한 강력한 솔루션을 제공합니다. Azure OpenAI, AWS Bedrock, Anthropic과 같은 독점 모델뿐만 아니라 Llama 및 Mistral과 같은 오픈 소스 모델도 지원합니다. 고객은 미세 조정된 오픈 소스 모델이나 자체 데이터로 학습된 고전적인 ML 모델을 서빙할 수도 있습니다. 고객은 대규모 배치 추론 또는 실시간 애플리케이션과 같은 워크플로에서 서빙된 모델을 Endpoint로 쉽게 사용할 수 있습니다. 또한 Model Serving에는 고품질 출력을 보장하기 위한 거버넌스, 리니지, 모니터링이 기본 내장되어 있습니다.
고객 평가
모든 AI 모델 및 에이전트를 위한 간소화된 배포
CPU와 GPU를 모두 포함하여 사전 훈련된 오픈 소스 모델부터 자체 데이터를 기반으로 구축된 사용자 지정 모델에 이르기까지 모든 모델 유형을 배포할 수 있습니다. 컨테이너 구축 및 인프라 관리 자동화를 통해 유지 관리 비용을 절감하고 배포 속도를 높여 AI 프로젝트를 구축하고 비즈니스에 필요한 가치를 빠르게 창출하는 데 집중할 수 있습니다.
모든 모델에 대한 관리 통합
사용자 정의 ML 모델(예: PyFunc, scikit-learn, LangChain), Databricks의 기초 모델(예: Llama 2, MPT, BGE), 다른 곳에서 호스팅되는 파운데이션 모델(ChatGPT, Claude 2, Cohere, Stable Diffusion)을 포함한 모들 모델을 관리합니다. Model Serving을 사용하면 Databricks에서 호스팅하거나 Azure 및 AWS 기반의 다른 모델 공급자에서 호스팅하는 모델을 포함하여 통합 사용자 인터페이스 및 API에서 모든 모 델에 액세스할 수 있습니다.
손쉬운 배치 추론
모델 서빙은 모든 데이터 유형과 모델에 걸쳐 대규모 데이터 세트에서 효율적인 서버리스 AI 추론을 지원합니다. Databricks SQL, 노트북 및 워크플로와 원활하게 통합하여 AI를 대규모로 적용할 수 있습니다. AI Functions를 사용하면 인프라 관리 없이 대규모 배치 추론을 즉시 실행하여 속도, 확장성, 거버넌스를 보장할 수 있습니다.
거버넌스 기본 내장
Mosaic AI 게이트웨이와 통합하여 엄격한 보안 및 고급 거버넌스 요구 사항을 충족하세요. 모델이 Databricks에서 호스팅되든 다른 모델 제공업체에서 호스팅되든 상관없이 모든 모델에 걸쳐 적절한 권한을 적용하고, 모델 품질을 모니터링하며, 속도 제한을 설정하고, 리니지를 추적할 수 있습니다.
데이터 중심 모델
데이터 인텔리전스 플랫폼과 긴밀하게 통합하여 배포를 가속화하고 오류를 줄입니다. 엔터프라이즈 데이터로 증강(RAG) 또는 세부 조정된 다양한 생성형 AI 모델을 쉽게 호스팅할 수 있습니다. Model Serving은 전체 AI 수명 주기에 걸쳐 자동화된 조회, 모니터링, 거버넌스를 제공합니다.
높은 비용 효율성
CPU와 GPU를 모두 지원하는 고가용성 서버리스 서비스에서 지연 시간이 짧은 API로 모델을 제공합니다. 가장 중요한 요구 사항에 따라 처음부터 쉽게 확장하고 필요에 따라 다시 축소합니다. 하나 이상의 사전 배포된 모델로 빠르게 시작하고 토큰당 지불(비약정 온디맨드 방식) 또는 프로비저닝된 컴퓨팅 워크로드당 지불로 처리량을 보장할 수 있습니다. Databricks가 인프라 관리 및 유지 관리 비용을 처리하므로 기업은 비즈니스 가치를 제공하는 데 집중할 수 있습니다.