Servindo modelo
Implantação e governança unificadas para todos os modelos de IA
Introdução
O Databricks Model Serving é um serviço unificado para implantar, governar, consultar e monitorar modelos ajustados ou pré-implantados pela Databricks, como Llama 2, MosaicML MPT ou BGE, ou de qualquer outro provedor de modelos, como Azure OpenAI, AWS Bedrock, AWS SageMaker e Anthropic. Nossa abordagem unificada facilita a experimentação e a produção de modelos de qualquer nuvem ou provedor para encontrar o melhor candidato para seu aplicativo em tempo real. Você pode fazer testes A/B de diferentes modelos e monitorar a qualidade do modelo em dados de produção em tempo real depois que eles forem implantados. O Model Serving também tem modelos pré-implantados, como o Llama2 70B, permitindo começar a desenvolver aplicativos de IA, como geração aumentada de recuperação (RAG), e fornecer acesso pago por token ou compute pago por provisionamento para garantir o throughput.
Citações de clientes
Implantação simplificada para todos os modelos de IA
Implante qualquer tipo de modelo, desde modelos de código aberto pré-treinados até modelos personalizados construídos em seus próprios dados, tanto na CPU quanto na GPU. A construção automatizada de contêineres e o gerenciamento de infraestrutura reduzem os custos de manutenção e aceleram a implantação para você se concentrar na criação de projetos de IA e na entrega de valor mais rapidamente para seus negócios.
Gerenciamento unificado para todos os modelos
Gerencie todos os modelos, incluindo modelos de ML personalizados, como PyFunc, scikit-learn e LangChain, modelos de fundação (FMs) no Databricks, como Llama 2, MPT e BGE, e modelos básicos hospedados em outros locais, como ChatGPT, Claude 2, Cohere e Stable Diffusion. O Model Serving torna todos os modelos acessíveis em uma interface de usuário e API unificadas, incluindo modelos hospedados pela Databricks ou de outro provedor de modelos no Azure e AWS.
Governança incorporada
Atenda aos rigorosos requisitos de segurança e governança, pois é possível impor permissões adequadas, monitorar a qualidade do modelo, definir limites de taxa e rastrear a linhagem em todos os modelos, estejam eles hospedados pela Databricks ou em qualquer outro provedor de modelos.
Modelos baseados em dados
Acelere as implementações e reduza os erros por meio da integração profunda com a plataforma de inteligência de dados. Você pode hospedar facilmente vários modelos de IA generativa, ampliados (RAG) ou aperfeiçoados com seus dados corporativos. O Model Serving oferece pesquisas automatizadas, monitoramento e governança em todo o ciclo de vida da IA.
Econômico
Disponibilize modelos como uma API de baixa latência em um serviço serverless altamente disponível com suporte de CPU e GPU. Dimensione sem esforço a partir do zero para atender às suas necessidades mais críticas, e reduza a escala quando os requisitos mudarem. Você pode começar rapidamente com um ou mais modelos pré-implantados e cargas de trabalho de compute pagas por token (sob demanda, sem compromissos) ou pagas por provisionamento para obter throughput garantido. A Databricks cuidará do gerenciamento da infraestrutura e dos custos de manutenção, para que você possa se concentrar em gerar valor comercial.
Comece a usar estes recursos
Blog
Documentação
e-books
