Servindo modelo
Implantação e governança unificadas para todos os modelos de IA
Introdução
O Databricks Model Serving é um serviço unificado para implantar, governar, consultar e monitorar modelos ajustados ou pré-implantados pela Databricks, como Llama 2, MosaicML MPT ou BGE, ou de qualquer outro provedor de modelos, como Azure OpenAI, AWS Bedrock, AWS SageMaker e Anthropic. Nossa abordagem unificada facilita a experimentação e a produção de modelos de qualquer nuvem ou provedor para encontrar o melhor candidato para seu aplicativo em tempo real. Você pode fazer testes A/B de diferentes modelos e monitorar a qualidade do modelo em dados de produção em tempo real depois que eles forem implantados. O Model Serving também tem modelos pré-implantados, como o Llama2 70B, permitindo começar a desenvolver aplicativos de IA, como geração aumentada de recuperação (RAG), e fornecer acesso pago por token ou compute pago por provisionamento para garantir o throughput.
Citações de clientes
Implantação simplificada para todos os modelos de IA
Implante qualquer tipo de modelo, desde modelos de código aberto pré-treinados até modelos personalizados construídos em seus próprios dados, tanto na CPU quanto na GPU. A construção automatizada de contêineres e o gerenciamento de infraestrutura reduzem os custos de manutenção e aceleram a implantação para você se concentrar na criação de projetos de IA e na entrega de valor mais rapidamente para seus negócios.
Gerenciamento unificado para todos os modelos
Gerencie todos os modelos, incluindo modelos de ML personalizados, como PyFunc, scikit-learn e LangChain, modelos de fundação (FMs) no Databricks, como Llama 2, MPT e BGE, e modelos básicos hospedados em outros locais, como ChatGPT, Claude 2, Cohere e Stable Diffusion. O Model Serving torna todos os modelos acessíveis em uma interface de usuário e API unificadas, incluindo modelos hospedados pela Databricks ou de outro provedor de modelos no Azure e AWS.
Effortless batch inference
Model Serving enables efficient, serverless AI inference on large datasets across all data types and models. Seamlessly integrate with Databricks SQL, Notebooks and Workflows to apply AI at scale. With AI Functions, execute large-scale batch inference instantly— without infrastructure management— ensuring speed, scalability and governance.
Governança incorporada
Atenda aos rigorosos requisitos de segurança e governança, pois é possível impor permissões adequadas, monitorar a qualidade do modelo, definir limites de taxa e rastrear a linhagem em todos os modelos, estejam eles hospedados pela Databricks ou em qualquer outro provedor de modelos.
Modelos baseados em dados
Acelere as implementações e reduza os erros por meio da integração profunda com a plataforma de inteligência de dados. Você pode hospedar facilmente vários modelos de IA generativa, ampliados (RAG) ou aperfeiçoados com seus dados corporativos. O Model Serving oferece pesquisas automatizadas, monitoramento e governança em todo o ciclo de vida da IA.
Econômico
Disponibilize modelos como uma API de baixa latência em um serviço serverless altamente disponível com suporte de CPU e GPU. Dimensione sem esforço a partir do zero para atender às suas necessidades mais críticas, e reduza a escala quando os requisitos mudarem. Você pode começar rapidamente com um ou mais modelos pré-implantados e cargas de trabalho de compute pagas por token (sob demanda, sem compromissos) ou pagas por provisionamento para obter throughput garantido. A Databricks cuidará do gerenciamento da infraestrutura e dos custos de manutenção, para que você possa se concentrar em gerar valor comercial.
Comece a usar estes recursos
Blog
Documentação
e-books
