Disponibilização de modelos
Implantação e governança unificadas para todos os modelos e agentes de IA
O que é o Databricks Model Serving?
O Databricks Model Serving (disponibilização de modelos) oferece às empresas uma solução robusta para implantar modelos clássicos de ML, modelos de IA generativa e agentes de IA. Ele é compatível com modelos proprietários, como Azure OpenAI, AWS Bedrock e Anthropic, além de modelos de código aberto, como Llama e Mistral. Os clientes também podem oferecer modelos de código aberto com ajuste fino ou modelos de ML clássicos treinados com seus próprios dados. Os clientes podem usar facilmente os modelos oferecidos como endpoints em seus fluxos de trabalho, como inferência em lote em larga escala ou aplicativos em tempo real. O Model Serving também vem com governança, linhagem e monitoramento integrados para garantir resultados de alta qualidade.
O que os clientes dizem sobre o Databricks Model Serving
Implantação simplificada para todos os modelos e agentes de IA
Implante qualquer tipo de modelo, desde modelos de código aberto pré-treinados até modelos personalizados construídos em seus próprios dados, tanto em CPUs quanto em GPUs. A construção automatizada de contêineres e o gerenciamento de infraestrutura reduzem os custos de manutenção e aceleram a implantação para que você possa se concentrar na criação de seus sistemas de agentes de IA e na entrega de valor mais rapidamente para sua empresa.
Gerenciamento unificado para todos os modelos
Gerencie todos os modelos, incluindo modelos de ML personalizados, como PyFunc, scikit-learn e LangChain, modelos básicos (FMs) na Databricks, como Llama 3, MPT e BGE, e modelos básicos hospedados em outros lugares, como ChatGPT, Claude 3, Cohere e Stable Diffusion. O Model Serving torna todos os modelos acessíveis em uma interface de usuário e API unificadas, incluindo modelos hospedados pela Databricks ou de outro provedor de modelos no Azure ou AWS.
Inferência em lote com funções de IA
O Model Serving permite uma inferência de IA serverless eficiente em grandes conjuntos de dados em todos os tipos de dados e modelos. Integre-se perfeitamente ao SQL, Notebooks e Workflows da Databricks para aplicar IA em escala. Com o AI Functions, execute inferência em lote em grande escala instantaneamente, sem gerenciamento de infraestrutura, garantindo velocidade, escalabilidade e governança.
Governança integrada com o Unity Gateway
Integre-se ao Unity Gateway para atender aos rigorosos requisitos de segurança e governança avançados. Você pode impor as permissões adequadas, monitorar a qualidade do modelo, definir limites de taxa e rastrear a linhagem em todos os modelos, estejam eles hospedados pela Databricks ou em qualquer outro provedor de modelos.
Hospede modelos RAG e ajustados com base em seus dados
Acelere as implantações e reduza os erros por meio da integração profunda com a plataforma de dados + IA. Você pode hospedar facilmente vários modelos clássicos de ML e IA generativa, ampliados (RAG) ou aperfeiçoados com seus dados corporativos. O Model Serving oferece pesquisas automatizadas, monitoramento e governança em todo o ciclo de vida da IA.
Preços de pagamento por token ou de throughput provisionado
Sirva modelos como uma API de baixa latência em um serviço serverless altamente disponível com suporte de CPU e GPU. Dimensione facilmente do zero para atender às suas necessidades mais críticas — e reduza a escala à medida que os requisitos mudam. Você pode começar rapidamente com um ou mais modelos pré-implantados e cargas de trabalho de computação pagas por token (sob demanda, sem compromissos) ou pagamento por provisionamento para garantir o throughput. A Databricks cuidará do gerenciamento da infraestrutura e dos custos de manutenção, para que você possa se concentrar em gerar valor comercial.
Comece a usar estes recursos
Publicações no blog sobre Databricks Model Serving
Documentação sobre veiculação de modelos do Databricks
eBooks sobre MLOps, RAG e ajuste fino de LLM
Perguntas Frequentes
O Databricks Model Serving é uma solução unificada de implantação e governança para modelos clássicos de ML, modelos de IA generativa e agentes de IA. Ele oferece suporte a modelos proprietários, como Azure OpenAI, AWS Bedrock e Anthropic, bem como modelos de código aberto, como Llama e Mistral, e permite que você ofereça modelos de código aberto ajustados ou modelos de ML clássicos treinados com seus próprios dados. Os modelos servidos podem ser usados como endpoints para inferência em lotes em grande escala ou aplicativos em tempo real, com governança, linhagem e monitoramento integrados para ajudar a garantir resultados de alta qualidade.