Model Serving
Implementación y gobernanza unificadas para todos los modelos y agentes de IA
¿Qué es Databricks Model Serving?
Databricks Model Serving proporciona a las empresas una solución sólida para implementar modelos clásicos de aprendizaje automático, modelos de IA generativa y agentes de IA. Es compatible con modelos propietarios como Azure OpenAI, AWS Bedrock y Anthropic, así como con modelos de código abierto como Llama y Mistral. Los clientes también pueden ofrecer modelos de código abierto ajustados o modelos de aprendizaje automático clásicos entrenados con sus propios datos. Los clientes pueden utilizar fácilmente los modelos servidos como endpoints en sus flujos de trabajo, como inferencias por lotes a gran escala o aplicaciones en tiempo real. Model Serving también incluye gobernanza, linaje y supervisión integrados para garantizar resultados de alta calidad.
Qué dicen los clientes sobre Databricks Model Serving
Implementación simplificada para todos los modelos y agentes de IA
Implementa cualquier tipo de modelo, desde modelos de código abierto previamente entrenados hasta modelos personalizados creados a partir de tus propios datos, tanto en CPU como en GPU. La creación automatizada de contenedores y la gestión de infraestructura reducen los costos de mantenimiento y aceleran la implementación para que puedas centrarse en crear tus sistemas de agentes de IA y ofrecer valor más rápidamente a tu empresa.
Gestión unificada para todos los modelos
Gestiona todos los modelos, incluidos los modelos de aprendizaje automático personalizados como PyFunc, scikit-learn y LangChain; los modelos básicos (FM) en Databricks como Llama 3, MPT y BGE; y los modelos básicos alojados en otros sitios como ChatGPT, Claude 3, Cohere y Stable Diffusion. Model Serving permite acceder a todos los modelos en una interfaz de usuario y una API unificadas, incluidos los modelos alojados en Databricks o en otro proveedor de modelos en Azure o AWS.
Inferencia por lotes con AI Functions
Model Serving permite inferencias de IA eficientes y sin servidor en grandes conjuntos de datos en todos los tipos de datos y modelos. Integra perfectamente con Databricks SQL, Notebooks y Workflows para aplicar IA a escala. Con AI Functions, ejecuta inferencias por lotes a gran escala al instante, sin necesidad de gestionar infraestructura, lo que garantiza velocidad, escalabilidad y gobernabilidad.
Gobernanza integrada con Unity Gateway
Integración con Unity Gateway para cumplir con los estrictos requisitos de seguridad y gobernanza avanzada. Puedes aplicar los permisos adecuados, supervisar la calidad del modelo, establecer límites de velocidad y realizar un seguimiento del linaje en todos los modelos, independientemente de si están alojados en Databricks o en cualquier otro proveedor de modelos.
Hospeda modelos RAG y ajustados con precisión creados a partir de tus datos
Acelera las implementaciones y reduce los errores mediante una integración profunda con la plataforma de datos + IA. Puedes alojar fácilmente varios modelos clásicos de aprendizaje automático y de inteligencia artificial generativa, aumentados (RAG) o ajustados con precisión con sus datos empresariales. Model Serving ofrece búsquedas automatizadas, supervisión y gobernanza en todo el ciclo de vida de la IA.
Precios de pago por token o de rendimiento aprovisionado
Sirve modelos como API de baja latencia en un servicio sin servidor de alta disponibilidad con soporte tanto para CPU como para GPU. Escala sin esfuerzo desde cero para satisfacer tus necesidades más críticas y reduce el tamaño a medida que cambien los requisitos. Puedes comenzar rápidamente con uno o varios modelos preimplementados y cargas de trabajo informáticas de pago por token (bajo demanda sin compromisos) o de pago por aprovisionamiento para obtener un rendimiento garantizado. Databricks se encargará de la gestión de infraestructura y de los costos de mantenimiento, para que tú puedas centrarte en ofrecer valor empresarial.
Empezar con estos recursos
Publicaciones de blog sobre Databricks Model Serving
Documentación de Databricks Model Serving
Libros electrónicos sobre MLOps, RAG y ajuste fino de LLM
Preguntas frecuentes
Databricks Model Serving es una solución de implementación y gobernanza unificada para modelos de aprendizaje automático clásicos, modelos de IA generativa y agentes de IA. Es compatible con modelos propietarios como Azure OpenAI, AWS Bedrock y Anthropic, así como con modelos de código abierto como Llama y Mistral, y te permite servir modelos de código abierto ajustados o modelos de aprendizaje automático clásicos entrenados con tus propios datos. Los modelos servidos se pueden utilizar como endpoints para inferencias por lotes a gran escala o aplicaciones en tiempo real, con gobernanza, linaje y supervisión integrados para ayudar a garantizar resultados de alta calidad.