Crea aplicaciones de IA generativa más rápido con las nuevas capacidades de modelos fundacionales

Tras los anuncios que hicimos la semana pasada sobre la generación aumentada por recuperación (RAG), nos complace anunciar importantes actualizaciones en Model Serving. Databricks Model Serving ahora ofrece una interfaz unificada, que facilita la experimentación, la personalización y la puesta en producción de modelos fundacionales en todas las nubes y con todos los proveedores. Esto significa que puede crear aplicaciones de GenAI de alta calidad utilizando el mejor modelo para su caso de uso, mientras aprovecha de forma segura los datos únicos de su organización.

La nueva interfaz unificada le permite administrar todos los modelos en un solo lugar y consultarlos con una única API, sin importar si están en Databricks o alojados externamente. Además, estamos lanzando las Foundation Model APIs, que le brindan acceso instantáneo a modelos de lenguaje grandes (LLM) populares, como los modelos Llama2 y MPT, directamente desde Databricks. Estas API vienen con opciones de precios bajo demanda, como pago por token o rendimiento aprovisionado, lo que reduce el costo y aumenta la flexibilidad. 

¡Comienza a crear aplicaciones de GenAI hoy mismo! Visita el Databricks AI Playground para probar rápidamente modelos de IA generativa directamente desde tu área de trabajo.

Desafíos de la puesta en producción de modelos fundacionales

El software ha revolucionado todas las industrias, y creemos que la IA pronto transformará el software existente para hacerlo más inteligente. Las implicaciones son vastas y variadas, e impactan todo, desde la atención al cliente hasta la salud y la educación. Si bien muchos de nuestros clientes ya han comenzado a integrar la IA en sus productos, llegar a la producción a gran escala aún enfrenta varios desafíos:

• Experimentación con diferentes modelos: cada caso de uso requiere experimentación para identificar el mejor modelo entre varias opciones de código abierto y propietarias. Las empresas necesitan experimentar rápidamente con diferentes modelos, lo que incluye la gestión de credenciales, los límites de frecuencia, los permisos y las sintaxis de consulta de los diferentes proveedores de modelos.
• Falta de contexto empresarial: los modelos de base tienen un amplio conocimiento, pero les falta el conocimiento interno y la experiencia en el dominio. Tal como están, no cumplen por completo los requisitos empresariales únicos.
• Puesta en práctica de modelos: las solicitudes y las respuestas de los modelos deben supervisarse constantemente con fines de calidad, depuración y seguridad. Las diferentes interfaces entre los modelos dificultan su gestión e integración.

Databricks Model Serving: servicio unificado para cualquier modelo fundacional

Model Serving de Databricks ya es utilizado en producción por cientos de empresas para una amplia gama de casos de uso, incluidos los modelos de lenguaje grandes y las aplicaciones de visión. Con la última actualización, simplificamos de forma significativa la consulta, el gobierno y la supervisión de cualquier modelo fundacional.

"Con Databricks Model Serving, podemos integrar IA generativa en nuestros procesos para mejorar la experiencia del cliente y aumentar la eficiencia operativa. Model Serving nos permite implementar modelos de LLM mientras mantenemos el control total sobre nuestros datos y modelos". — Ben Dias, director de Ciencia de Datos y Analítica en easyJet

Acceda a cualquier modelo fundacional 

Databricks Model Serving admite cualquier modelo fundacional, ya sea un modelo totalmente personalizado, un modelo gestionado por Databricks o un modelo fundacional de terceros. Esta flexibilidad le permite elegir el modelo adecuado para el trabajo adecuado, lo que lo mantiene a la vanguardia de los futuros avances en la gama de modelos disponibles. Para hacer realidad esta visión, hoy presentamos dos nuevas capacidades:

• API de modelos fundacionales: las API de modelos fundacionales brindan acceso instantáneo a los modelos fundacionales más populares en Databricks. Estas API eliminan por completo las complicaciones de alojar y desplegar modelos fundacionales, a la vez que garantizan que sus datos permanezcan seguros dentro del perímetro de seguridad de Databricks. Puede empezar a usar las API de modelos fundacionales con un sistema de pago por token, lo que reduce significativamente los costos operativos. Como alternativa, para cargas de trabajo que requieran modelos ajustados o garantías de rendimiento, puede cambiar a Provisioned Throughput (anteriormente conocido como Optimized LLM Serving). Actualmente, las API admiten varios modelos, incluidos los de chat (llama-2-70b-chat), de finalización (mpt-30B-instruct & mpt-7B-instruct) y de embedding (bge-large-en-v1.5). Ampliaremos la oferta de modelos con el tiempo.
• Modelos externos: Los modelos externos (anteriormente AI Gateway) le permiten agregar endpoints para acceder a modelos alojados fuera de Databricks, como los modelos GPT de Azure OpenAI, los modelos Claude de Anthropic o los modelos Bedrock de AWS. Una vez agregados, estos modelos se pueden administrar desde Databricks. 

Además, hemos agregado una lista de modelos fundacionales seleccionados al Marketplace de Databricks, un marketplace abierto para activos de datos e IA, que se pueden ajustar e implementar en Model Serving.

“Las API de Databricks Foundation Model nos permiten consultar modelos abiertos de última generación con solo presionar un botón, lo que nos permite centrarnos en nuestros clientes en lugar de gestionar la computación. Hemos estado usando múltiples modelos en la plataforma y nos ha impresionado la estabilidad y confiabilidad que hemos observado hasta ahora, así como el soporte que hemos recibido cada vez que hemos tenido un problema.” — Sidd Seethepalli, CTO y fundador de Vellum

“El producto de API de modelos fundacionales de Databricks fue extremadamente fácil de configurar y usar desde el primer momento, lo que facilitó enormemente nuestros flujos de trabajo de RAG. Nos ha entusiasmado el rendimiento, la capacidad de procesamiento y el precio que hemos visto con este producto, ¡y nos encanta la cantidad de tiempo que nos ha permitido ahorrar!”. - Ben Hills, CEO, HeyIris.AI

Consulte modelos a través de una interfaz unificada 

Databricks Model Serving ahora ofrece una API y un SDK unificados compatibles con OpenAI para consultar fácilmente los modelos fundacionales. También puede consultar modelos directamente desde SQL a través de funciones de IA, lo que simplifica la integración de la IA en sus flujos de trabajo de análisis. Una interfaz estándar permite experimentar y comparar fácilmente. Por ejemplo, podrías empezar con un modelo propietario y luego cambiar a un modelo abierto ajustado para obtener una menor latencia y un menor costo, como se demuestra con la documentación generada por IA de Databricks.

Gobernar y monitorear todos los modelos

La nueva UI y arquitectura de Databricks Model Serving permiten administrar todos los endpoints del modelo, incluidos los alojados externamente, en un solo lugar. Esto incluye la capacidad de administrar permisos, hacer un seguimiento de los límites de uso y monitorear la calidad de todos los tipos de modelos. Por ejemplo, los administradores pueden configurar modelos externos y otorgar acceso a equipos y aplicaciones, lo que les permite consultar modelos a través de una interfaz estándar sin exponer las credenciales. Este enfoque democratiza el acceso a potentes LLM abiertos y de SaaS dentro de una organización, a la vez que proporciona las barreras de protección necesarias.

“Databricks Model Serving acelera nuestros proyectos basados en IA al facilitar el acceso seguro y la gestión de múltiples modelos SaaS y abiertos, incluidos los alojados en Databricks o fuera de Databricks. Su enfoque centralizado simplifica la seguridad y la gestión de costos, lo que permite que nuestros equipos de datos se centren más en la innovación y menos en los gastos administrativos”. — Greg Rokita, vicepresidente adjunto de Tecnología en Edmunds.com

Personalice modelos de forma segura con sus datos privados

Construido sobre una plataforma de inteligencia de datos, Databricks Model Serving facilita la ampliación de la potencia de los modelos fundacionales utilizando técnicas como la generación aumentada por recuperación (RAG), el ajuste fino eficiente en cuanto a parámetros (PEFT) o el ajuste fino estándar. Puedes ajustar modelos fundacionales con datos propios e implementarlos sin esfuerzo en Model Serving. El recién lanzado Databricks Vector Search se integra a la perfección con Model Serving, lo que te permite generar respuestas actualizadas y contextualmente relevantes.

“Con Model Serving de Databricks, desplegamos rápidamente un modelo de GenAI ajustado para Stardog Voicebox, una herramienta de respuesta a preguntas y modelado de datos que democratiza la analítica empresarial y reduce el costo de los grafos de conocimiento. La facilidad de uso, las opciones de despliegue flexibles y la optimización de LLM que ofrece Model Serving de Databricks han acelerado nuestro proceso de despliegue, lo que libera a nuestro equipo para que innove en lugar de gestionar la infraestructura”. — Evren Sirin, CTO y cofundador de Stardog

Empiece ahora con Databricks AI Playground

Visita el AI Playground ahora y comienza a interactuar con potentes modelos fundacionales de inmediato. Con AI Playground, puede usar prompts, comparar y ajustar la configuración, como el prompt del sistema y los parámetros de inferencia, todo sin necesidad de tener conocimientos de programación.

Para obtener más información:

• Explore la documentación de la API de modelos fundacionales y de los modelos externos.
• Descubre modelos fundacionales en Databricks Marketplace
• Inscríbase en un webinar sobre IA generativa de Databricks
• ¿Busca resolver casos de uso de IA generativa? ¡Compite en el Hackathon de IA Generativa de Databricks y AWS! Regístrese aquí
• Vaya a la página web de Model Serving de Databricks