Anunciamos la GA del uso compartido de modelos de IA

Un agradecimiento especial a Daniel Benito (CTO, Bitext), Antonio Valderrabanos (CEO, Bitext), Chen Wang (arquitecto de soluciones principal, AI21 Labs), Robbin Jang (gerente de alianzas, AI21 Labs) y Alex Godfrey (líder de marketing de socios, AI21 Labs) por sus valiosas ideas y contribuciones a este blog

Nos complace compartir la disponibilidad general del intercambio de modelos de AI dentro de Databricks Delta Sharing y Databricks Marketplace. Este hito sigue al anuncio de la vista previa pública en enero de 2024. Desde el lanzamiento de la vista previa pública, hemos trabajado con nuevos clientes y proveedores de intercambio de modelos de AI como Bitext, AI21 Labs y Ripple para simplificar aún más el intercambio de modelos de AI.

Puedes compartir y servir fácilmente modelos de AI de forma segura con Delta Sharing. El intercambio puede realizarse dentro de tu organización o externamente a través de nubes, plataformas y regiones. Además, Databricks Marketplace ahora cuenta con más de 75 modelos de AI, incluidos nuevos modelos de AI específicos de la industria de John Snow Labs, OLA Krutrim y Bitext, así como modelos fundacionales como Databricks DBRX, Llama 3, AI21 Labs, Mistral y varios otros. En este blog, revisaremos la necesidad comercial del intercambio de modelos de AI y profundizaremos en los casos de uso impulsados por el modelo fundacional Jamba 1.5 Mini de AI21 y los modelos de Bitext.

Los modelos de AI también están disponibles de forma inmediata en Unity Catalog, lo que agiliza el proceso para que los usuarios accedan e implementen modelos de manera eficiente. Este desarrollo no solo simplifica la experiencia del usuario, sino que también mejora la accesibilidad de los modelos de AI, lo que permite una integración e implementación fluidas en diversas plataformas y regiones.

3 beneficios del intercambio de modelos de AI

Estos son los 3 beneficios del intercambio de modelos de AI con Databricks que vimos con los primeros usuarios y socios de lanzamiento:

1. Menor costo: El intercambio de modelos de AI con Delta Sharing reduce el costo total de propiedad al minimizar los gastos de adquisición, desarrollo e infraestructura. Las organizaciones pueden acceder a modelos preconstruidos o de terceros, ya sea compartidos a través de Delta Sharing o desde Databricks Marketplace, lo que reduce la inversión inicial y el tiempo de desarrollo. Compartir modelos con Delta Sharing a través de nubes y plataformas optimiza el uso de la infraestructura, lo que reduce la redundancia y los gastos, al tiempo que se implementan los modelos más cerca de los usuarios finales para minimizar la latencia.
2. Calidad de producción: Delta Sharing te permite adquirir modelos que se adapten a los casos de uso de los clientes y mejorarlos con una única plataforma para todo el ciclo de vida de la AI. Al compartir modelos en la plataforma de Databricks, los clientes obtienen acceso a funciones de gobernanza y AI para llevar cualquier modelo a producción. Esto incluye capacidades de desarrollo de modelos de extremo a extremo, desde el servicio de modelos hasta el ajuste fino, junto con las funciones de seguridad y gestión de Unity Catalog, como el linaje y el monitoreo de Lakehouse, lo que garantiza una alta confianza en los modelos y los datos asociados.
3. Control total: Al trabajar con modelos de terceros, el intercambio de modelos de AI te permite tener un control total sobre los modelos y conjuntos de datos correspondientes. Debido a que Delta Sharing permite a los clientes adquirir paquetes de modelos completos, el modelo y tus datos permanecen en la infraestructura del cliente, bajo su control. No necesitan enviar datos confidenciales a un proveedor que esté sirviendo el modelo en nombre del cliente.

Entonces, ¿cómo funciona el intercambio de modelos de AI?

El intercambio de modelos de AI está impulsado por Delta Sharing. Los proveedores pueden compartir modelos de AI con los clientes, ya sea directamente mediante Delta Sharing o publicándolos en Databricks Marketplace, que también utiliza Delta Sharing.

Delta Sharing facilita el uso de modelos de AI dondequiera que los necesites. Puedes entrenar modelos en cualquier lugar y luego usarlos en cualquier lugar sin tener que moverlos manualmente. Los pesos del modelo (es decir, los parámetros que el modelo de AI ha aprendido durante el entrenamiento) se incorporarán automáticamente al endpoint de servicio (es decir, el lugar donde "vive" el modelo). Esto elimina la necesidad de realizar movimientos de modelos complejos después de cada entrenamiento o ajuste fino del modelo, lo que garantiza una única fuente de verdad y agiliza el proceso de servicio. Por ejemplo, los clientes pueden entrenar modelos en la nube y la región que ofrezca la infraestructura de entrenamiento más económica, y luego servir el modelo en otra región más cercana a los usuarios finales para minimizar la latencia de inferencia (es decir, reducir el tiempo que tarda un modelo de AI en procesar los datos y proporcionar resultados).

Databricks Marketplace, impulsado por Delta Sharing, te permite encontrar y utilizar fácilmente más de 75 modelos de AI. Puedes configurar estos modelos como si estuvieran en tu sistema local, y Delta Sharing los actualiza automáticamente durante la implementación o las actualizaciones. También puedes personalizar los modelos con tus datos para tareas como la gestión de una base de conocimientos. Como proveedor, solo necesitas una copia de tu modelo para compartirla con todos tus clientes de Databricks.

¿Cuál es el impacto comercial?

Desde que se anunció la vista previa pública del intercambio de modelos de AI en enero de 2024, hemos trabajado con varios clientes y socios para garantizar que el intercambio de modelos de AI ofrezca ahorros de costos significativos para las organizaciones.

"Utilizamos modelos de aprendizaje por refuerzo (RL) en algunos de nuestros productos. En comparación con los modelos de aprendizaje supervisado, los modelos de RL tienen tiempos de entrenamiento más largos y muchas fuentes de aleatoriedad en el proceso de entrenamiento. Estos modelos de RL deben implementarse en 3 espacios de trabajo en regiones de AWS independientes. Con el intercambio de modelos, podemos tener un modelo de RL disponible en múltiples espacios de trabajo sin tener que volver a entrenarlo o sin pasos manuales complejos para mover el modelo." —Mihir Mavalankar, ingeniero de Machine Learning, Ripple

Jamba 1.5 Mini de AI21 Labs: llevando modelos de AI de gran contexto a Databricks Marketplace

AI21 Labs, líder en AI generativa y modelos de lenguaje grande, ha publicado Jamba 1.5 Mini, parte de la familia de modelos Jamba 1.5, en Databricks Marketplace. Jamba 1.5 Mini de AI21 Labs introduce un enfoque novedoso para los modelos de lenguaje de AI para uso empresarial. Su innovadora arquitectura híbrida Mamba-Transformer permite una ventana de contexto efectiva de 256K tokens, junto con una velocidad y calidad excepcionales. Con la optimización de Mini para un uso eficiente del cómputo, puede manejar longitudes de contexto de hasta 140K tokens en una sola GPU.

"A AI21 Labs le complace anunciar que Jamba 1.5 Mini ya está en Databricks Marketplace. Con Delta Sharing, las empresas pueden acceder a nuestra arquitectura Mamba-Transformer, que cuenta con una ventana de contexto de 256K, lo que garantiza una velocidad y calidad excepcionales para soluciones de AI transformadoras."—Pankaj Dugar, SVP y GM, AI21 Labs

Una ventana de contexto efectiva de 256K tokens en modelos de AI se refiere a la capacidad del modelo para procesar y considerar 256,000 tokens de texto a la vez. Esto es significativo porque permite que el modelo de AI21 maneje conjuntos de datos grandes y complejos, lo que lo hace particularmente útil para tareas que requieren comprender y analizar información extensa, como documentos largos o flujos de trabajo complejos con gran cantidad de datos, y mejora la etapa de recuperación de cualquier flujo de trabajo basado en RAG. La arquitectura híbrida de Jamba garantiza que la calidad del modelo no se degrade a medida que aumenta el contexto, a diferencia de lo que se suele ver con las ventanas de contexto declaradas de los LLM basados en Transformer.

Echa un vistazo a este videotutorial que demuestra cómo obtener el modelo AI21 Jamba 1.5 Mini de Databricks Marketplace, ajustarlo y servirlo

Casos de uso

La ventana de contexto de 256k de Jamba 1.5 Mini significa que los modelos pueden manejar de manera eficiente el equivalente a 800 páginas de texto en un solo prompt. A continuación, se presentan algunos ejemplos de cómo los clientes de Databricks en diferentes industrias pueden utilizar estos modelos:

1. Procesamiento de documentos: los clientes pueden usar Jamba 1.5 Mini para resumir rápidamente informes largos, contratos o artículos de investigación. Para las instituciones financieras, los modelos pueden resumir informes de ganancias, analizar tendencias del mercado a partir de documentos financieros extensos o extraer información relevante de las declaraciones regulatorias
2. Mejora de los flujos de trabajo de agentes: para los proveedores de atención médica, el modelo puede ayudar en procesos complejos de toma de decisiones médicas al analizar múltiples fuentes de datos de pacientes y proporcionar recomendaciones de tratamiento.
3. Mejora de los procesos de generación aumentada por recuperación (RAG): en los sistemas RAG para empresas de retail, los modelos pueden generar respuestas más precisas y contextualmente relevantes a las consultas de los clientes al considerar una gama más amplia de información de productos e historial de clientes.

Cómo los modelos de AI verticalizados de Bitext en Databricks Marketplace mejoran la incorporación de clientes

Bitext ofrece modelos verticalizados preentrenados en Databricks Marketplace. Estos modelos son versiones del modelo Mistral-7B-Instruct-v0.2 ajustadas para la creación de chatbots, asistentes virtuales y copilotos para el sector de la banca minorista, lo que proporciona a los clientes respuestas rápidas y precisas sobre sus necesidades bancarias. Estos modelos se pueden producir para cualquier familia de modelos fundacionales: GPT, Llama, Mistral, Jamba, OpenELM…

Caso de uso: mejora de la incorporación con AI

Una aplicación líder de trading social estaba experimentando altas tasas de abandono durante la incorporación de usuarios. Aprovechó los modelos bancarios verticalizados preentrenados de Bitext para renovar su proceso de incorporación, transformando los formularios estáticos en una experiencia de usuario conversacional, intuitiva y personalizada.

Bitext compartió el modelo de AI verticalizado con el cliente. Usando ese modelo como base, un científico de datos realizó el ajuste fino inicial con datos específicos del cliente, como las FAQ comunes. Este paso garantizó que el modelo comprendiera los requisitos y el lenguaje únicos de la base de usuarios. A esto le siguió un ajuste fino avanzado con Databricks.

Una vez que el modelo de Bitext estuvo ajustado, se implementó utilizando Databricks AI Model Serving.

1. El modelo ajustado se registró en Unity Catalog
2. Se creó un endpoint.
3. El modelo se implementó en el endpoint

La colaboración estableció un nuevo estándar en la interacción del usuario dentro del sector de las finanzas sociales, mejorando significativamente el compromiso y la retención de los clientes. Gracias al impulso inicial proporcionado por el modelo de AI compartido, toda la implementación se completó en 2 semanas.

Eche un vistazo a la demostración que muestra cómo instalar y ajustar el modelo de AI verticalizado de Bitext desde Databricks Marketplace aquí

"A diferencia de los modelos genéricos que necesitan una gran cantidad de datos de entrenamiento, comenzar con un modelo especializado para un sector específico reduce los datos necesarios para personalizarlo. Esto ayuda a los clientes a implementar rápidamente modelos de AI a medida. Estamos entusiasmados con AI Model Sharing. Nuestros clientes han experimentado una reducción de hasta el 60% en los costos de recursos (menos científicos de datos y menores requisitos computacionales) y hasta un 50% de ahorro en interrupciones operativas (pruebas e implementación más rápidas) con nuestros modelos de AI especializados disponibles en Databricks Marketplace." —Antonio S. Valderrábanos , fundador y CEO de Bitext

Ahorro de costos del enfoque de entrenamiento de modelos en 2 pasos de Bitext

Llamada a la acción

Ahora que el uso compartido de modelos de AI está disponible de forma generalizada (GA) tanto para Delta Sharing como para los nuevos modelos de AI en Databricks Marketplace, lo alentamos a:

• Consulte la sesión “Unlocking new AI use cases” de Data and AI Summit para obtener más información.
• Vea la demostración que explica cómo implementar un modelo de AI preentrenado utilizando Delta Sharing y personalizarlo para sus necesidades específicas.
• Visite Databricks Marketplace para explorar todas las listas de modelos de AI disponibles.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original