Mosaic AI: Crea y despliega sistemas de agentes de IA de calidad de producción

Durante el último año, hemos visto un aumento de modelos fundacionales comerciales y de código abierto que muestran sólidas capacidades de razonamiento en tareas de conocimiento general. Si bien los modelos generales son un bloque de construcción importante, las aplicaciones de IA de producción a menudo emplean Sistemas de IA Compuestos, que aprovechan múltiples componentes como modelos ajustados, recuperación, uso de herramientas y agentes de razonamiento. Estos sistemas de agentes de IA aumentan los modelos fundacionales para impulsar una mejor calidad y ayudar a los clientes a llevar estas aplicaciones GenAI a producción con confianza. 

Hoy, en el Data and AI Summit, anunciamos varias capacidades nuevas que hacen de Databricks Mosaic AI la mejor plataforma para construir sistemas de agentes de IA de calidad de producción. Estas características se basan en nuestra experiencia trabajando con miles de empresas para poner en producción aplicaciones impulsadas por IA. Los anuncios de hoy incluyen soporte para el ajuste fino de modelos fundacionales, un catálogo empresarial para herramientas de IA, un nuevo SDK para construir, implementar y evaluar agentes de IA, y una puerta de enlace de IA unificada para gobernar servicios de IA implementados.

Con este anuncio, Databricks ha integrado completamente y expandido sustancialmente las capacidades de construcción de modelos incluidas inicialmente en nuestra adquisición de MosaicML hace un año.

Construcción y Despliegue de Sistemas de IA Compuestos

La evaluación de modelos de IA monolíticos a sistemas compuestos es un área activa de investigación académica e industrial. Resultados recientes han encontrado que “los resultados de IA de vanguardia se obtienen cada vez más mediante sistemas compuestos con múltiples componentes, no solo modelos monolíticos”. Estos hallazgos se ven reforzados por lo que vemos en nuestra base de clientes. Tomemos como ejemplo a la firma de investigación financiera FactSet: cuando implementaron un LLM comercial para su caso de uso de Texto a Fórmula Financiera, solo pudieron obtener un 55% de precisión en la fórmula generada; sin embargo, modularizar su modelo en un sistema compuesto les permitió especializar cada tarea y lograr un 85% de precisión. Databricks Mosaic AI admite la construcción de sistemas de IA a través de los siguientes productos:

• Ajuste fino con Databricks Model Training: Ya sea que esté ajustando un modelo en un conjunto de datos pequeño o pre-entrenando un modelo desde cero (como DBRX) con billones de tokens en más de 3000 GPUs, proporcionamos una API administrada y fácil de usar para el entrenamiento de modelos, abstrayendo la infraestructura subyacente. Estamos viendo que nuestros clientes tienen éxito ajustando modelos de código abierto más pequeños para componentes del sistema para reducir costos y latencia, al tiempo que igualan el rendimiento de GPT-4 en tareas empresariales con datos propietarios. Model Training permite a los clientes poseer completamente sus modelos y sus datos, lo que les permite iterar en la calidad.  

Los usuarios solo tienen que seleccionar una tarea y un modelo base, y proporcionar datos de entrenamiento (como una tabla Delta o un archivo .jsonl) para obtener un modelo completamente ajustado que poseen para su tarea especializada

• Shutterstock ImageAI, Potenciado por Databricks: Nuestro socio Shutterstock anunció hoy un nuevo modelo de texto a imagen entrenado exclusivamente en el repositorio de imágenes de clase mundial de Shutterstock utilizando Databricks Model Training. Genera imágenes personalizadas, de alta fidelidad y confiables que se adaptan a necesidades comerciales específicas.
• Mosaic AI Vector Search, ahora con soporte para Claves Gestionadas por el Cliente y Búsqueda Híbrida: Recientemente hicimos que Vector Search estuviera disponible de forma general. Además, Vector Search ahora admite el modelo de incrustación GTE-large, que tiene un buen rendimiento de recuperación y admite una longitud de contexto de 8K. Vector Search ahora también admite Claves Gestionadas por el Cliente para proporcionar un mayor control sobre los datos y admite la búsqueda híbrida para mejorar la calidad de la recuperación.
• Mosaic AI Agent Framework para un desarrollo rápido: Las aplicaciones RAG son la aplicación GenAI más popular que vemos en nuestra plataforma, y hoy estamos emocionados de anunciar la Vista Previa Pública de nuestro Agent Framework. Esto facilita enormemente la construcción de un sistema de IA aumentado con sus datos propietarios, de forma segura y administrado en Unity Catalog.
• Soporte de Databricks Model Serving para agentes; Disponibilidad general de la API de Modelos Fundacionales disponibilidad: Además de los modelos de servicio en tiempo real, los clientes ahora pueden servir agentes y RAG con Model Serving. También estamos haciendo que las API de Modelos Fundacionales estén disponibles de forma general: los clientes pueden usar fácilmente modelos fundacionales, accesibles tanto por pago por token como por throughput aprovisionado para cargas de trabajo de producción.
• Mosaic AI Tool Catalog y Function-Calling: Hoy anunciamos el Mosaic AI Tool Catalog, que permite a los clientes crear un registro empresarial de funciones comunes, internas o externas, y compartir estas herramientas en toda su organización para su uso en aplicaciones de IA. Las herramientas pueden ser funciones SQL, funciones Python, puntos de conexión de modelos, funciones remotas o recuperadores. También hemos mejorado Model Serving para admitir de forma nativa la llamada a funciones, para que los clientes puedan usar modelos populares de código abierto como Llama 3-70B como motor de razonamiento de su agente. 

Databricks Model Serving ahora admite la llamada a funciones y los usuarios pueden experimentar rápidamente con funciones y modelos base en el AI Playground

Evaluación de Sistemas de IA

Los modelos de IA de propósito general se optimizan para benchmarks, como MMLU, pero los sistemas de IA implementados están diseñados para resolver tareas específicas del usuario como parte de un producto más amplio (por ejemplo, responder un ticket de soporte, generar una consulta o sugerir una respuesta). Para asegurarnos de que estos sistemas funcionen bien, es importante tener un marco de evaluación robusto para definir métricas de calidad, recopilar señales de calidad e iterar sobre el rendimiento. Hoy estamos emocionados de anunciar varias herramientas de evaluación nuevas:

• Databricks MLflow para Evaluaciones Automatizadas y Humanas: Agent Evaluation le permite definir cómo se ven las respuestas de alta calidad para su sistema de IA proporcionando ejemplos “dorados” de interacciones exitosas. Una vez que existe este estándar de calidad, puede explorar permutaciones del sistema, ajustar modelos, cambiar la recuperación o agregar herramientas, y comprender cómo los cambios del sistema alteran la calidad. Agent Evaluation también le permite invitar a expertos en la materia de toda su organización, incluso a aquellos sin cuentas de Databricks, a revisar y etiquetar la salida de su sistema de IA para realizar evaluaciones de calidad de producción y construir un conjunto de datos de evaluación extendido. Finalmente, los jueces de LLM proporcionados por el sistema pueden escalar aún más la recopilación de datos de evaluación calificando las respuestas según criterios comunes como precisión o utilidad. Los rastreos de producción detallados pueden ayudar a diagnosticar respuestas de baja calidad.

Databricks MLflow proporciona métricas asistidas por IA para ayudar a los desarrolladores a obtener intuiciones rápidas

Databricks MLflow permite a las partes interesadas, incluso a aquellas fuera de la Plataforma Databricks, evaluar los resultados de los modelos y proporcionar calificaciones para ayudar a iterar en la calidad

• MLflow 2.14: MLflow es un marco agnóstico de modelos para evaluar LLMs y sistemas de IA, lo que permite a los clientes medir y rastrear parámetros en cada paso. Con MLflow 2.14, nos complace anunciar MLflow Tracing. Con Tracing, los desarrolladores pueden registrar cada paso de la inferencia de modelos y agentes para depurar problemas de rendimiento y construir conjuntos de datos de evaluación para probar mejoras futuras. Tracing está estrechamente integrado con Databricks MLflow Experiments, Databricks Notebooks y Databricks Inference Tables, proporcionando información de rendimiento desde el desarrollo hasta la producción.

Corning es una empresa de ciencia de materiales; nuestras tecnologías de vidrio y cerámica se utilizan en muchas aplicaciones industriales y científicas, por lo que comprender y actuar sobre nuestros datos es esencial. Construimos un asistente de investigación de IA utilizando Databricks Mosaic AI Agent Framework para indexar cientos de miles de documentos, incluidos datos de la oficina de patentes de EE. UU. Era extremadamente importante para nosotros que nuestro asistente impulsado por LLM respondiera preguntas con alta precisión, de esa manera, nuestros investigadores podrían encontrar y avanzar en las tareas en las que estaban trabajando. Para implementar esto, utilizamos Databricks Mosaic AI Agent Framework para construir una solución Hi Hello Generative AI aumentada con los datos de la oficina de patentes de EE. UU. Al aprovechar la Plataforma de Inteligencia de Datos de Databricks, mejoramos significativamente la velocidad de recuperación, la calidad de la respuesta y la precisión. — Denis Kamotsky, Ingeniero Principal de Software, Corning

Gobernanza de sus Sistemas de IA

Ante la explosión de modelos fundacionales de vanguardia, hemos visto que nuestra base de clientes adopta rápidamente nuevos modelos: DBRX tuvo mil clientes experimentando con él a las dos semanas de su lanzamiento, y estamos viendo varios cientos de clientes experimentando con los modelos Llama3 lanzados recientemente. Muchas empresas encuentran difícil dar soporte a estos modelos más nuevos en su plataforma dentro de un plazo razonable, y los cambios en las estructuras de prompts y las interfaces de consulta dificultan su implementación. Además, a medida que las empresas abren el acceso a los modelos más recientes y geniales, la gente se entusiasma y crea un montón de cosas, lo que puede convertirse rápidamente en un lío de problemas de gobernanza. Los problemas comunes de gobernanza son los límites de tasa que se alcanzan y afectan a las aplicaciones de producción, los costos crecientes a medida que la gente ejecuta modelos GenAI en tablas grandes, y las preocupaciones sobre fugas de datos a medida que la PII se envía a proveedores de modelos de terceros. Hoy, nos complace anunciar nuevas capacidades en AI Gateway para la gobernanza y un catálogo de modelos curado para habilitar el descubrimiento de modelos. Las características incluidas son:

• Agent Bricks AI Gateway para gobernanza centralizada de IA: Agent Bricks AI Gateway permite a los clientes tener una interfaz unificada para gestionar, gobernar, evaluar y cambiar modelos fácilmente. Se sitúa sobre Model Serving para habilitar la limitación de tasas, permisos y gestión de credenciales para las API de modelos (externas o internas). También proporciona una interfaz única para consultar las API de modelos fundacionales, de modo que los clientes puedan cambiar fácilmente los modelos en sus sistemas y realizar experimentos rápidos para encontrar el mejor modelo para un caso de uso. Gateway Usage Tracking rastrea quién llama a cada API de modelo y las Inference Tables capturan qué datos se enviaron y recibieron. Esto permite a los equipos de plataforma entender cómo cambiar los límites de tasa, implementar el reparto de costos y auditar las fugas de datos.
• Mosaic AI Guardrails: Añada filtrado de seguridad a nivel de endpoint o de solicitud para prevenir respuestas inseguras, o incluso añada filtros de detección de PII para prevenir fugas de datos sensibles.
• system.ai Catalog: Hemos curado una lista de modelos de código abierto de vanguardia que se pueden gestionar en Unity Catalog. Implemente fácilmente estos modelos utilizando las Foundation Model APIs de Model Serving o afínelos con Model Training. Los clientes también pueden encontrar todos los modelos compatibles en la Mosaic AI Homepage yendo a Settings > Developer > Personalized Homepage. 

Databricks Model Serving está acelerando nuestros proyectos impulsados por IA al facilitar el acceso y la gestión seguros de múltiples modelos SaaS y abiertos, incluidos los alojados dentro o fuera de Databricks. Su enfoque centralizado simplifica la gestión de seguridad y costos, permitiendo a nuestros equipos de datos centrarse más en la innovación y menos en la sobrecarga administrativa. — Greg Rokita, AVP, Technology en Edmunds.com

Databricks Mosaic AI potencia a los equipos para construir y colaborar en sistemas de IA compuestos desde una única plataforma con gobernanza centralizada y una interfaz unificada para entrenar, rastrear, evaluar, cambiar y desplegar. Al aprovechar los datos empresariales, las organizaciones pueden pasar del conocimiento general a la inteligencia de datos. Esta evolución permite a las organizaciones obtener insights más relevantes más rápido.

¡Estamos emocionados de ver qué innovaciones construirán nuestros clientes a continuación!

Explore más

• Databricks Mosaic AI
• Documentación

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original