Databricks AI Runtime y NVIDIA facilitan la personalización de modelos abiertos con datos empresariales

Las GPU impulsan las cargas de trabajo de AI más avanzadas de la actualidad, desde modelos de lenguaje de vanguardia hasta sistemas y agentes de AI multimodales. Cada vez más, las empresas adaptan modelos abiertos a sus propios datos y necesidades de negocio. Pero garantizar el acceso a las GPU es solo una parte del desafío. Los equipos también necesitan configurar trabajos de entrenamiento, gobernar el acceso a los datos y gestionar la infraestructura de GPU, lo que deja menos tiempo para experimentar con modelos y evaluar qué tan bien responden a las necesidades del negocio.

Databricks y NVIDIA ofrecen un camino fluido desde los datos empresariales hasta modelos de AI personalizados, desde el ajuste fino de modelos más pequeños hasta el entrenamiento distribuido a gran escala. A través de Unity Gateway, Databricks proporciona a los desarrolladores acceso gobernado a modelos de frontera y de código abierto. Para los equipos que necesitan personalizar modelos, AI Runtime (AIR) aporta el ecosistema de software de AI y las GPU serverless de NVIDIA a los datos empresariales. Los equipos pueden experimentar, realizar ajustes finos y evaluar modelos en AIR, y luego desplegarlos para inferencia en tiempo real a través de Databricks Model Serving, todo dentro de Databricks, con menos trabajo de infraestructura y gobernanza que gestionar.

Hoy en GTC Berlin, Databricks y NVIDIA amplían su colaboración para que a las empresas les resulte más fácil personalizar modelos abiertos. Databricks AIR ya está disponible para el público general: los desarrolladores pueden usar NVIDIA NeMo, contenedores NGC y nuevos libros de recetas de Nemotron para entrenar y ajustar modelos abiertos en GPU NVIDIA serverless. Juntas, estas capacidades ofrecen a los equipos más flexibilidad para adaptar los modelos a tareas específicas del negocio y ponerlos a trabajar en aplicaciones y agentes.

AI Runtime ha desbloqueado el entrenamiento de modelos y el aprendizaje por refuerzo en datos empresariales que tradicionalmente estaban fuera del alcance de los ingenieros de machine learning. Con AI Runtime y el ecosistema de software de AI de NVIDIA, los equipos pueden especializar modelos de pesos abiertos como Nemotron para sus casos de uso personalizados y contexto de negocio. Con un acceso gobernado a los datos, facilidad de uso para el entrenamiento a gran escala y Genie Code para la depuración automatizada, AI Runtime acelerará el auge de los modelos personalizados en las empresas.—Hanlin Tang, CTO para Redes Neuronales, Databricks

Los agentes son más valiosos cuando se basan en el funcionamiento real de una empresa: sus datos, flujos de trabajo y experiencia. NVIDIA y Databricks están llevando modelos abiertos como Nemotron y Kumo directamente a los datos empresariales gobernados, ofreciendo a los equipos los modelos, las herramientas y el cómputo acelerado para crear agentes especializados capaces de razonar sobre el conocimiento de la empresa, predecir lo que vendrá después y tomar medidas.—Pat Lee, VP de Alianzas Estratégicas, NVIDIA

Entrene y realice ajustes finos más rápido con AI Runtime 

AIR ofrece GPU NVIDIA serverless para entrenamiento y ajuste fino, de modo que los desarrolladores pueden ejecutar su código y contenedores existentes a escala sin gestionar infraestructura de GPU. Gracias a la compatibilidad con el entrenamiento distribuido multinodo, los equipos pueden escalar cargas de trabajo más grandes en nodos de GPU. NVIDIA Quantum InfiniBand proporciona redes de alto ancho de banda y baja latencia con acceso directo a memoria remota (RDMA), mientras que NVIDIA Collective Communications Library (NCCL) se encarga de la comunicación entre GPU. Databricks gestiona los clústeres y las redes subyacentes.

Por ejemplo, una empresa que cree un agente de soporte técnico podría comenzar con un modelo abierto NVIDIA Nemotron y realizar un ajuste fino en tickets de soporte etiquetados usando NVIDIA NeMo en AIR. El equipo podría experimentar con diferentes enfoques de entrenamiento y usar MLflow para realizar el seguimiento de los resultados a medida que adaptan el modelo a sus flujos de trabajo de soporte específicos.

Los desarrolladores pueden preparar datos de Lakehouse y experimentar en notebooks impulsados por GPU o mediante la CLI de AIR, utilizando una carga de datos de alto rendimiento y entornos estándar que incluyen PyTorch y CUDA. Pueden usar marcos de entrenamiento distribuido o aportar sus propias bibliotecas y bucles de entrenamiento personalizados.

Cuando los experimentos están listos para una ejecución repetible, Lakeflow Jobs puede orquestar el entrenamiento junto con la preparación de datos anterior y la evaluación posterior, convirtiendo ejecuciones individuales en flujos de trabajo repetibles. Declarative Automation Bundles admite CI/CD para desplegar y actualizar dichos flujos de trabajo.

MLflow realiza el seguimiento de los experimentos de entrenamiento y la utilización de las GPU, lo que ayuda a los equipos a comparar los resultados de los modelos y el rendimiento del cómputo. Unity Catalog gobierna el acceso a los datos de entrenamiento, y las tablas del sistema nativas brindan visibilidad sobre el uso de CPU y GPU. Juntas, estas integraciones permiten a los equipos usar los datos, la gobernanza y las herramientas operativas en las que ya confían en Databricks.

Acelere las cargas de trabajo con el software de AI de NVIDIA

Entrenar y realizar ajustes finos en modelos de deep learning requiere algo más que cómputo de GPU: los equipos también necesitan flexibilidad en sus marcos de trabajo, bibliotecas y entornos. AIR ahora admite Docker y registros privados, lo que permite a los desarrolladores llevar entornos en contenedores personalizados a sus cargas de trabajo de GPU.

Los desarrolladores pueden usar contenedores optimizados para GPU del catálogo NGC de NVIDIA con el Databricks Artifact Registry para incorporar el software de NVIDIA a AIR. El almacenamiento en caché del entorno ayuda a que estas cargas de trabajo comiencen rápidamente, reduciendo la sobrecarga de configuración a medida que los equipos iteran en el código de entrenamiento y vuelven a ejecutar experimentos.

Los desarrolladores también pueden instalar herramientas de generación de perfiles de NVIDIA para examinar la ejecución de GPU e investigar los cuellos de botella en el rendimiento. Junto con las métricas de utilización de GPU rastreadas en MLflow, estas herramientas ayudan a los equipos a comprender dónde dedican tiempo las cargas de trabajo de entrenamiento e identificar oportunidades para mejorar el rendimiento. Los equipos pueden ajustar su software y código de entrenamiento mientras AIR gestiona la infraestructura de GPU subyacente.

AIR admite la personalización más allá de los LLM, incluido un flujo de trabajo de ajuste fino validado para NVIDIA Kumo Anomaly, un modelo de investigación abierto para la detección de anomalías en series temporales, con seguimiento de MLflow y puntos de control de Unity Catalog. Esto respalda la visión de Agent Knowledge Foundation de NVIDIA para crear una capa de conocimiento de agentes. Combinar Kumo-Anomaly con Genie Ontology ofrece un camino hacia agentes conscientes del contexto que conectan patrones inusuales en datos de series temporales con el significado empresarial para ayudar a guiar los siguientes pasos.

Personalice y sirva modelos de Nemotron

Con el lanzamiento de Nemotron 3.5 Lightning y Super VL, los clientes de Databricks pueden cargar, experimentar, adaptar y servir estos modelos en Databricks desde el primer día. 

AIR admite la personalización de modelos con NVIDIA NeMo y NeMo Automodel, lo que permite a los equipos usar las herramientas y marcos de NVIDIA en GPU NVIDIA serverless. En el ejemplo del agente de soporte técnico, esto significa que los desarrolladores podrían usar estas herramientas para ajustar Nemotron en tickets de soporte históricos, lo que ayuda al modelo a comprender mejor los productos, la terminología y los flujos de trabajo de solución de problemas específicos de la empresa. El entrenamiento permanece conectado a los datos empresariales y flujos de trabajo en Databricks.

Genie Code también puede ayudar a los desarrolladores a redactar y adaptar el script de entrenamiento directamente en un notebook. Los desarrolladores pueden describir los cambios que necesitan, solicitar ayuda para configurar una ejecución de ajuste fino y solucionar los errores a medida que surjan. Pueden revisar y depurar el código sugerido antes de ejecutarlo en GPU NVIDIA serverless.

Para el ajuste fino, AIR combina la carga optimizada de datos, puntos de control y entrenamiento con herramientas integradas de observabilidad y depuración. Los desarrolladores pueden realizar el seguimiento de experimentos y métricas de GPU en MLflow y utilizar Genie Code para:

• Depurar el código del modelo e investigar errores de entrenamiento.
• Identificar cuellos de botella en el rendimiento de las GPU, incluidos problemas de memoria y sobrecarga de comunicación.
• Aplicar la guía específica de NVIDIA sobre CUDA, cuDNN, NCCL y herramientas de generación de perfiles.

Tras el ajuste fino y la evaluación, los equipos pueden desplegar modelos personalizados en producción a través de Databricks Model Serving. En nuestro ejemplo de soporte técnico, el modelo Nemotron ajustado podría impulsar un agente que interprete las solicitudes de soporte entrantes y genere respuestas basadas en los productos de la empresa y en los flujos de trabajo de resolución de problemas. Esto completa el flujo de trabajo desde la personalización del modelo en GPU NVIDIA serverless hasta la inferencia en tiempo real.

Comience a utilizar Databricks AI Runtime y NVIDIA

Para obtener más información, visite nuestra página web, documentación de AIR y explore los cookbooks de Nemotron 3.5 SuperVL y Nemotron 3.5 Lightning para comenzar con el entrenamiento en GPU y el ajuste fino en Databricks.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original