Databricks y NVIDIA: construyendo para la era agéntica

La pila completa de AI, acelerada

La computación acelerada de NVIDIA impulsa algunas de las cargas de trabajo de AI más exigentes en Databricks, desde el entrenamiento a gran escala, el ajuste fino (fine-tuning) y la inferencia hasta soluciones de AI específicas de la industria. Hoy en Data + AI Summit, destacamos cómo la infraestructura de AI de NVIDIA se encuentra en el centro de los nuevos anuncios de Databricks AI Runtime, Model Serving y las soluciones de Industry AI, incluyendo un vistazo a cómo la nueva NVIDIA Vera CPU impulsará la próxima generación de infraestructura agéntica.

"Nuestra asociación con NVIDIA abarca todo el ciclo de vida de la AI. Desde la infraestructura acelerada de NVIDIA que impulsa el entrenamiento distribuido en AI Runtime hasta el software que se ejecuta dentro de nuestras plataformas de servicio y desarrollo. Nos entusiasma combinar la tecnología de NVIDIA con las capacidades de gobernanza y datos de Databricks para ofrecer un valor increíble a nuestros clientes: una AI empresarial que es rápida, escalable y construida sobre una base en la que pueden confiar."— Adam Conway, SVP de Producto de Databricks

“Databricks permite a las empresas crear, implementar, escalar y gobernar agentes de AI que se informan con su recurso más valioso: los datos comerciales. A través de nuestra asociación ampliada, NVIDIA y Databricks están impulsando la próxima ola de AI empresarial al integrar la computación acelerada de pila completa de NVIDIA con Vera CPUs, Rubin GPUs, redes NVIDIA Quantum InfiniBand y el software NVIDIA Agent Toolkit en la plataforma Databricks.”— Pat Lee, vicepresidente de Alianzas Estratégicas Empresariales de NVIDIA

Así es como Databricks y NVIDIA están construyendo juntos una plataforma de AI, desde GPUs para entrenamiento e inferencia, hasta CPUs diseñadas específicamente para la era agéntica.

1. Entrenamiento y ajuste fino

Databricks AI Runtime (AIR) lleva la aceleración de NVIDIA GPU directamente a los equipos de datos y AI, para que puedan entrenar y ajustar modelos con datos empresariales gobernados sin tener que administrar una infraestructura de GPU independiente. Con AIR, los clientes obtienen el hardware y las redes avanzadas de NVIDIA directamente donde se encuentran sus datos gobernados en Databricks:

• NVIDIA Hopper GPUs con NVIDIA Quantum InfiniBand: diseñadas específicamente para el entrenamiento distribuido multinodo. Ya sea que esté preentrenando un modelo fundacional o ejecutando un ajuste fino a gran escala, AIR ofrece soporte integrado para las interconexiones de GPU de alto ancho de banda y baja latencia de NVIDIA (redes compatibles con RDMA) que eliminan los cuellos de botella de comunicación entre nodos. AIR también se está preparando para la arquitectura NVIDIA Blackwell, lo que garantiza que los clientes estén siempre a la vanguardia de la computación acelerada.
• NVIDIA GPUs en Free Edition: en DAIS, nos complace anunciar el soporte de GPUs dentro de Databricks Free Edition, lo que permite a desarrolladores, estudiantes y empresas emergentes (startups) de todo el mundo crear e implementar sus cargas de trabajo de AI en GPUs.
• Soporte para contenedores de NVIDIA: próximamente, Databricks admitirá contenedores NGC y entornos personalizados de NVIDIA CUDA, lo que les permitirá ejecutarse de forma nativa en los datos dentro de la plataforma.

AI Runtime permite un acceso fluido a las NVIDIA GPUs dentro de Databricks.

2. Inferencia: aceleración de NVIDIA en Databricks Model Serving

Databricks Model Serving impulsa la inferencia en producción para miles de clientes de Databricks. En el núcleo de Model Serving, el hardware y el software de NVIDIA ofrecen la inferencia de baja latencia y alto rendimiento a escala que nuestros clientes necesitan, en modelos de frontera como Qwen, GPT-OSS y redes neuronales personalizadas que construyen nuestros clientes. Las capacidades de servicio adicionales incluyen hardware de NVIDIA y Triton Inference Server. Model Serving admite GPUs líderes optimizadas para inferencia, con el procesamiento por lotes dinámico avanzado de Triton y un rendimiento optimizado próximamente. Con Model Serving, los clientes pueden servir los modelos que entrenan en el hardware de NVIDIA directamente en la infraestructura administrada de Databricks.

3. Infraestructura agéntica: exploración de NVIDIA Vera para el próximo cuello de botella de cómputo

El auge de los agentes autónomos introduce un nuevo desafío de infraestructura. Mientras que las GPUs sobresalen en la inferencia de modelos, el arnés del agente, las llamadas a herramientas, la analítica impulsada por CPU y la gestión del razonamiento de múltiples pasos se ejecutan en CPUs. Las CPUs actuales suelen ser el cuello de botella: la latencia en las llamadas a herramientas, la sobrecarga de comunicación entre los pasos del agente y el rendimiento inconsistente bajo carga degradan la experiencia agéntica.

NVIDIA Vera es una CPU de próxima generación diseñada específicamente para esta carga de trabajo. Desarrollada para tres casos de uso principales (cargas de trabajo agénticas, aprendizaje por refuerzo y analítica de datos basada en CPU), Vera ofrece:

• Núcleos de alto rendimiento diseñados por NVIDIA y compatibles con Arm que ofrecen consultas SQL hasta 3 veces más rápidas y un rendimiento agéntico un 80% más rápido, optimizados para patrones de cómputo intermitentes y sensibles a la latencia, como las llamadas a herramientas y la orquestación de agentes
• Ancho de banda de memoria masivo para las operaciones intensivas en datos que los agentes realizan entre las llamadas al modelo
• Comunicación rápida de núcleo a núcleo que ayuda a ofrecer un rendimiento predecible a medida que escala la complejidad del agente

La visión es una pila acelerada por NVIDIA de extremo a extremo en Databricks: los modelos se ejecutan en NVIDIA GPUs para la inferencia, mientras que el arnés del agente y las llamadas a herramientas podrían ejecutarse en Vera CPUs, cada carga de trabajo en un silicio diseñado específicamente para sus características. Los desarrolladores personalizan los modelos en Databricks utilizando datos propios, los implementan a través de Model Serving y la infraestructura agéntica circundante se ejecuta en un cómputo diseñado desde cero para ese patrón exacto.

4. Experiencia del desarrollador: facilitar la creación de AI acelerada

NVIDIA Agent Toolkit: implementación en Databricks

Basado en Databricks Apps, los equipos pueden alojar y ejecutar NVIDIA Agent Toolkit, la plataforma de desarrollo de código abierto de NVIDIA para crear, personalizar e implementar flujos de trabajo de AI agénticos, directamente dentro de su entorno de Databricks. Esto significa que obtiene:

• Capacidades de NVIDIA Agent Toolkit: guardrails, uso de herramientas, generación aumentada por recuperación (RAG) y razonamiento de múltiples pasos, ejecutándose en aplicaciones alojadas en Databricks.
• Databricks Apps como capa de alojamiento: implemente cualquier base de código, incluidos agentes o servicios creados con NVIDIA Agent Toolkit, como aplicaciones administradas con autenticación, redes y gobernanza integradas a través de Unity Catalog.
• Integración fluida con los datos, modelos e infraestructura de servicio de Databricks. Sus agentes pueden acceder a datos gobernados, llamar a modelos a través de FMAPI y aprovechar toda la plataforma sin salir del entorno.

Uso de Genie Code para cargas de trabajo de GPU

Las GPUs son potentes, pero lograr una gran utilización, diagnosticar problemas de rendimiento y depurar cargas de trabajo tradicionalmente ha requerido una profunda experiencia en sistemas. Estamos cambiando eso con un enfoque centrado en los agentes:

Genie Code admite habilidades diseñadas en torno al hardware y software de NVIDIA. Los desarrolladores pueden:

• Depurar cargas de trabajo de GPU de forma conversacional: describa el problema y obtenga orientación práctica
• Optimizar el rendimiento: identifique cuellos de botella de utilización, problemas de memoria y sobrecarga de comunicación
• Aprovechar el conocimiento específico de NVIDIA: habilidades que comprenden CUDA, cuDNN, NCCL y herramientas de análisis de rendimiento (profiling) de NVIDIA

Genie Code y las herramientas de depuración de NVIDIA también están completamente integradas con varias superficies de productos de Databricks, que incluyen:

• Notebooks: monitoreo, análisis de rendimiento (profiling) y depuración de GPU de primer nivel en el entorno de notebooks
• MLflow: realice un seguimiento de las métricas y la utilización de la GPU junto con los experimentos
• Model Serving: diagnostique el estado del endpoint y el rendimiento de la GPU, e identifique oportunidades para optimizar la mecánica del endpoint, como el escalado automático (autoscaling)

5. Industry AI: software de NVIDIA sobre datos gobernados de Databricks

Cada industria se enfrenta a desafíos computacionales únicos definidos por los datos que genera y los modelos que construye. Estos desafíos abarcan desde el análisis de genomas y la aceleración del descubrimiento de fármacos hasta la optimización de las cadenas de suministro, la interpretación de imágenes médicas y la simulación de fábricas, robots y gemelos digitales.

Para ayudar a resolver estos problemas, NVIDIA ha invertido significativamente en bibliotecas y marcos de trabajo (frameworks) de computación acelerada específicos de cada dominio. Nos entusiasma llevar estas capacidades directamente a la plataforma Databricks.

Los clientes pueden aprovechar la pila de computación acelerada de NVIDIA en toda la experiencia integral de Databricks, desde la ingeniería de datos y la experimentación hasta el desarrollo de modelos y los flujos de trabajo de producción; y ahora los equipos de R&D específicos de cada dominio pueden utilizar las capacidades aceleradas de NVIDIA sin salir de la plataforma de Databricks.

La asociación se extiende a las bibliotecas de computación acelerada y los marcos de trabajo de dominio de NVIDIA que los clientes pueden utilizar con Databricks para cargas de trabajo de AI específicas de la industria:

De cara al futuro: construyendo para la era de los agentes

La infraestructura de AI de NVIDIA respalda capas críticas de AI en Databricks: las GPU que impulsan el entrenamiento y la inferencia, las CPU Vera que impulsarán la orquestación de sus agentes y el análisis de datos, el NVIDIA Agent Toolkit que habilita sus aplicaciones agénticas y las herramientas de desarrollo que le ayudan a aprovechar al máximo cada ciclo de cómputo.

Tanto si es una startup que experimenta con su primera carga de trabajo de GPU en la Free Edition, una empresa farmacéutica que ejecuta BioNeMo para el descubrimiento de fármacos o una empresa que implementa modelos de frontera a escala, Databricks y NVIDIA ofrecen juntos el rendimiento, la simplicidad y la gobernanza que necesita.

Comience hoy mismo: pruebe las GPU de NVIDIA en Databricks Free Edition, implemente NVIDIA Agent Toolkit en Databricks Apps o explore nuestra Foundation Model API impulsada por la computación acelerada de NVIDIA.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original