AI Runtime ya está disponible de forma general

Hoy nos complace anunciar la disponibilidad general de AI Runtime (AIR), que ofrece infraestructura de GPU totalmente gestionada directamente en Databricks para que los clientes puedan entrenar sus modelos más exigentes donde ya se encuentran sus datos empresariales.

Con demasiada frecuencia, los equipos de AI pasan más tiempo asegurando capacidad de GPU, gestionando fallos y esperando a que se lancen los experimentos que mejorando sus modelos. Ejecutar la infraestructura de GPU de forma independiente a su Lakehouse crea brechas de gobernanza y pone en riesgo los datos de entrenamiento confidenciales. A medida que los agentes de código impulsan más experimentos de entrenamiento, estos cuellos de botella y riesgos aumentan, por lo que contar con una infraestructura fiable, rápida y gobernada resulta esencial.

AIR une la infraestructura de GPU, las herramientas para desarrolladores y la gobernanza de datos para que los equipos puedan entrenar a escala, iterar más rápido y proteger cada carga de trabajo sin necesidad de gestionar una pila de GPU independiente. Cientos de empresas, incluidas Robinhood, PicPay, Merck, Flo Health, TinyFish y FactSet, ya utilizan AIR para entrenar e implementar modelos de deep learning en producción, con casos de uso que abarcan la atención médica, la fabricación y los agentes orientados al consumidor. Nuestro propio equipo de Databricks AI Research utiliza AIR para entrenar los modelos detrás de KARL y AI Parse.

Con AIR, los clientes pueden:

• Entrenar a escala con una infraestructura de GPU sin complicaciones: Acceso serverless y bajo demanda a GPU avanzadas con el respaldo de un entrenamiento multinodo fiable, un rendimiento optimizado y probado en ejecuciones de entrenamiento de más de 100 000 horas de GPU.
• Experimentar más rápido con una latencia de inicio casi instantánea y una depuración sencilla: Traiga su propio código, contenedores y cargas de trabajo de Ray, y obtenga latencias de inicio de pocos segundos en GPU con RDMA habilitado. Caching de entorno y herramientas de depuración integradas para ahorrar tiempo en cada bucle de entrenamiento.
• Proteger y gobernar cada carga de trabajo de GPU: AIR opera dentro del perímetro de gobernanza de Databricks y Unity Catalog, y cuenta con el respaldo de años de inversión en seguridad de Serverless. AIR ayuda a garantizar que las cargas de trabajo de GPU protejan los valiosos datos de entrenamiento, cumplan con las directivas de acceso y se puedan supervisar y auditar.

Infraestructura de GPU sin complicaciones

Gestionar la infraestructura de GPU requiere una sobrecarga operativa considerable, desde la planificación de la capacidad y el mantenimiento de nodos hasta la red y la supervisión. 

Con AIR, Databricks se encarga del trabajo operativo de aprovisionar GPU, mantener una infraestructura óptima y optimizar la carga de trabajo, para que su equipo pueda centrarse en el entrenamiento:

• Obtenga la capacidad de GPU que necesita, bajo demanda. Databricks se encarga de la adquisición de GPU, la configuración de clústeres y las redes para que su equipo pueda empezar a entrenar sin necesidad de crear y operar una plataforma de GPU completa.
• Escale con confianza sobre una infraestructura óptima. Databricks ejecuta decenas de comprobaciones del estado de la red y las GPU antes del entrenamiento y durante el mismo, para que sus cargas de trabajo puedan escalarse a cientos de GPU con total fiabilidad.
• Entrenamiento eficiente de forma predeterminada: Los cargadores de datos integrados transmiten y almacenan en caché los datos de entrenamiento para reducir el tiempo de espera de I/O. Utilice herramientas como UCVolumeDataset para mejorar el rendimiento de los datos sin crear una canalización de carga personalizada.

Con Databricks AI Runtime, pasamos nuestro entrenamiento a gran escala de una configuración de un solo nodo con 8 GPU A100 a una configuración multinodo con 16 GPU H100. Esto redujo el tiempo de entrenamiento de aproximadamente siete días a 48 horas, una aceleración de 3,5 veces, lo que facilitó enormemente a nuestro equipo iterar en experimentos de modelos más grandes y entrenar de forma más eficiente.- Kostia Omelianchuk, Applied Research Scientist y Area Tech Lead, Superhuman

Utilice GPU dondequiera que trabaje

Acceda a las GPU mediante la CLI o de forma interactiva en cuadernos o IDE. Su primera carga de trabajo solo requiere un comando de la CLI. Con Databricks AIR Skills, migrar desde un clúster de K8S o SLURM solo requiere un prompt en lenguaje natural.

 

Orqueste cargas de trabajo de GPU con confianza mediante Lakeflow

AIR se integra de forma nativa con Lakeflow para que pueda mantener sincronizadas las cargas de trabajo de GPU con sus canalizaciones anteriores y posteriores. Pasar a producción solo requiere unas pocas líneas adicionales de YAML, con prioridad y apropiación integradas que minimizan el tiempo de inactividad de las GPU y herramientas de supervisión como Genie ZeroOps que reducen la carga operativa.

 

Experimente, depure e itere más rápido

Las cargas de trabajo de entrenamiento distribuido resultan laboriosas de configurar e iniciar. Los equipos de AI pierden tiempo configurando entornos de entrenamiento, esperando a que se inicien los clústeres de GPU y depurando problemas en toda la pila.

AIR le ayuda a pasar del código al entrenamiento en cuestión de segundos. Puede utilizar entornos preconfigurados o traer su propio contenedor, y beneficiarse de un caching de entorno altamente optimizado para que solo tenga que crear los entornos una vez. AIR es compatible con los principales entornos de trabajo, incluido Ray, por lo que puede migrar el código con una configuración mínima.  

Databricks AI Runtime nos permite entrenar donde ya residen nuestros datos, con la fiabilidad, la seguridad y el rendimiento que necesitamos para el entrenamiento de modelos a gran escala. Podemos dedicar menos tiempo a gestionar la infraestructura de GPU y más a mejorar los propios modelos.- Vladislav Nedosekin, Director de Ingeniería, Plataforma de Datos y AI, Flo Health

Lance su próximo experimento en segundos

Cuando itera y desarrolla un script de entrenamiento, cada segundo de retraso se nota repetidamente. Por eso, hemos optimizado cada capa de la pila de aprovisionamiento para hacer que las cargas de trabajo, incluso los clústeres a gran escala con RDMA habilitado y decenas de GPU, se inicien en segundos.

 

Depure el entrenamiento distribuido en un solo lugar

Hemos creado una experiencia de observabilidad totalmente nueva en MLflow, la herramienta de seguimiento de experimentos líder en la industria. Con esta nueva experiencia, depurar tus registros, que se transmiten segundos después del envío, es tan simple como agregar –watch a tu comando de AIR. Para una investigación más profunda, puedes usar nuestro nuevo visor de registros, diseñado a la medida para el entrenamiento multinodo.

AI Runtime de Databricks simplificó enormemente el proceso de entrenamiento de un modelo personalizado de texto a fórmula (TTF). Sin necesidad de configurar infraestructura ni demoras, fue fácil elegir el cómputo adecuado según el tamaño del prompt y la generación de tokens de salida. Esto nos permitió avanzar rápidamente, mantener nuestros flujos de trabajo de Lakehouse y ofrecer un modelo de alta calidad con gobernanza completa, reduciendo el tiempo de configuración, entrenamiento e implementación de nuestro modelo de días a horas.- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

Depuración agéntica con Genie Code integrado

Genie Code está integrado en toda la experiencia de usuario y viene empaquetado previamente con habilidades de agente para ayudarte a depurar problemas y optimizar el rendimiento del entrenamiento con GPU. Estas habilidades incluyen información que nuestros equipos de investigación y rendimiento descubren, como la forma en que redujimos el tiempo de entrenamiento de Qwen en 6 veces con AIR.

En Robinhood, AI Runtime ayuda a nuestros equipos a pasar de la experimentación al entrenamiento más rápido, sin la sobrecarga de infraestructura. El fine-tuning es fluido, lo que nos permite entrenar donde residen nuestros datos manteniendo integrados los controles de datos y gobernanza. Eso significa que nuestros ingenieros pasan más tiempo construyendo mejores modelos y menos tiempo gestionando configuraciones complejas de GPU.- Robert Macy III, Machine Learning Engineer, Robinhood

Databricks AI Runtime nos permite escalar el entrenamiento distribuido en GPU serverless en millones de registros, justo dentro de nuestros flujos de trabajo de datos existentes. Dado que más de las 20 principales empresas biofarmacéuticas confían en nuestros modelos para orientar sus decisiones de desarrollo, esa velocidad y simplicidad permiten que nuestro equipo siga mejorando los modelos en lugar de gestionar la infraestructura.- Eran Barash, VP de Inteligencia Artificial y Machine Learning, QuantHealth

Protege y gobierna cada carga de trabajo de GPU como parte de Lakehouse

Gestionar la infraestructura de GPU por separado de los datos empresariales genera brechas de gobernanza, controles de acceso fragmentados y copias de datos innecesarias. A medida que los agentes ejecutan cientos de experimentos de entrenamiento en paralelo, los equipos deben asegurarse de que los datos confidenciales permanezcan gobernados y las cargas de trabajo se mantengan aisladas de forma segura, sin depender de la supervisión manual. El incidente de OpenAI con Hugging Face subraya este riesgo. 

AIR extiende tus controles de datos y gobernanza de confianza a cada carga de trabajo de GPU. Unity Catalog aplica permisos de lectura y escritura coherentes en todos los aspectos de una carga de trabajo de GPU (acceso a datos, checkpoints, registros, etc.), por lo que tu plataforma de GPU y la capa de gobernanza de datos ahora hablan exactamente el mismo idioma. 

Aísla las cargas de trabajo y controla el acceso a la red

AIR cuenta con el respaldo de años de inversión en seguridad serverless, aislamiento y redes privadas. A diferencia de los mecanismos de aislamiento de GPU que exponen el kernel del host, AIR tiene aislamiento a nivel de VM y admite PrivateLink y controles de salida serverless. Por lo tanto, AIR ofrece protecciones mucho más sólidas para las cargas de trabajo de entrenamiento en comparación con los sistemas convencionales. 

Entiende adónde va tu presupuesto de GPU

Rastrea el uso y los costos de AIR a través de las tablas del sistema de facturación de Databricks, junto con tus otras cargas de trabajo de Databricks. Utiliza los registros de uso a nivel de carga de trabajo para identificar qué cargas de trabajo de entrenamiento consumen tu presupuesto de GPU y guiar las decisiones sobre ejecuciones futuras. 

Con Databricks AI Runtime y Serverless, hemos podido escalar el entrenamiento y la inferencia de LLM más rápidamente, trabajando con modelos más grandes, múltiples GPU H100 y grandes volúmenes de datos. La integración con nuestras canalizaciones existentes, junto con las capacidades de orquestación y monitoreo de Databricks, ha hecho que el flujo de trabajo de extremo a extremo sea más simple y eficiente, reduciendo la complejidad de la infraestructura y el tiempo del ciclo de desarrollo.- Vitor Rolim, Staff Machine Learning Engineer, PicPay

Para nosotros, entrenar el modelo es solo una parte del problema. Necesitamos saber si un cambio realmente hace que el agente sea mejor para completar tareas reales y luego poder llevar esa mejora a producción rápidamente. Con AI Runtime, podemos entrenar en GPU, evaluar con MLflow y servir nuestro modelo nativo de la web sin necesidad de crear una pila independiente para cada etapa.- Zach Richardson, director de IA, TinyFish

Comienza con tu primera carga de trabajo de GPU

Para ayudarte a comenzar, hemos reunido varios notebooks de plantillas y guías de inicio: 

• Consulta nuestra guía de inicio rápido para comenzar y conectarte a AI Runtime en segundos. 
• Para obtener más información sobre AI Runtime, mira nuestra demostración de 3 minutos y visita nuestra página web.
• ¿Te interesa probar AIR con un ejemplo? ¡Clona nuestro repositorio cookbook para comenzar con solo un comando de CLI!

¡Ponte en contacto con tu equipo de cuenta para obtener más información o si tienes alguna pregunta!

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original