por Ethan Tang, Ivan Zhou, Irene Dea, Steven Chen, Bruce Fontaine y Ben Hansen
En Databricks, desarrollamos y evaluamos continuamente nuevas técnicas de investigación de IA para hacer que nuestros productos sean más inteligentes, eficientes y útiles para los clientes.
Nuestra investigación abarca productos como Genie, Smart Routing y AI Functions. Recientemente, publicamos cómo logramos que la búsqueda fuera 3 veces más rápida, desarrollamos nuevas técnicas de aprendizaje por refuerzo offline y ampliamos la frontera de la extracción de documentos complejos.
Para crear excelentes modelos de IA y gestionar cientos de flujos de trabajo de investigación paralelos, necesitamos una infraestructura que pueda mantener el ritmo. Por eso utilizamos Databricks AI Runtime (AIR).
En esta publicación, compartiremos cómo AIR nos ayuda a experimentar rápidamente, escalarla a grandes cargas de trabajo de entrenamiento y adaptarnos al entrenamiento guiado por agentes, junto con lo que hemos aprendido sobre la gestión de recursos de GPU en proyectos de investigación.
Nuestro equipo de investigación desarrolla modelos que impulsan Databricks AI Functions, incluidos ai_parse_document y ai_extract. Por ejemplo, Databricks AI Functions ofrece una calidad de procesamiento de documentos de última generación, respaldada por modelos entrenados para comprender documentos empresariales. Lograr esa calidad requiere una investigación exhaustiva en diferentes arquitecturas, conjuntos de datos, técnicas de entrenamiento y hiperparámetros, que abarca decenas de miles de ejecuciones de entrenamiento y evaluación.
Utilizamos ajuste fino supervisado (SFT), aprendizaje por refuerzo (RL) offline y RL online para entrenar modelos que van desde unos pocos miles de millones de parámetros hasta casi un billón. Según la carga de trabajo, utilizamos GPU NVIDIA H100 o B300, ambas disponibles a través de AIR. Nuestras ejecuciones de entrenamiento más grandes pueden requerir cientos de GPU trabajando juntas durante días o semanas, con redes de alto ancho de banda para mantener la eficiencia del entrenamiento.
Admitir estas cargas de trabajo genera tres desafíos:
Nuestro equipo de investigación ha sido el cliente cero de AI Runtime desde el inicio del producto el año pasado. Utilizamos AIR para desarrollar, entrenar y probar modelos que impulsan los productos de IA de Databricks, confiando en su infraestructura de GPU e integración con nuestras herramientas existentes.
Resiliencia integrada de GPU
AIR realiza verificaciones previas en los nodos de GPU asignados para garantizar que estén en buen estado y se puedan comunicar eficazmente antes de que comience el entrenamiento. También supervisa el estado de los nodos durante la ejecución, detectando problemas como fallos de comunicación de NCCL, estrangulamiento térmico o de energía y problemas con los controladores de GPU. Si un nodo deja de funcionar correctamente y hace que un trabajo falle, AIR detecta el problema y aísla el nodo afectado para que los trabajos posteriores no se programen en la misma infraestructura problemática.
Esto es especialmente importante para proyectos como KARL, donde la generación compleja de despliegues y el posentrenamiento de modelos con más de 100 mil millones de parámetros pueden requerir miles de horas de GPU. En lugar de solucionar repetidamente problemas de infraestructura, podemos centrarnos en mejorar nuestros modelos.
Iteración rápida con la CLI de AIR y contenedores personalizados
La investigación requiere que cambiemos las configuraciones de los modelos, los enfoques de entrenamiento y el código de manera frecuente. Con la CLI de AIR, podemos lanzar cargas de trabajo mediante programación, especificar las GPU que necesitamos y dejar que AIR se encargue del aprovisionamiento y la programación, incluidas las redes de alto ancho de banda para el entrenamiento distribuido en varias nubes.
También dependemos de contenedores Docker personalizados para el desarrollo local. AIR nos permite usar esas mismas imágenes para el entrenamiento, lo que garantiza la compatibilidad sin necesidad de volver a crear nuestros entornos. Podemos cargar nuestra base de código, ejecutar código personalizado en esos contenedores y utilizar Databricks Artifact Registry para registrar y compartir imágenes entre experimentos. Las inversiones de AIR en latencia de inicio y optimización de contenedores nos ayudan a iniciar trabajos de entrenamiento en segundos, acortando los bucles de retroalimentación a medida que probamos nuevas ideas.
MLflow y registro de datos para el seguimiento de experimentos
Utilizamos MLflow para realizar el seguimiento de nuestros experimentos de investigación. AIR crea y gestiona automáticamente experimentos de MLflow para nuestros trabajos de entrenamiento, eliminando la necesidad de configuraciones independientes.
Podemos supervisar el estado de los trabajos, transmitir e inspeccionar registros de entrenamiento y recuperar métricas para comprender cómo avanzan los experimentos. Esto también brinda a nuestros agentes de IA acceso a la información que necesitan para evaluar resultados y determinar qué probar a continuación.
Acceso fluido y gobernado a los datos de investigación
Todos nuestros datos de investigación se almacenan en Unity Catalog. A través del montaje FUSE de Unity Catalog, AIR nos permite acceder a esos datos como si fueran parte de un sistema de archivos local, incluso cuando trabajamos en diferentes espacios de trabajo de Databricks.
Esto mantiene nuestros datos accesibles, registrados, compartibles y gobernados sin cambiar la forma en que nuestro código de entrenamiento interactúa con los archivos. Combinado con MLflow y nuestros entornos basados en Docker, nos proporciona un flujo de trabajo constante desde el desarrollo local hasta el entrenamiento distribuido.
Gestión de la capacidad de GPU en proyectos de investigación
Nuestras cargas de trabajo tienen necesidades de recursos muy diferentes. Un experimento de depuración puede requerir solo unas pocas GPU, mientras que una gran ejecución de entrenamiento podría necesitar cientos durante días o semanas. Los diferentes proyectos también tienen prioridades y plazos en competencia.
Las capacidades de priorización y interrupción (preemption) de cargas de trabajo de AIR nos ayudan a asignar recursos entre proyectos, priorizar experimentos sensibles al tiempo y utilizar el exceso de capacidad cuando está disponible. Por ejemplo, la capacidad sobrante puede respaldar experimentos exploratorios adicionales durante un fin de semana sin interrumpir el trabajo de mayor prioridad. Nuestro objetivo es mantener los recursos de GPU disponibles para los experimentos que importan, sin requerir que los investigadores coordinen manualmente la infraestructura.
Popularizado por Andrej Karpathy, autoresearch está cambiando la forma en que desarrollamos modelos de IA. En lugar de que los investigadores lancen y evalúen manualmente cada experimento, utilizamos cada vez más agentes para proponer cambios, ejecutar experimentos, evaluar resultados y determinar qué probar a continuación.

Este cambio ha aumentado drásticamente nuestro volumen de experimentación. En nuestras cargas de trabajo de investigación de AI Functions, el número de trabajos de entrenamiento ha crecido 8 veces.

A medida que los agentes asumen una mayor parte del proceso de investigación, nuestra infraestructura debe mantener el ritmo. Un inicio lento o un error de configuración confuso pueden ser manejables cuando un investigador lanza un puñado de experimentos. Cuando los agentes lanzan cientos, esos mismos problemas se convierten rápidamente en cuellos de botella.
La investigación impulsada por agentes requiere inicios rápidos de trabajos, interfaces programáticas, errores claros y accionables, una ejecución confiable y resultados de entrenamiento accesibles.
Nuestro flujo de trabajo de autoresearch sigue un ciclo continuo:

AIR es particularmente adecuado para este flujo de trabajo porque los agentes pueden interactuar con él de forma programática y beneficiarse de su rápido inicio de trabajos, su fiabilidad integrada y su capacidad de escalado. A través de la CLI de Databricks y databricks-air-skills, nuestros agentes pueden lanzar cargas de trabajo concurrentes, supervisar el estado de los trabajos, recuperar métricas de MLflow e iterar en función de los resultados.
Esto nos permite ejecutar más experimentos mientras nuestros investigadores se centran en desarrollar nuevas ideas y mejorar la calidad de los modelos. A medida que avanzamos hacia una investigación impulsada por agentes, AIR nos ofrece la infraestructura necesaria para admitir tanto modelos más grandes como un ritmo de experimentación más rápido.
Nuestra experiencia con el uso de AI Runtime nos ha demostrado lo importante que es contar con una infraestructura de GPU fiable y flexible para la investigación. Desde el entrenamiento a gran escala y el acceso a datos gobernados hasta la experimentación impulsada por agentes, AIR nos permite dedicar menos tiempo a gestionar la infraestructura y más tiempo a desarrollar mejores modelos.
Si está entrenando o ajustando sus propios modelos, consulte la documentación de AI Runtime para comenzar.
AI Runtime también ha impulsado nuestra investigación en áreas como búsquedas más rápidas, aprendizaje por refuerzo y comprensión de documentos. Explore más de nuestro trabajo en Databricks AI Research,
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.