O AI Runtime está em disponibilidade geral

Hoje, temos o prazer de anunciar a disponibilidade geral (GA) do AI Runtime (AIR), trazendo infraestrutura de GPU totalmente gerenciada diretamente para o Databricks, permitindo que os clientes treinem seus modelos mais exigentes onde seus dados corporativos já estão.

Com muita frequência, as equipes de IA passam mais tempo garantindo capacidade de GPU, gerenciando falhas e esperando os experimentos iniciarem do que aprimorando seus modelos. Executar a infraestrutura de GPU separadamente do Lakehouse gera lacunas de governança e coloca dados de treinamento confidenciais em risco. À medida que agentes de codificação realizam mais experimentos de treinamento, esses gargalos e riscos aumentam —, tornando essencial uma infraestrutura confiável, rápida e governada.

O AIR une infraestrutura de GPU, ferramentas de desenvolvedor e governança de dados para que as equipes possam treinar em escala, iterar mais rápido e proteger cada carga de trabalho sem gerenciar uma pilha de GPU separada. Centenas de empresas, incluindo Robinhood, PicPay, Merck, Flo Health, TinyFish e FactSet, já usam o AIR para treinar e implantar modelos de deep learning em produção, com casos de uso que abrangem saúde, manufatura e agentes voltados para o consumidor. Nossa própria equipe de pesquisa da Databricks AI usa o AIR para treinar os modelos por trás do KARL e do AI Parse.

Com o AIR, os clientes podem:

• Treinar em escala com uma infraestrutura de GPU sem complicações: Acesso serverless e sob demanda a GPUs avançadas respaldadas por treinamento multinó confiável, desempenho otimizado e comprovado por mais de 100.000 horas de GPU em execuções de treinamento.
• Experimentar mais rápido com latência de inicialização quase instantânea e depuração simples: Traga seu próprio código, contêineres e cargas de trabalho Ray e obtenha latência de inicialização em segundos em GPUs com suporte a RDMA. Caching de ambiente e ferramentas de depuração integradas para economizar tempo em cada ciclo de treinamento.
• Proteger e governar cada carga de trabalho de GPU: O AIR opera dentro do perímetro de governança do Databricks e do Unity Catalog e conta com anos de investimento em segurança serverless. O AIR ajuda a garantir que as cargas de trabalho de GPU protejam dados de treinamento valiosos, cumpram as políticas de acesso e sejam rastreáveis e auditáveis.

Infraestrutura de GPU sem complicações

O gerenciamento da infraestrutura de GPU exige uma sobrecarga operacional significativa, desde o planejamento de capacidade e manutenção de nós até redes e monitoramento. 

Com o AIR, o Databricks assume o trabalho operacional de provisionar GPUs, manter uma infraestrutura saudável e otimizar a carga de trabalho, para que sua equipe possa se concentrar no treinamento:

• Obtenha a capacidade de GPU necessária, sob demanda. O Databricks cuida do fornecimento de GPUs, da configuração de clusters e das redes para que sua equipe possa começar a treinar sem precisar construir e operar uma plataforma de GPU inteira.
• Escale com confiança em uma infraestrutura saudável. O Databricks executa dezenas de verificações de integridade de GPU e rede antes e durante o treinamento, para que suas cargas de trabalho possam ser escaladas para centenas de GPUs com total confiabilidade.
• Treinamento eficiente por padrão: Carregadores de dados integrados realizam streaming e caching dos dados de treinamento para reduzir o tempo de espera de E/S. Use ferramentas como o UCVolumeDataset para melhorar o rendimento de dados sem criar um pipeline de carregamento personalizado.

Usando o Databricks AI Runtime, mudamos nosso treinamento em grande escala de uma configuração de nó único com 8 GPUs A100 para uma configuração multinó com 16 GPUs H100. Isso reduziu o tempo de treinamento de aproximadamente sete dias para 48 horas, uma aceleração de 3,5x, tornando muito mais fácil para nossa equipe iterar em experimentos de modelos maiores e treinar com mais eficiência.- Kostia Omelianchuk, Applied Research Scientist e Area Tech Lead, Superhuman

Use GPUs onde quer que você trabalhe

Acesse GPUs via CLI ou de forma interativa em Notebooks ou IDEs. Sua primeira carga de trabalho requer apenas um comando de CLI. Com as habilidades do Databricks AIR, a migração de um cluster K8S ou SLURM leva apenas um único comando em linguagem natural.

 

Orquestre cargas de trabalho de GPU com confiança usando o Lakeflow

O AIR integra-se nativamente ao Lakeflow para que você possa manter as cargas de trabalho de GPU em sintonia com os pipelines anteriores e posteriores. Mover para produção exige apenas algumas linhas adicionais de YAML, com recursos integrados de prioridade/preempção que minimizam o tempo de GPU ociosa e ferramentas de monitoramento como o Genie ZeroOps que reduzem o esforço operacional.

 

Experimente, depure e itere mais rápido

As cargas de trabalho de treinamento distribuído são trabalhosas para configurar e iniciar. As equipes de IA perdem tempo configurando ambientes de treinamento, esperando que os clusters de GPU sejam inicializados e depurando problemas em toda a pilha.

O AIR ajuda você a ir do código ao treinamento em segundos. Você pode usar ambientes pré-configurados ou trazer seu próprio contêiner e se beneficiar de um caching de ambiente altamente otimizado, de modo que só precisa criar ambientes uma vez. O AIR é compatível com os principais frameworks, incluindo o Ray, para que você possa migrar seu código com uma configuração mínima.  

O Databricks AI Runtime nos permite treinar onde nossos dados já estão, com a confiabilidade, a segurança e o desempenho de que precisamos para o treinamento de modelos em grande escala. Podemos passar menos tempo gerenciando a infraestrutura de GPU e mais tempo aprimorando os próprios modelos.- Vladislav Nedosekin, Diretor de Engenharia, Plataforma de Dados e IA, Flo Health

Inicie seu próximo experimento em segundos

Quando você itera e desenvolve um script de treinamento, cada segundo de atraso é sentido repetidamente. Por isso, nós otimizamos cada camada da pilha de provisionamento para fazer com que as cargas de trabalho, até mesmo clusters de grande escala habilitados para RDMA com dezenas de GPUs, sejam inicializados em segundos.

 

Depure o treinamento distribuído em um só lugar

Criamos uma experiência de observabilidade totalmente nova no MLflow, a principal ferramenta do setor para acompanhamento de experimentos. Com essa nova experiência, depurar seus logs, que são transmitidos segundos após o envio, é tão simples quanto adicionar –watch ao seu comando do AIR. Para investigações mais profundas, você pode usar nosso novo visualizador de logs, feito sob medida para treinamento multinó.

O AI Runtime da Databricks simplificou enormemente o processo de treinamento de um modelo personalizado de Text To Formula (TTF). Sem a necessidade de configuração de infraestrutura ou atrasos, foi fácil escolher a computação certa com base no tamanho do prompt e na geração de tokens de saída. Isso nos permitiu agir rapidamente, manter nossos fluxos de trabalho no Lakehouse e entregar um modelo de alta qualidade com governança total, reduzindo o tempo de configuração, treinamento e implantação do nosso modelo de dias para horas.- Nikhil Sunderraj, Engenheiro de Machine Learning Principal, FactSet

Depuração agêntica com Genie Code integrado

O Genie Code está integrado a toda a experiência do usuário e vem pré-instalado com habilidades de agente para ajudar você a depurar problemas e otimizar o desempenho do treinamento em GPU. Essas habilidades incluem insights que nossas equipes de pesquisa e desempenho descobrem, como a forma como reduzimos o tempo de treinamento do Qwen em 6x no AIR.

Na Robinhood, o AI Runtime ajuda nossas equipes a passar da experimentação para o treinamento de forma mais rápida, sem a sobrecarga de infraestrutura. O ajuste fino (fine-tuning) é contínuo, permitindo-nos treinar onde nossos dados estão armazenados, mantendo os controles de dados e governança integrados. Isso significa que nossos engenheiros passam mais tempo criando modelos melhores e menos tempo gerenciando configurações complexas de GPU.- Robert Macy III, Engenheiro de Machine Learning, Robinhood

O Databricks AI Runtime nos permite dimensionar o treinamento distribuído em GPUs serverless ao longo de milhões de registros, diretamente em nossos fluxos de trabalho de dados existentes. À medida que mais empresas entre as 20 maiores do setor biofarmacêutico confiam em nossos modelos para orientar decisões de desenvolvimento, essa velocidade e simplicidade permitem que nossa equipe continue aprimorando os modelos em vez de gerenciar a infraestrutura.- Eran Barash, VP de Inteligência Artificial e Machine Learning, QuantHealth

Proteja e governe cada carga de trabalho de GPU como parte do Lakehouse

Gerenciar a infraestrutura de GPU separadamente dos dados corporativos cria lacunas de governança, controles de acesso fragmentados e cópias desnecessárias de dados. À medida que os agentes executam centenas de experimentos de treinamento em paralelo, as equipes precisam garantir que os dados confidenciais permanecem governados e que as cargas de trabalho continuem isoladas com segurança, sem depender de supervisão manual. O incidente da OpenAI no Hugging Face reforça esse risco. 

O AIR estende seus controles de dados e governança de confiança para cada carga de trabalho de GPU. O Unity Catalog aplica permissões de leitura/gravação consistentes em todos os aspectos de uma carga de trabalho de GPU (acesso a dados, checkpoints, logs, etc.), para que sua plataforma de GPU e a camada de governança de dados falem exatamente a mesma língua. 

Isole cargas de trabalho e controle o acesso à rede

O AIR é respaldado por anos de investimento em segurança serverless, isolamento e redes privadas. Ao contrário dos mecanismos de isolamento de GPU que expõem o kernel do host, o AIR possui isolamento em nível de VM, oferece suporte ao PrivateLink e controles de saída serverless. Assim, o AIR oferece proteções muito mais fortes para cargas de trabalho de treinamento em comparação com sistemas convencionais. 

Entenda para onde vai o seu orçamento de GPU

Acompanhe o uso e os custos do AIR por meio das tabelas de sistema de faturamento da Databricks, ao lado de suas outras cargas de trabalho da Databricks. Use registros de uso em nível de carga de trabalho para identificar quais cargas de trabalho de treinamento consomem seu orçamento de GPU e orientar decisões sobre execuções futuras. 

Com o Databricks AI Runtime e o Serverless, conseguimos dimensionar o treinamento e a inferência de LLMs mais rapidamente, trabalhando com modelos maiores, várias GPUs H100 e grandes volumes de dados. A integração com nossas pipelines existentes, juntamente com os recursos de orquestração e monitoramento da Databricks, tornou o fluxo de trabalho de ponta a ponta mais simples e eficiente, reduzindo a complexidade da infraestrutura e o tempo do ciclo de desenvolvimento.- Vitor Rolim, Staff Machine Learning Engineer, PicPay

Para nós, treinar o modelo é apenas parte do problema. Precisamos saber se uma alteração realmente torna o agente melhor na execução de tarefas reais e, em seguida, levar essa melhoria para a produção rapidamente. Com o AI Runtime, podemos treinar em GPUs, avaliar com o MLflow e servir nosso modelo nativo da web sem construir uma pilha separada para cada etapa.- Zach Richardson, Head de IA, TinyFish

Comece com sua primeira carga de trabalho de GPU

Para ajudar você a começar, reunimos vários notebooks de modelo e guias iniciais: 

• Consulte nosso guia de início rápido para começar e conecte-se ao AI Runtime em segundos. 
• Para saber mais sobre o AI Runtime, assista à nossa demonstração de 3 minutos e visite nossa página da web.
• Quer testar o AIR em um exemplo? Clone nosso repositório cookbook para começar com apenas um comando de CLI!

Entre em contato com sua equipe de conta para saber mais ou se tiver alguma dúvida!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original