O Databricks AI Runtime e a NVIDIA facilitam a personalização de modelos abertos com dados corporativos

As GPUs impulsionam as cargas de trabalho de IA mais avançadas de hoje, desde modelos de linguagem de ponta até sistemas de IA multimodais e agentes. Cada vez mais, as empresas estão adaptando modelos abertos para seus próprios dados e necessidades de negócios. No entanto, garantir o acesso a GPUs é apenas parte do desafio. As equipes também precisam configurar tarefas de treinamento, governar o acesso aos dados e gerenciar a infraestrutura de GPU, restando menos tempo para experimentar modelos e avaliar se eles atendem às necessidades da empresa.

A Databricks e a NVIDIA oferecem um caminho integrado entre os dados corporativos e modelos de IA personalizados, desde o ajuste fino (fine-tuning) de modelos menores até o treinamento distribuído em grande escala. Por meio do Unity Gateway, a Databricks oferece aos desenvolvedores acesso governado a modelos de ponta e open source. Para as equipes que precisam personalizar modelos, o AI Runtime (AIR) traz o ecossistema de software de IA e GPUs serverless da NVIDIA para os dados corporativos. As equipes podem experimentar, fazer fine-tuning e avaliar modelos no AIR, e depois implantá-los para inferência em tempo real por meio do Databricks Model Serving — tudo dentro da Databricks Platform, com menos trabalho de infraestrutura e governança para gerenciar.

Hoje, no GTC Berlin, a Databricks e a NVIDIA estão expandindo sua colaboração para facilitar a personalização de modelos abertos pelas empresas. O Databricks AIR já está disponível para o público geral: os desenvolvedores podem usar o NVIDIA NeMo, contêineres NGC e novos cookbooks do Nemotron para treinar e fazer fine-tuning de modelos abertos em GPUs NVIDIA serverless. Juntas, essas funcionalidades dão às equipes mais flexibilidade para adaptar modelos a tarefas específicas do negócio e colocá-los em prática em aplicações e agentes.

O AI Runtime liberou o treinamento de modelos e a aprendizagem por reforço em dados corporativos que tradicionalmente estavam fora do alcance dos engenheiros de machine learning. Com o AI Runtime e o ecossistema de software de IA da NVIDIA, as equipes podem especializar modelos de pesos abertos, como o Nemotron, para seus casos de uso personalizados e contexto de negócios. Com acesso governado aos dados, facilidade de uso para treinamento em grande escala e Genie Code para depuração automatizada, o AI Runtime vai acelerar o surgimento de modelos personalizados nas empresas.—Hanlin Tang, CTO de Redes Neurais na Databricks

Os agentes são mais valiosos quando fundamentados no funcionamento real da empresa — seus dados, fluxos de trabalho e experiência. A NVIDIA e a Databricks estão trazendo modelos abertos como Nemotron e Kumo diretamente para os dados corporativos governados, oferecendo às equipes os modelos, as ferramentas e a computação acelerada para construir agentes especializados capazes de raciocinar sobre o conhecimento da empresa, prever os próximos passos e tomar atitudes.—Pat Lee, VP de Parcerias Estratégicas na NVIDIA

Treine e faça fine-tuning mais rápido com o AI Runtime 

O AIR oferece GPUs NVIDIA serverless para treinamento e fine-tuning, para que os desenvolvedores possam executar seus códigos e contêineres existentes em escala sem precisar gerenciar a infraestrutura de GPU. Com suporte a treinamento distribuído multinó, as equipes podem dimensionar cargas de trabalho maiores em vários nós de GPU. O NVIDIA Quantum InfiniBand oferece rede de alta largura de banda e baixa latência com acesso direto à memória remota (RDMA), enquanto a NVIDIA Collective Communications Library (NCCL) cuida da comunicação entre GPUs. A Databricks gerencia os clusters e a rede subjacentes.

Por exemplo, uma empresa que esteja criando um agente de suporte técnico poderia começar com um modelo aberto NVIDIA Nemotron e fazer o fine-tuning em tickets de suporte rotulados usando o NVIDIA NeMo no AIR. A equipe poderia experimentar diferentes abordagens de treinamento e usar o MLflow para acompanhar os resultados à medida que adapta o modelo aos seus fluxos de trabalho de suporte específicos.

Os desenvolvedores podem preparar dados do Lakehouse e fazer experimentos em notebooks acelerados por GPU ou por meio da CLI do AIR, usando carregamento de dados de alto desempenho e ambientes padrão que incluem PyTorch e CUDA. Eles podem usar estruturas de treinamento distribuído ou trazer suas próprias bibliotecas e loops de treinamento personalizados.

Quando os experimentos estiverem prontos para execução repetível, o Lakeflow Jobs pode orquestrar o treinamento junto com a preparação de dados upstream e a avaliação downstream, transformando execuções individuais em fluxos de trabalho repetíveis. Os Declarative Automation Bundles oferecem suporte a CI/CD para implantar e atualizar esses fluxos de trabalho.

O MLflow rastreia experimentos de treinamento e o uso de GPU, ajudando as equipes a comparar os resultados dos modelos e o desempenho computacional. O Unity Catalog governa o acesso aos dados de treinamento, e as tabelas de sistema nativas oferecem visibilidade sobre o uso de CPU e GPU. Juntas, essas integrações permitem que as equipes usem os dados, a governança e as ferramentas operacionais em que já confiam na Databricks.

Acelere cargas de trabalho com o software de IA da NVIDIA

Treinar e fazer fine-tuning de modelos de deep learning exige mais do que poder computacional de GPUs — as equipes também precisam de flexibilidade em seus frameworks, bibliotecas e ambientes. O AIR agora oferece suporte ao Docker e a registros privados, permitindo que os desenvolvedores tragam ambientes em contêineres personalizados para suas cargas de trabalho de GPU.

Os desenvolvedores podem usar contêineres otimizados para GPU do NVIDIA NGC Catalog com o Databricks Artifact Registry para trazer o software NVIDIA para o AIR. O armazenamento em cache do ambiente ajuda essas cargas de trabalho a iniciarem rapidamente, reduzindo a sobrecarga de configuração à medida que as equipes iteram no código de treinamento e reexecutam experimentos.

Os desenvolvedores também podem instalar ferramentas de perfilamento da NVIDIA para examinar a execução da GPU e investigar gargalos de desempenho. Junto com as métricas de uso da GPU rastreadas no MLflow, essas ferramentas ajudam as equipes a entender onde as cargas de trabalho de treinamento gastam tempo e a identificar oportunidades de melhoria de desempenho. As equipes podem otimizar seu software e código de treinamento enquanto o AIR gerencia a infraestrutura de GPU subjacente.

O AIR oferece suporte à personalização além de LLMs, incluindo um fluxo de trabalho de fine-tuning validado para o NVIDIA Kumo Anomaly, um modelo de pesquisa aberto para detecção de anomalias em séries temporais, com rastreamento do MLflow e checkpoints no Unity Catalog. Isso apoia a visão da Agent Knowledge Foundation da NVIDIA de construir uma camada de conhecimento de agentes. A combinação do Kumo-Anomaly com a Genie Ontology oferece um caminho para agentes conscientes do contexto, que conectam padrões incomuns em dados de séries temporais com o significado do negócio para ajudar a orientar as próximas ações.

Personalize e sirva modelos Nemotron

Com o lançamento do Nemotron 3.5 Lightning e do Super VL, os clientes da Databricks podem carregar, experimentar, adaptar e servir esses modelos na Databricks desde o primeiro dia. 

O AIR oferece suporte à personalização de modelos com o NVIDIA NeMo e o NeMo Automodel, permitindo que as equipes usem as ferramentas e estruturas da NVIDIA em GPUs NVIDIA serverless. No exemplo do agente de suporte técnico, isso significa que os desenvolvedores poderiam usar essas ferramentas para fazer fine-tuning do Nemotron em tickets de suporte históricos, ajudando o modelo a entender melhor produtos, terminologias e fluxos de trabalho de solução de problemas específicos da empresa. O treinamento permanece conectado aos dados e fluxos de trabalho corporativos na Databricks.

O Genie Code também pode ajudar os desenvolvedores a criar e adaptar o script de treinamento diretamente em um notebook. Os desenvolvedores podem descrever as alterações necessárias, pedir ajuda para configurar uma execução de fine-tuning e resolver erros conforme eles surgem. Eles podem revisar e refinar o código sugerido antes de executá-lo em GPUs NVIDIA serverless.

Para o fine-tuning, o AIR combina carregamento de dados otimizado, criação de checkpoints e treinamento com ferramentas integradas de observabilidade e depuração. Os desenvolvedores podem rastrear experimentos e métricas de GPU no MLflow e usar o Genie Code para:

• Depurar o código do modelo e investigar erros de treinamento.
• Identificar gargalos de desempenho da GPU, incluindo problemas de memória e sobrecarga de comunicação.
• Aplicar orientações específicas da NVIDIA sobre CUDA, cuDNN, NCCL e ferramentas de perfilamento.

Após o fine-tuning e a avaliação, as equipes podem implantar modelos personalizados em produção por meio do Databricks Model Serving. Em nosso exemplo de suporte técnico, o modelo Nemotron com fine-tuning poderia alimentar um agente que interpreta as solicitações de suporte recebidas e gera respostas com base nos produtos da empresa e nos fluxos de trabalho de solução de problemas. Isso completa o fluxo de trabalho, desde a personalização do modelo em GPUs NVIDIA serverless até a inferência em tempo real.

Comece a usar o Databricks AI Runtime e a NVIDIA

Para saber mais, visite nossa página web, documentação do AIR, e explore os cookbooks do Nemotron 3.5 SuperVL e do Nemotron 3.5 Lightning para começar o treinamento e o fine-tuning em GPU no Databricks.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original