Databricks e NVIDIA: Construindo para a Era Agêntica

O stack completo de AI, acelerado

A computação acelerada da NVIDIA potencializa algumas das cargas de trabalho de AI mais exigentes no Databricks, desde treinamento em larga escala, ajuste fino e inferência até soluções de AI específicas para o setor. Hoje, no Data + AI Summit, destacamos como a infraestrutura de AI da NVIDIA está no centro dos novos anúncios do Databricks AI Runtime, Model Serving e soluções de AI para o setor, incluindo uma visão de como a nova NVIDIA Vera CPU impulsionará a próxima geração de infraestrutura de agentes.

"Nossa parceria com a NVIDIA abrange todo o ciclo de vida de AI. Desde a infraestrutura acelerada da NVIDIA que potencializa o treinamento distribuído no AI Runtime até o software executado em nossas plataformas de serving e desenvolvimento. Estamos entusiasmados em combinar a tecnologia da NVIDIA com os recursos de dados e governança do Databricks para gerar um valor incrível para nossos clientes: uma AI empresarial rápida, escalável e construída sobre uma base em que eles podem confiar."— Adam Conway, SVP, Product, Databricks

“O Databricks permite que as empresas criem, implantem, dimensionem e governem agentes de AI informados por seu recurso mais valioso: os dados de negócios. Por meio de nossa parceria expandida, a NVIDIA e o Databricks estão impulsionando a próxima onda de AI empresarial ao incorporar a computação acelerada full-stack da NVIDIA com Vera CPUs, Rubin GPUs, rede NVIDIA Quantum InfiniBand e o software NVIDIA Agent Toolkit na plataforma Databricks.”— Pat Lee, Vice President, Enterprise Strategic Partnerships, NVIDIA

Veja como o Databricks e a NVIDIA estão construindo uma plataforma de AI juntos, desde GPUs para treinamento e inferência até CPUs personalizadas para a era dos agentes.

1. Treinamento e ajuste fino

O Databricks AI Runtime (AIR) leva a aceleração de GPU da NVIDIA diretamente para as equipes de dados e AI, para que possam treinar e ajustar modelos em dados corporativos governados sem a necessidade de gerenciar uma infraestrutura de GPU separada. Com o AIR, os clientes obtêm hardware e rede avançados da NVIDIA diretamente onde seus dados governados estão no Databricks:

• GPUs NVIDIA Hopper com NVIDIA Quantum InfiniBand: desenvolvidas sob medida para treinamento distribuído em vários nós. Quer você esteja pré-treinando um modelo de fundação ou executando um ajuste fino em larga escala, o AIR oferece suporte integrado para as interconexões de GPU de alta largura de banda e baixa latência da NVIDIA (rede compatível com RDMA) que eliminam gargalos de comunicação entre os nós. O AIR também está sendo preparado para a arquitetura NVIDIA Blackwell, garantindo que os clientes estejam sempre na vanguarda da computação acelerada.
• GPUs NVIDIA na Free Edition: no DAIS, temos o prazer de anunciar o suporte a GPUs no Databricks Free Edition, ajudando desenvolvedores, estudantes e startups do mundo todo a criar e implantar suas cargas de trabalho de AI em GPUs.
• Suporte para containers NVIDIA: em breve, o Databricks oferecerá suporte a containers NGC e ambientes personalizados NVIDIA CUDA, permitindo que sejam executados nativamente em dados dentro da plataforma.

O AI Runtime permite acesso contínuo a GPUs NVIDIA no Databricks.

2. Inferência: aceleração da NVIDIA no Databricks Model Serving

O Databricks Model Serving potencializa a inferência em produção para milhares de clientes do Databricks. No núcleo do Model Serving, o hardware e o software da NVIDIA oferecem a inferência de baixa latência e alta taxa de transferência em escala que nossos clientes precisam, em modelos de fronteira como Qwen, GPT-OSS e redes neurais personalizadas que nossos clientes constroem. Recursos adicionais de serving incluem hardware NVIDIA e o Triton Inference Server. O Model Serving oferece suporte às principais GPUs otimizadas para inferência, com o loteamento dinâmico avançado do Triton e desempenho otimizado em breve. Com o Model Serving, os clientes podem servir os modelos que treinam em hardware NVIDIA diretamente na infraestrutura gerenciada do Databricks.

3. Infraestrutura de agentes: explorando a NVIDIA Vera para o próximo gargalo de computação

O surgimento de agentes autônomos introduz um novo desafio de infraestrutura. Embora as GPUs se destaquem na inferência de modelos, a estrutura do agente, as chamadas de ferramentas, as análises baseadas em CPU e o gerenciamento de raciocínio em várias etapas são todos executados em CPUs. As CPUs de hoje costumam ser o gargalo: a latência nas chamadas de ferramentas, a sobrecarga de comunicação entre as etapas do agente e o desempenho inconsistente sob carga degradam a experiência com os agentes.

A NVIDIA Vera é uma CPU de última geração projetada especificamente para essa carga de trabalho. Projetada para três casos de uso principais — cargas de trabalho de agentes, aprendizado por reforço e análise de dados baseada em CPU —, a Vera oferece:

• Núcleos de alto desempenho projetados pela NVIDIA e compatíveis com Arm que oferecem consultas SQL até 3 vezes mais rápidas e desempenho de agentes 80% mais rápido, otimizados para padrões de computação intermitentes e sensíveis à latência, como chamadas de ferramentas e orquestração de agentes
• Largura de banda de memória massiva para as operações de uso intensivo de dados que os agentes realizam entre as chamadas de modelo
• Comunicação rápida de núcleo a núcleo, ajudando a fornecer um desempenho previsível à medida que a complexidade do agente aumenta

A visão é um stack completo acelerado pela NVIDIA no Databricks: os modelos são executados em GPUs NVIDIA para inferência, enquanto a estrutura do agente e as chamadas de ferramentas podem ser executadas em Vera CPUs, cada carga de trabalho em um silício desenvolvido sob medida para suas características. Os desenvolvedores personalizam modelos no Databricks usando dados proprietários, implantam-nos por meio do Model Serving, e a infraestrutura de agentes ao redor é executada em uma computação projetada do zero para esse padrão exato.

4. Experiência do desenvolvedor: facilitando a criação de AI acelerada

NVIDIA Agent Toolkit: implante no Databricks

Construído no Databricks Apps, as equipes podem hospedar e executar o NVIDIA Agent Toolkit, a plataforma de desenvolvimento de código aberto da NVIDIA para criar, personalizar e implantar fluxos de trabalho de AI baseados em agentes, diretamente em seu ambiente Databricks. Isso significa que você obtém:

• Recursos do NVIDIA Agent Toolkit: guardrails, uso de ferramentas, geração aumentada de recuperação e raciocínio em várias etapas, executados em aplicativos hospedados no Databricks.
• Databricks Apps como camada de hospedagem: implante qualquer base de código, incluindo agentes ou serviços criados com o NVIDIA Agent Toolkit, como aplicativos gerenciados com autenticação, rede e governança integradas por meio do Unity Catalog.
• Integração contínua com os dados, modelos e infraestrutura de serving do Databricks. Seus agentes podem acessar dados governados, chamar modelos via FMAPI e aproveitar a plataforma completa sem sair do ambiente.

Usando o Genie Code para cargas de trabalho de GPU

As GPUs são poderosas, mas obter uma excelente utilização, diagnosticar problemas de desempenho e depurar cargas de trabalho tradicionalmente exigiam profunda experiência em sistemas. Estamos mudando isso com uma abordagem focada em agentes (agent-first):

O Genie Code oferece suporte a habilidades projetadas em torno do hardware e software da NVIDIA. Os desenvolvedores podem:

• Depurar cargas de trabalho de GPU de forma conversacional: descreva o problema e obtenha orientações práticas
• Otimizar o desempenho: identifique gargalos de utilização, problemas de memória e sobrecarga de comunicação
• Aproveitar o conhecimento específico da NVIDIA: habilidades que compreendem CUDA, cuDNN, NCCL e ferramentas de criação de perfil (profiling) da NVIDIA

O Genie Code e as ferramentas de depuração da NVIDIA também estão totalmente integrados a várias superfícies de produtos do Databricks, incluindo:

• Notebooks: monitoramento, criação de perfil e depuração de GPU de primeira classe no ambiente de notebook
• MLflow: acompanhe as métricas e a utilização de GPU junto com os experimentos
• Model Serving: diagnostique a integridade do endpoint e o desempenho da GPU, identifique oportunidades para otimizar a mecânica do endpoint, como o escalonamento automático (autoscaling)

5. AI para o setor: software NVIDIA em dados governados do Databricks

Cada setor enfrenta desafios computacionais exclusivos, moldados pelos dados que gera e pelos modelos que constrói. Esses desafios abrangem desde a análise de genomas e a aceleração da descoberta de medicamentos até a otimização de cadeias de suprimentos, interpretação de imagens médicas e simulação de fábricas, robôs e gêmeos digitais.

Para ajudar resolver esses problemas, a NVIDIA investiu pesadamente em bibliotecas e frameworks de computação acelerada específicos de domínio. Estamos entusiasmados em trazer esses recursos diretamente para a plataforma Databricks.

Os clientes podem aproveitar a pilha de computação acelerada da NVIDIA em toda a experiência de ponta a ponta do Databricks – desde a engenharia de dados e experimentação até o desenvolvimento de modelos e fluxos de trabalho de produção; e agora as equipes de P&D específicas do domínio podem usar os recursos acelerados da NVIDIA sem sair da plataforma Databricks.

A parceria se estende pelas bibliotecas de computação acelerada e frameworks de domínio da NVIDIA que os clientes podem usar com o Databricks para cargas de trabalho de IA específicas do setor:

Olhando para o Futuro: Construindo para a Era Agêntica

A infraestrutura de IA da NVIDIA oferece suporte a camadas críticas de IA no Databricks: as GPUs que alimentam o treinamento e a inferência, as CPUs Vera que alimentarão sua orquestração de agentes e análise de dados, o NVIDIA Agent Toolkit que viabiliza seus aplicativos agênticos e as ferramentas de desenvolvedor que ajudam você a aproveitar ao máximo cada ciclo de computação.

Seja você uma startup experimentando sua primeira carga de trabalho de GPU na Free Edition, uma empresa farmacêutica executando o BioNeMo para descoberta de medicamentos ou uma grande empresa implantando modelos de fronteira em escala, o Databricks e a NVIDIA oferecem juntos o desempenho, a simplicidade e a governança de que você precisa.

Comece hoje mesmo: experimente as GPUs NVIDIA no Databricks Free Edition, implante o NVIDIA Agent Toolkit no Databricks Apps ou explore nossa Foundation Model API desenvolvida com a computação acelerada da NVIDIA.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original