Databricks와 NVIDIA: 에이전트 시대를 위한 구축

가속화된 AI 풀스택

NVIDIA의 가속 컴퓨팅은 대규모 학습, 미세 조정(fine-tuning), 추론부터 산업별 AI 솔루션에 이르기까지 Databricks에서 가장 까다로운 AI 워크로드를 지원합니다. 오늘 Data + AI Summit에서는 새로운 NVIDIA Vera CPU가 차세대 에이전트 기반 인프라를 어떻게 지원하는지 살펴보는 것을 포함하여, NVIDIA AI 인프라가 Databricks AI Runtime, Model Serving 및 산업용 AI 솔루션의 새로운 발표의 중심에 있는 이유를 조명합니다.

"NVIDIA와의 파트너십은 전체 AI 라이프사이클에 걸쳐 있습니다. AI Runtime의 분산 학습을 지원하는 NVIDIA 가속 인프라부터 서빙 및 개발자 플랫폼 내에서 실행되는 소프트웨어에 이르기까지 다양합니다. NVIDIA 기술을 Databricks의 데이터 및 거버넌스 기능과 결합하여 고객에게 빠르고 확장 가능하며 신뢰할 수 있는 기반 위에 구축된 엔터프라이즈 AI라는 놀라운 가치를 선사하게 되어 기쁩니다."- Adam Conway, Databricks 제품 부문 SVP

“Databricks는 기업이 가장 가치 있는 자산인 비즈니스 데이터를 기반으로 AI 에이전트를 구축, 배포, 확장 및 거버닝할 수 있도록 지원합니다. 확장된 파트너십을 통해 NVIDIA와 Databricks는 Vera CPU, Rubin GPU, NVIDIA Quantum InfiniBand 네트워킹 및 NVIDIA Agent Toolkit 소프트웨어를 Databricks 플랫폼에 내장함으로써 차세대 엔터프라이즈 AI의 발전을 가속화하고 있습니다.”- Pat Lee, NVIDIA 엔터프라이즈 전략적 파트너십 부문 부사장

학습 및 추론용 GPU부터 에이전트 시대를 위해 목적에 맞게 설계된 CPU에 이르기까지, Databricks와 NVIDIA가 함께 AI 플랫폼을 구축하는 방법을 소개합니다.

1. 학습 및 미세 조정(Fine-Tuning)

Databricks AI Runtime(AIR)은 NVIDIA GPU 가속을 데이터 및 AI 팀에 직접 제공하므로, 별도의 GPU 인프라를 관리하지 않고도 거버닝된 엔터프라이즈 데이터에서 모델을 학습시키고 미세 조정할 수 있습니다. AIR를 통해 고객은 Databricks에서 거버닝된 데이터가 있는 곳에서 바로 고급 NVIDIA 하드웨어 및 네트워킹을 활용할 수 있습니다:

• NVIDIA Quantum InfiniBand가 탑재된 NVIDIA Hopper GPU: 다중 노드 분산 학습을 위해 목적에 맞게 설계되었습니다. 파운데이션 모델을 사전 학습(pre-training)하든 대규모 미세 조정을 수행하든, AIR는 노드 간의 통신 병목 현상을 제거하는 NVIDIA의 고대역폭, 저지연 GPU 상호 연결(RDMA 지원 네트워킹)에 대한 기본 지원을 제공합니다. 또한 AIR는 NVIDIA Blackwell 아키텍처를 지원할 준비를 하고 있어 고객이 항상 최첨단 가속 컴퓨팅을 활용할 수 있도록 보장합니다.
• Free Edition의 NVIDIA GPU: DAIS에서 Databricks Free Edition 내 GPU 지원을 발표하게 되어 기쁘게 생각하며, 전 세계의 개발자, 학생, 스타트업이 GPU에서 AI 워크로드를 구축하고 배포할 수 있도록 지원합니다.
• NVIDIA 컨테이너 지원: 곧 Databricks는 NGC 컨테이너 및 맞춤형 NVIDIA CUDA 환경을 지원하여 플랫폼 내의 데이터에서 기본적으로 실행할 수 있도록 할 예정입니다.

AI Runtime은 Databricks 내에서 NVIDIA GPU에 대한 원활한 액세스를 지원합니다.

2. 추론: Databricks Model Serving에서의 NVIDIA 가속화

Databricks Model Serving은 수천 명의 Databricks 고객을 위해 프로덕션 추론을 지원합니다. Model Serving의 핵심인 NVIDIA 하드웨어와 소프트웨어는 Qwen, GPT-OSS와 같은 프론티어 모델과 고객이 구축한 맞춤형 신경망 전반에 걸쳐 고객이 필요로 하는 저지연, 고처리량의 대규모 추론을 제공합니다. 추가적인 서빙 기능에는 NVIDIA 하드웨어 및 Triton Inference Server가 포함됩니다. Model Serving은 Triton의 고급 동적 배칭(dynamic batching)과 곧 출시될 최적화된 성능을 갖춘 업계 최고의 추론 최적화 GPU를 지원합니다. Model Serving을 통해 고객은 NVIDIA 하드웨어에서 학습시킨 모델을 관리형 Databricks 인프라에서 직접 서빙할 수 있습니다.

3. 에이전트 기반 인프라: 차세대 컴퓨팅 병목 현상 해결을 위한 NVIDIA Vera 탐색

자율 에이전트의 부상은 새로운 인프라 과제를 안겨줍니다. GPU는 모델 추론에 탁월하지만, 에이전트 하네스(harness), 도구 호출(tool call), CPU 기반 분석 및 다단계 추론 관리는 모두 CPU에서 실행됩니다. 오늘날의 CPU는 종종 병목 현상이 됩니다. 도구 호출의 지연 시간, 에이전트 단계 간의 통신 오버헤드, 부하 시 불안정한 성능 등은 모두 에이전트 경험을 저하시킵니다.

NVIDIA Vera는 이 워크로드를 위해 특별히 설계된 차세대 CPU입니다. 에이전트 워크로드, 강화 학습, CPU 기반 데이터 분석의 세 가지 핵심 사용 사례를 위해 설계된 Vera는 다음과 같은 이점을 제공합니다:

• 최대 3배 빠른 SQL 쿼리와 80% 빠른 에이전트 성능을 제공하는 고성능 NVIDIA 설계 Arm 호환 코어로, 도구 호출 및 에이전트 오케스트레이션과 같이 지연 시간에 민감하고 일시적으로 급증하는 컴퓨팅 패턴에 최적화되어 있습니다.
• 에이전트가 모델 호출 사이에 수행하는 데이터 집약적인 작업을 위한 대규모 메모리 대역폭
• 에이전트의 복잡성이 커짐에 따라 예측 가능한 성능을 제공하는 데 도움이 되는 빠른 코어 간 통신

비전은 Databricks의 엔드투엔드 NVIDIA 가속 스택입니다. 모델은 추론을 위해 NVIDIA GPU에서 실행되고, 에이전트 하네스 및 도구 호출은 Vera CPU에서 실행될 수 있으며, 각 워크로드는 해당 특성에 맞게 특별히 제작된 실리콘에서 실행됩니다. 개발자는 자체 데이터를 사용하여 Databricks에서 모델을 맞춤화하고 Model Serving을 통해 배포하며, 주변 에이전트 인프라는 해당 패턴에 맞게 처음부터 설계된 컴퓨팅에서 실행됩니다.

4. 개발자 경험: 가속화된 AI를 더 쉽게 구축하기

NVIDIA Agent Toolkit: Databricks에 배포

Databricks Apps를 기반으로 구축되어, 팀은 에이전트 기반 AI 워크로드를 구축, 맞춤화 및 배포하기 위한 NVIDIA의 오픈 소스 개발 플랫폼인 NVIDIA Agent Toolkit을 Databricks 환경 내에서 직접 호스팅하고 실행할 수 있습니다. 이는 다음과 같은 이점을 의미합니다:

• NVIDIA Agent Toolkit 기능: 가드레일, 도구 사용, 검색 증강 생성(RAG), 다단계 추론 등이 Databricks에서 호스팅되는 애플리케이션에서 실행됩니다.
• 호스팅 레이어로서의 Databricks Apps: NVIDIA Agent Toolkit으로 구축된 에이전트나 서비스를 포함한 모든 코드베이스를 Unity Catalog를 통한 기본 제공 인증, 네트워킹 및 거버넌스를 갖춘 관리형 애플리케이션으로 배포할 수 있습니다.
• Databricks의 데이터, 모델 및 서빙 인프라와의 원활한 통합: 에이전트는 환경을 벗어나지 않고도 거버닝된 데이터에 액세스하고, FMAPI를 통해 모델을 호출하며, 전체 플랫폼을 활용할 수 있습니다.

GPU 워크로드에 Genie Code 사용하기

GPU는 강력하지만, 뛰어난 활용도를 얻고 성능 문제를 진단하며 워크로드를 디버깅하려면 전통적으로 깊은 시스템 전문 지식이 필요했습니다. 당사는 에이전트 우선 접근 방식으로 이를 바꾸고 있습니다.

Genie Code는 NVIDIA 하드웨어 및 소프트웨어를 중심으로 설계된 기술을 지원합니다. 개발자는 다음을 수행할 수 있습니다:

• 대화형으로 GPU 워크로드 디버깅: 문제를 설명하고 실행 가능한 지침을 받습니다.
• 성능 최적화: 활용도 병목 현상, 메모리 문제 및 통신 오버헤드를 식별합니다.
• NVIDIA 특화 지식 활용: CUDA, cuDNN, NCCL 및 NVIDIA 프로파일링 도구를 이해하는 기술을 활용합니다.

Genie Code 및 NVIDIA 디버깅 도구는 다음을 포함한 다양한 Databricks 제품 영역과도 완전히 통합됩니다:

• Notebooks: 노트북 환경에서 최상급 GPU 모니터링, 프로파일링 및 디버깅 제공
• MLflow: 실험과 함께 GPU 메트릭 및 활용도 추적
• Model Serving: 엔드포인트 상태 및 GPU 성능을 진단하고, 오토스케일링(autoscaling)과 같은 엔드포인트 메커니즘을 최적화할 기회를 식별합니다.

5. 산업용 AI: 거버닝된 Databricks 데이터 기반의 NVIDIA 소프트웨어

모든 산업은 생성하는 데이터와 구축하는 모델에 따라 고유한 컴퓨팅 과제에 직면해 있습니다. 이러한 과제는 게놈 분석 및 신약 개발 가속화부터 공급망 최적화, 의료 이미지 해석, 공장, 로봇 및 디지털 트윈 시뮬레이션에 이르기까지 모든 분야에 걸쳐 있습니다.

이러한 문제를 해결하기 위해 NVIDIA는 도메인별 가속 컴퓨팅 라이브러리 및 프레임워크에 막대한 투자를 해왔습니다. 이러한 기능을 Databricks 플랫폼에 직접 도입하게 되어 기쁩니다.

고객은 데이터 엔지니어링 및 실험부터 모델 개발 및 프로덕션 워크플로에 이르기까지 엔드투엔드 Databricks 경험 전반에서 NVIDIA의 가속 컴퓨팅 스택을 활용할 수 있습니다. 이제 특정 도메인의 R&D 팀도 Databricks 플랫폼을 벗어나지 않고 NVIDIA의 가속화된 기능을 사용할 수 있습니다.

이번 파트너십은 고객이 산업별 AI 워크로드를 위해 Databricks와 함께 사용할 수 있는 NVIDIA의 가속 컴퓨팅 라이브러리 및 도메인 프레임워크로 확장됩니다.

향후 전망: 에이전트 시대를 위한 구축

NVIDIA AI 인프라는 Databricks에서 AI의 핵심 레이어를 지원합니다. 학습 및 추론을 구동하는 GPU, 에이전트 오케스트레이션 및 데이터 분석을 구동할 Vera CPU, 에이전트 애플리케이션을 지원하는 NVIDIA Agent Toolkit, 그리고 모든 컴퓨팅 사이클을 최대한 활용할 수 있도록 돕는 개발자 도구가 여기에 포함됩니다.

Free Edition에서 첫 GPU 워크로드를 실험하는 스타트업이든, 신약 개발을 위해 BioNeMo를 실행하는 제약 회사든, 대규모로 프론티어 모델을 배포하는 기업이든 관계없이 Databricks와 NVIDIA는 고객에게 필요한 성능, 단순성 및 거버넌스를 함께 제공합니다.

지금 시작해 보세요. Databricks Free Edition에서 NVIDIA GPU를 사용해 보거나, Databricks Apps에 NVIDIA Agent Toolkit을 배포하거나, NVIDIA 가속 컴퓨팅으로 구동되는 Foundation Model API를 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)