Databricks AI Runtime과 NVIDIA를 통해 엔터프라이즈 데이터로 오픈 모델을 더 쉽게 맞춤화할 수 있습니다.

GPU는 최첨단 언어 모델부터 멀티모달 AI 시스템 및 에이전트에 이르기까지 오늘날 가장 진보된 AI 워크로드를 지원합니다. 점차 많은 기업이 오픈 모델을 자체 데이터와 비즈니스 요구사항에 맞게 조정하고 있습니다. 하지만 GPU 액세스를 확보하는 것은 과제의 일부분일 뿐입니다. 팀은 학습 작업 구성, 데이터 액세스 거버넌스 관리, GPU 인프라 관리도 수행해야 하므로 모델을 실험하고 비즈니스 요구사항을 얼마나 잘 충족하는지 평가할 시간이 부족해집니다.

Databricks와 NVIDIA는 소형 모델 미세 조정부터 대규모 분산 학습에 이르기까지 기업 데이터에서 맞춤형 AI 모델로 이어지는 매끄러운 경로를 제공합니다. Databricks는 Unity Gateway를 통해 개발자에게 프론티어 및 오픈소스 모델에 대한 거버넌스 적용 액세스를 제공합니다. 모델을 맞춤화해야 하는 팀을 위해 AI Runtime(AIR)은 NVIDIA의 AI 소프트웨어 생태계와 서버리스 GPU를 기업 데이터로 가져옵니다. 팀은 AIR에서 모델을 실험, 미세 조정, 평가한 다음 Databricks Model Serving을 통해 실시간 추론용으로 배포할 수 있으며, 이 모든 작업은 Databricks Platform 내에서 최소한의 인프라 및 거버넌스 관리 작업으로 수행됩니다.

오늘 GTC Berlin에서 Databricks와 NVIDIA는 기업이 오픈 모델을 더 쉽게 맞춤화할 수 있도록 협업을 확대합니다. Databricks AIR가 이제 정식 출시되었습니다: 개발자는 NVIDIA NeMo, NGC 컨테이너 및 새로운 Nemotron 쿡북을 사용하여 서버리스 NVIDIA GPU에서 오픈 모델을 학습하고 미세 조정할 수 있습니다. 이러한 기능을 통해 팀은 모델을 비즈니스 전용 태스크에 맞게 조정하고 애플리케이션 및 에이전트에 적용할 수 있는 더 큰 유연성을 얻게 됩니다.

AI Runtime은 그동안 머신러닝 엔지니어들이 접근하기 어려웠던 기업 데이터 기반의 모델 학습과 강화 학습을 가능하게 만들었습니다. AI Runtime과 NVIDIA의 AI 소프트웨어 생태계를 활용하면 팀은 Nemotron과 같은 오픈 웨이트 모델을 자체 사용 사례와 비즈니스 컨텍스트에 맞게 특화할 수 있습니다. 거버넌스가 적용된 데이터 액세스, 대규모 학습의 편의성, 자동화된 디버깅을 위한 Genie Code를 갖춘 AI Runtime은 기업 내 맞춤형 모델의 확산을 가속화할 것입니다.—Hanlin Tang, Databricks 신경망 부문 CTO

에이전트는 비즈니스의 실제 운영 방식, 즉 데이터, 워크플로, 전문 지식에 기반할 때 가장 큰 가치를 발휘합니다. NVIDIA와 Databricks는 Nemotron 및 Kumo와 같은 오픈 모델을 거버넌스가 적용된 기업 데이터에 직접 연결하여, 팀이 회사 지식을 바탕으로 추론하고 다음 단계를 예측하며 행동을 취할 수 있는 특화된 에이전트를 구축할 수 있도록 모델, 도구 및 가속 컴퓨팅을 제공합니다.—Pat Lee, NVIDIA 전략적 파트너십 부문 VP

AI Runtime으로 더 빠른 학습 및 미세 조정 

AIR는 학습 및 미세 조정을 위한 서버리스 NVIDIA GPU를 제공하므로 개발자는 GPU 인프라를 직접 관리하지 않고도 기존 코드와 컨테이너를 대규모로 실행할 수 있습니다. 다중 노드 분산 학습 지원을 통해 팀은 여러 GPU 노드에 걸쳐 더 큰 워크로드를 확장할 수 있습니다. NVIDIA Quantum InfiniBand는 원격 직접 메모리 액세스(RDMA)를 이용한 고대역폭, 저지연 네트워킹을 제공하며, NVIDIA Collective Communications Library(NCCL)는 GPU 간 통신을 처리합니다. Databricks는 기본 클러스터와 네트워킹을 관리합니다.

예를 들어 기술 지원 에이전트를 구축하는 기업은 NVIDIA Nemotron 오픈 모델로 시작하여 AIR에서 NVIDIA NeMo를 사용해 라벨링된 지원 티켓 데이터로 미세 조정할 수 있습니다. 팀은 모델을 특정 지원 워크플로에 맞게 조정하면서 다양한 학습 방식을 실험하고 MLflow를 사용해 결과를 추적할 수 있습니다.

개발자는 고성능 데이터 로딩 및 PyTorch와 CUDA가 포함된 표준 환경을 사용하여 GPU 기반 노트북이나 AIR CLI를 통해 Lakehouse 데이터를 준비하고 실험할 수 있습니다. 분산 학습 프레임워크를 사용하거나 자체 라이브러리 및 커스텀 학습 루프를 적용할 수도 있습니다.

실험을 반복적으로 실행할 준비가 되면 Lakeflow Jobs를 통해 업스트림 데이터 준비 및 다운스트림 평가와 함께 학습을 오케스트레이션하여 개별 실행을 반복 가능한 워크플로로 전환할 수 있습니다. Declarative Automation Bundles는 이러한 워크플로의 배포 및 업데이트를 위한 CI/CD를 지원합니다.

MLflow는 학습 실험과 GPU 사용률을 추적하여 팀이 모델 결과와 컴퓨팅 성능을 비교할 수 있도록 돕습니다. Unity Catalog는 학습 데이터에 대한 액세스를 거버넌스하며, 네이티브 시스템 테이블은 CPU 및 GPU 사용량에 대한 가시성을 제공합니다. 이러한 통합을 통해 팀은 Databricks에서 이미 신뢰하고 사용하는 데이터, 거버넌스 및 운영 도구를 그대로 활용할 수 있습니다.

NVIDIA AI 소프트웨어로 워크로드 가속화

딥러닝 모델을 학습하고 미세 조정하려면 GPU 컴퓨팅 그 이상이 필요합니다. 팀에는 프레임워크, 라이브러리 및 환경에 대한 유연성도 필요합니다. AIR는 이제 Docker 및 프라이빗 레지스트리를 지원하여 개발자가 커스텀 컨테이너 환경을 GPU 워크로드에 적용할 수 있도록 합니다.

개발자는 Databricks Artifact Registry와 함께 NVIDIA NGC Catalog의 GPU 최적화 컨테이너를 사용하여 NVIDIA 소프트웨어를 AIR로 가져올 수 있습니다. 환경 캐싱은 이러한 워크로드가 신속하게 시작되도록 지원하여 팀이 학습 코드를 반복하고 실험을 재실행할 때 설정 오버헤드를 줄여줍니다.

또한 개발자는 NVIDIA 프로파일링 도구를 설치하여 GPU 실행을 조사하고 성능 병목 현상을 파악할 수 있습니다. MLflow에서 추적되는 GPU 사용률 지표와 함께 이러한 도구는 팀이 학습 워크로드에서 시간이 소요되는 부분을 이해하고 성능 개선 기회를 포착하도록 지원합니다. AIR가 기본 GPU 인프라를 관리하는 동안 팀은 소프트웨어와 학습 코드를 튜닝할 수 있습니다.

AIR는 시계열 이상 탐지를 위한 오픈 연구 모델인 NVIDIA Kumo Anomaly를 위한 검증된 미세 조정 워크플로(MLflow 추적 및 Unity Catalog 체크포인트 포함)를 포함하여 LLM을 넘어선 맞춤화를 지원합니다. 이는 에이전트 지식 레이어를 구축하려는 NVIDIA의 Agent Knowledge Foundation 비전을 지원합니다. Kumo-Anomaly와 Genie Ontology를 결합하면 시계열 데이터의 비정상적인 패턴을 비즈니스 의미와 연결하여 다음 단계를 결정하는 데 도움을 주는 컨텍스트 인식 에이전트로 나아가는 길을 제공합니다.

Nemotron 모델 맞춤화 및 서빙

Nemotron 3.5 Lightning 및 Super VL 출시와 함께 Databricks 고객은 첫날부터 Databricks에서 이러한 모델을 로드, 실험, 조정 및 서빙할 수 있습니다. 

AIR는 NVIDIA NeMo 및 NeMo Automodel을 통한 모델 맞춤화를 지원하여 팀이 서버리스 NVIDIA GPU에서 NVIDIA의 도구와 프레임워크를 사용할 수 있도록 합니다. 기술 지원 에이전트 예시의 경우, 개발자가 이러한 도구를 사용하여 지난 지원 티켓 데이터로 Nemotron을 미세 조정함으로써 모델이 회사 전용 제품, 용어 및 문제 해결 워크플로를 더 잘 이해하도록 도울 수 있음을 의미합니다. 학습 과정은 Databricks 내의 기업 데이터 및 워크플로와 지속적으로 연결되어 유지됩니다.

Genie Code는 개발자가 노트북에서 직접 학습 스크립트를 작성하고 수정할 수 있도록 지원합니다. 개발자는 필요한 변경 사항을 설명하고, 미세 조정 실행 구성에 도움을 요청하며, 발생한 오류를 차근차근 해결할 수 있습니다. 제안된 코드를 검토하고 다듬은 후 서버리스 NVIDIA GPU에서 실행할 수 있습니다.

미세 조정을 위해 AIR는 최적화된 데이터 로딩, 체크포인팅 및 학습을 통합된 관찰 가능성 및 디버깅 도구와 결합합니다. 개발자는 MLflow에서 실험 및 GPU 지표를 추적하고 Genie Code를 사용하여 다음 작업을 수행할 수 있습니다.

• 모델 코드를 디버그하고 학습 오류를 조사합니다.
• 메모리 문제 및 통신 오버헤드를 포함한 GPU 성능 병목 현상을 식별합니다.
• CUDA, cuDNN, NCCL 및 프로파일링 도구에 대한 NVIDIA 전용 지침을 적용합니다.

파인 튜닝 및 평가를 거친 후, 팀은 Databricks Model Serving을 통해 맞춤형 모델을 프로덕션 환경에 배포할 수 있습니다. 기술 지원 예시에서는 파인 튜닝된 Nemotron 모델이 들어오는 지원 요청을 해석하고 회사의 제품 및 문제 해결 워크플로를 기반으로 응답을 생성하는 에이전트를 구동할 수 있습니다. 이로써 서버리스 NVIDIA GPU 기반 모델 맞춤화부터 실시간 추론에 이르는 워크플로가 완결됩니다.

Databricks AI Runtime 및 NVIDIA 시작하기

자세한 내용은 웹페이지 및 AIR 문서에서 확인하고, Nemotron 3.5 SuperVL 및 Nemotron 3.5 Lightning 쿡북을 살피며 Databricks에서 GPU 학습 및 파인 튜닝을 시작해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)