AI Runtime 정식 출시

오늘 Databricks에 완전 관리형 GPU 인프라를 직접 제공하는 AI Runtime(AIR)의 정식 출시(General Availability) 소식을 발표하게 되어 매우 기쁩니다. 이를 통해 고객은 기업 데이터가 이미 존재하는 위치에서 가장 까다로운 모델을 학습시킬 수 있습니다.

AI 팀이 모델을 개선하는 시간보다 GPU 용량을 확보하고, 장애를 관리하며, 실험이 시작되기를 기다리는 데 더 많은 시간을 소요하는 경우가 너무 흔하게 발생합니다. GPU 인프라를 레이크하우스와 별도로 운영하면 거버넌스 공백이 생기고 민감한 학습 데이터가 위험에 노출됩니다. 코딩 에이전트가 더 많은 학습 실험을 주도함에 따라 이러한 병목 현상과 리스크가 커지고 있으며, 신뢰할 수 있고 빠르며 거버넌스가 확보된 인프라가 필수적입니다.

AIR는 GPU 인프라, 개발자 도구, 데이터 거버넌스를 하나로 결합하여 팀이 별도의 GPU 스택을 관리할 필요 없이 대규모 학습을 수행하고, 더 빠르게 반복하며, 모든 워크로드를 안전하게 보호할 수 있도록 지원합니다. Robinhood, PicPay, Merck, Flo Health, TinyFish, FactSet을 비롯한 수백 개의 기업이 이미 AIR를 사용하여 헬스케어, 제조, 고객 접점 에이전트에 이르는 유스케이스 전반에서 딥러닝 모델을 학습하고 프로덕션에 배포하고 있습니다. Databricks의 Databricks AI Research 팀도 AIR를 사용하여 KARL 및 AI Parse의 기반 모델을 학습시킵니다.

AIR를 통해 고객은 다음을 수행할 수 있습니다.

• 복잡함 없는 GPU 인프라로 대규모 학습 수행: 신뢰할 수 있는 다중 노드(multinode) 학습, 최적화된 성능, 10만 GPU 시간 이상의 학습 실행을 통해 검증된 서버리스 온디맨드 고급 GPU 액세스를 제공합니다.
• 지연 없는 빠른 실행과 쉬운 디버깅으로 신속한 실험: 자신의 코드, 컨테이너, Ray 워크로드를 가져와 RDMA 지원 GPU에서 초 단위의 실행 지연 시간을 경험하세요. 환경 캐싱 및 내장 디버깅 도구를 통해 모든 학습 루프에서 시간을 절약할 수 있습니다.
• 모든 GPU 워크로드의 보안 및 거버넌스 확보: AIR는 Databricks 및 Unity Catalog의 거버넌스 경계 내에서 작동하며, 지속적인 서버리스 보안 투자를 바탕으로 지원됩니다. AIR는 GPU 워크로드가 소중한 학습 데이터를 보호하고, 액세스 정책을 준수하며, 추적 및 감사 가능하도록 지원합니다.

복잡함 없는 GPU 인프라

GPU 인프라 관리에는 용량 계획 및 노드 유지 관리부터 네트워킹 및 모니터링에 이르기까지 상당한 운영 오버헤드가 발생합니다. 

AIR를 사용하면 Databricks가 GPU 프로비저닝, 인프라 상태 유지, 워크로드 최적화와 같은 운영 작업을 담당하므로 팀은 모델 학습에만 집중할 수 있습니다.

• 필요한 GPU 용량을 온디맨드로 확보하세요. Databricks가 GPU 조달, 클러스터 구성 및 네트워킹을 처리하므로 전체 GPU 플랫폼을 직접 구축하고 운영할 필요 없이 바로 학습을 시작할 수 있습니다.
• 안정적인 인프라에서 안심하고 확장하세요. Databricks는 학습 전과 과정 중에 GPU 및 네트워크 상태 검사를 수십 차례 수행하므로 워크로드를 수백 개의 GPU로 안정적으로 확장할 수 있습니다.
• 기본으로 제공되는 효율적인 학습: 내장된 데이터 로더가 학습 데이터를 스트리밍 및 캐싱하여 I/O 대기 시간을 줄여줍니다. 별도의 맞춤형 로딩 파이프라인을 구축하지 않고도 UCVolumeDataset과 같은 도구를 사용하여 데이터 처리량을 개선하세요.

Databricks AI Runtime을 사용하여 대규모 학습 환경을 8개의 A100 GPU가 탑재된 단일 노드 설정에서 16개의 H100 GPU가 탑재된 다중 노드 설정으로 전환했습니다. 이를 통해 학습 시간이 약 7일에서 48시간으로 줄어들어 3.5배의 속도 향상을 이루었으며, 저희 팀이 더 큰 모델 실험을 반복하고 훨씬 효율적으로 학습을 진행할 수 있게 되었습니다.- Kostia Omelianchuk, Superhuman의 수석 연구원(Applied Research Scientist) 겸 영역 테크 리드

어디서나 간편하게 GPU 활용

CLI를 통해 또는 Notebook이나 IDE 내에서 대화형으로 GPU에 액세스할 수 있습니다. 첫 번째 워크로드는 단 하나의 CLI 명령어만 있으면 실행됩니다. Databricks AIR Skills를 사용하면 K8S 또는 SLURM 클러스터에서의 마이그레이션도 자연어 프롬프트 한 번이면 충분합니다.

 

Lakeflow를 통해 안심하고 GPU 워크로드 오케스트레이션

AIR는 Lakeflow와 기본적으로 통합되어 GPU 워크로드를 업스트림 및 다운스트림 파이프라인과 동기화된 상태로 유지할 수 있습니다. 프로덕션으로의 전환은 몇 줄의 YAML 코드 추가만으로 가능하며, 유휴 GPU 시간을 최소화하는 기본 우선순위/선점(priority/pre-emption) 기능 및 운영 부담을 줄여주는 Genie ZeroOps와 같은 모니터링 도구가 제공됩니다.

 

더 빠른 실험, 디버깅 및 반복

분산 학습 워크로드는 설정하고 시작하는 과정이 까다롭고 번거롭습니다. AI 팀은 학습 환경 구성, GPU 클러스터가 시작되기를 기다리는 일, 스택 전체에 걸친 문제 디버깅에 소중한 시간을 낭비하곤 합니다.

AIR를 사용하면 코드 작성부터 학습까지 몇 초 만에 완료할 수 있습니다. 사전 빌드된 환경을 사용하거나 자신의 컨테이너를 가질 수 있으며, 고도로 최적화된 환경 캐싱의 이점을 통해 환경을 한 번만 빌드하면 됩니다. AIR는 Ray를 포함한 모든 주요 프레임워크와 호환되므로 최소한의 설정으로 코드를 가져올 수 있습니다.  

Databricks AI Runtime을 통해 대규모 모델 학습에 필요한 신뢰성, 보안 및 성능을 제공받으면서 데이터가 이미 존재하는 곳에서 학습을 진행할 수 있게 되었습니다. 덕분에 GPU 인프라 관리 시간을 줄이고 모델 자체를 개선하는 데 더 많은 시간을 할애할 수 있게 되었습니다.- Vladislav Nedosekin, Flo Health 데이터 & AI 플랫폼 엔지니어링 디렉터

몇 초 만에 다음 실험 시작

학습 스크립트를 개발하며 반복할 때 지연되는 매 순간은 계속해서 부담이 됩니다. 따라서 당사는 프로비저닝 스택의 모든 레이어를 최적화하여 수십 개의 GPU가 포함된 대규모 RDMA 지원 클러스터 워크로드조차 몇 초 만에 가동될 수 있도록 했습니다.

 

한곳에서 분산 학습 디버깅

업계 선도적인 실험 추적 도구인 MLflow에 완전히 새로운 관측 가능성(observability) 경험을 구축했습니다. 이 새로운 경험을 통해 제출 후 몇 초 만에 스트리밍되는 로그를 디버깅하는 작업이 AIR 명령에 –watch 를 추가하는 것만큼 간단해집니다. 더 심층적인 조사를 위해 멀티노드 학습에 맞춤 설계된 새로운 로그 뷰어를 사용할 수 있습니다.

Databricks AI Runtime은 맞춤형 Text To Formula(TTF) 모델을 학습시키는 프로세스를 크게 간소화했습니다. 인프라 설정이나 지연 없이 프롬프트 크기와 출력 토큰 생성을 기반으로 적절한 컴퓨팅을 쉽게 선택할 수 있었습니다. 덕분에 저희는 빠르게 진행하고, 레이크하우스 워크플로를 유지하며, 완전한 거버넌스가 적용된 고품질 모델을 제공할 수 있었고, 모델 설정, 학습, 배포 시간을 며칠에서 몇 시간으로 줄일 수 있었습니다.- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

내장된 Genie Code를 통한 에이전트 기반 디버깅

Genie Code는 전체 사용자 경험에 포함되어 있으며, 문제를 디버깅하고 GPU 학습 성능을 최적화하는 데 도움이 되는 에이전트 스킬이 기본 제공됩니다. 이러한 스킬에는 연구 및 성능 팀이 발견한 인사이트가 포함되어 있습니다. 예를 들어 저희가 AIR에서 Qwen 학습 시간을 6배 단축한 방법과 같은 인사이트입니다.

Robinhood에서 AI Runtime은 인프라 오버헤드 없이 팀이 실험에서 학습으로 더 빠르게 이동할 수 있도록 지원합니다. 파인 튜닝(Fine-tuning)이 매끄럽게 진행되어, 거버넌스 및 데이터 제어를 내장한 상태에서 데이터가 존재하는 위치에서 바로 학습을 진행할 수 있습니다. 이는 복잡한 GPU 설정을 관리하는 데 소요되는 시간을 줄이고, 더 나은 모델을 구축하는 데 더 많은 시간을 할애할 수 있음을 의미합니다.- Robert Macy III, Machine Learning Engineer, Robinhood

Databricks AI Runtime을 사용하면 기존 데이터 워크플로 내부에서 수백만 개의 레코드에 걸쳐 서버리스 GPU 기반의 분산 학습을 확장할 수 있습니다. 상위 20개 바이오제약 회사 중 더 많은 기업이 개발 결정을 내리기 위해 당사의 모델에 의존함에 따라, 이러한 속도와 단순성 덕분에 저희 팀은 인프라 관리 대신 모델 개선에 계속 집중할 수 있습니다.- Eran Barash, VP of Artificial Intelligence and Machine Learning, QuantHealth

Lakehouse의 일부로 모든 GPU 워크로드의 보안 및 거버넌스 확보

GPU 인프라를 엔터프라이즈 데이터와 별개로 관리하면 거버넌스 공백, 파편화된 접근 제어, 불필요한 데이터 복제가 발생합니다. 에이전트가 수백 개의 학습 실험을 병렬로 실행함에 따라, 수동 감시에 의존하지 않고도 민감한 데이터가 관리 상태를 유지하고 워크로드가 안전하게 격리되도록 보장해야 합니다. OpenAI Huggingface 사건은 이러한 위험을 명확히 보여줍니다. 

AIR는 신뢰할 수 있는 데이터 제어 및 거버넌스를 모든 GPU 워크로드로 확장합니다. Unity Catalog는 GPU 워크로드의 모든 측면(데이터 액세스, 체크포인트, 로그 등)에서 일관된 읽기/쓰기 권한을 적용하므로, GPU 플랫폼과 데이터 거버넌스 레이어가 동일한 언어로 작동하게 됩니다. 

워크로드 격리 및 네트워크 액세스 제어

AIR는 다년간의 서버리스 보안, 격리 및 프라이빗 네트워킹에 대한 투자를 바탕으로 구축되었습니다. 호스트 커널을 노출하는 GPU 격리 메커니즘과 달리 AIR는 VM 수준의 격리를 제공하고 PrivateLink 및 서버리스 이그레스(egress) 제어를 지원합니다. 따라서 AIR는 기존 시스템에 비해 학습 워크로드에 대한 훨씬 더 강력한 보호를 제공합니다. 

GPU 예산의 사용처 파악

다른 Databricks 워크로드와 함께 Databricks 청구 시스템 테이블을 통해 AIR 사용량과 비용을 추적하세요. 워크로드 수준의 사용 기록을 통해 어떤 학습 워크로드가 GPU 예산을 소비하는지 파악하고 향후 실행에 대한 의사결정을 가이드받으세요. 

Databricks AI Runtime 및 Serverless를 통해 더 큰 모델, 여러 H100 GPU, 방대한 양의 데이터를 활용하여 LLM 학습 및 추론을 더욱 빠르게 확장할 수 있었습니다. 기존 파이프라인과의 통합은 Databricks의 오케스트레이션 및 모니터링 기능과 결합하여 엔드 투 엔드 워크플로를 더욱 단순하고 효율적으로 만들어 인프라 복잡성과 개발 주기 시간을 줄여주었습니다.- Vitor Rolim, Staff Machine Learning Engineer, PicPay

저희에게 모델 학습은 문제의 일부분일 뿐입니다. 변경 사항이 실제로 에이전트의 실제 작업 완료 능력을 향상시키는지 파악하고, 이러한 개선 사항을 조기에 프로덕션에 적용할 수 있어야 합니다. AI Runtime을 사용하면 각 단계마다 별도의 스택을 구축하지 않고도 GPU에서 학습하고, MLflow로 평가하며, 웹 네이티브 모델을 서빙할 수 있습니다.- Zach Richardson, Head of AI, TinyFish

첫 번째 GPU 워크로드 시작하기

시작하는 데 도움이 되도록 몇 가지 템플릿 노트북과 스타터 가이드를 준비했습니다. 

• 시작하려면 빠른 시작 가이드를 참조하여 몇 초 만에 AI Runtime에 연결하세요. 
• AI Runtime에 대해 자세히 알아보려면 3분 데모 영상을 시청하고 웹페이지를 방문하세요.
• 예제에서 AIR을 사용해보고 싶으신가요? cookbook 리포지토리를 클론하여 단 하나의 CLI 명령으로 시작해보세요!

자세한 내용이 궁금하거나 문의 사항이 있는 경우 계정 담당 팀에 문의해주세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)