AI 플랫폼의 새로운 소식: ML 엔지니어링을 위한 에이전트, 딥러닝 플랫폼, 그리고 실시간 ML을 위한 새로운 기능

자체 AI 모델과 시스템을 구축하기에 지금보다 더 역동적이고 흥미진진한 시기는 없었습니다. 수요 예측과 사기 탐지부터 검색, 추천, 개인화, 멀티모달 AI에 이르기까지, 머신러닝은 모든 산업 분야에서 중요한 애플리케이션을 구동하고 있습니다.

Data + AI Summit 2026에서 Databricks AI Platform의 다음과 같은 새로운 기능을 발표하게 되어 매우 기쁩니다.

• ML용 Genie Code: Genie Code는 이제 ML 엔지니어링을 위해 업그레이드된 인텔리전스와 피처 엔지니어링, 모델 학습, 서빙, 모니터링 등 모든 Databricks ML 플랫폼 구성 요소와의 네이티브 통합을 제공합니다.
• AI Runtime (퍼블릭 프리뷰): 복잡한 인프라 관리 없이 연구원 수준의 딥러닝 및 미세 조정을 가능하게 하는 서버리스 GPU 학습 환경입니다.
• 실시간 ML에 대한 지원 강화: Feature Store 및 Model Serving 제품 전반에서 저지연, 고 QPS 지원을 포함합니다.

이러한 기능들이 결합되어 실험부터 프로덕션까지의 경로를 간소화함으로써, 기업이 이전보다 훨씬 더 빠르게 AI 애플리케이션을 구축, 배포 및 확장할 수 있도록 지원합니다.

새로운 기능들을 더 자세히 살펴보겠습니다.

머신러닝용 Genie Code

오늘날 ML 모델을 프로덕션에 도입하는 데는 수개월이 걸릴 수 있으며, 팀은 피처 엔지니어링 및 실험 관리부터 모델 평가, 배포에 이르기까지 ML 라이프사이클 전반의 반복적인 작업에 수많은 시간을 소비합니다. 하지만 에이전트는 엔지니어링 및 기술 팀의 운영 방식을 변화시켰습니다. 이를 위해 올해 DAIS에서 Genie Code가 전체 ML 라이프사이클을 지원하게 되었음을 발표하게 되어 기쁩니다.

ML 모델을 구축하고 운영하려면 일반적인 코딩 에이전트가 내릴 수 없는 미묘한 결정이 필요합니다. 이 데이터 세트의 최신성과 품질을 피처로 신뢰할 수 있을까요? 이 피처가 미래의 정보를 모델에 유출하지는 않을까요? 이 서빙 엔드포인트가 드리프트하기 시작했나요? ML의 세부 사항을 올바르게 파악하려면 깊은 맥락이 필요하며, 이러한 맥락은 데이터 및 ML 플랫폼(데이터와 그 품질, 피처 계보, 실험 이력, 학습 인프라, 프로덕션 성능)과의 긴밀한 통합을 통해서만 얻을 수 있습니다.

바로 이 부분에서 Genie Code가 활약합니다.

• Unity Catalog를 통한 데이터 맥락 이해: Genie Code는 데이터, 비즈니스 의미론, 거버넌스 모델을 이해합니다. Unity Catalog와의 통합을 통해 어떤 테이블과 피처가 ML에 적합한 고품질인지, 데이터가 ML 파이프라인을 통해 어떻게 흐르는지, 어떤 액세스 제어 및 정책을 준수해야 하는지 파악합니다.
• Databricks ML 스택에 대한 맥락 이해: Genie Code는 Databricks에서의 ML을 위해 구축되었으며 Feature Store, Serverless Compute, AI Runtime, Model Serving 및 Inference Tables와 깊이 통합됩니다. 단순히 상호 작용하는 코드를 생성하는 것을 넘어, 학습 작업을 최적화하고, 서빙 문제를 진단하며, 도전자 모델을 평가하고, ML 스택 전반에 걸쳐 조치를 취할 수 있습니다.
• ML 라이프사이클 및 워크플로우에 대한 맥락 이해: MLflow를 통해 Genie Code는 전체 ML 라이프사이클을 이해합니다. 피처 엔지니어링 및 실험부터 배포, 모니터링, 드리프트 감지, 재학습, 프로덕션 운영에 이르기까지 모든 과정을 아우릅니다. 모델이 배포된 후에도 멈추지 않고, CTR, 전환율, 매출 등 모델이 주도하는 비즈니스 지표가 프로덕션 환경에서 정상적으로 유지되도록 돕습니다.

이처럼 Genie Code를 사용하면 ML 팀이 그 어느 때보다 빠르게 움직일 수 있습니다.

Genie Code는 시니어 ML 엔지니어가 하는 방식 그대로 피처 엔지니어링을 처리합니다. 팀의 기존 패턴을 학습하고, 검증된 변환을 재사용하며, 이미 프로덕션에 적용된 것과 일관된 피처를 구축합니다.

Genie Code는 단순히 ML 코드를 작성하는 데 그치지 않고, 프로덕션급 모델을 학습시키고 튜닝합니다. 가벼운 실험을 위한 CPU든 분산 학습을 위한 GPU든 적절한 인프라를 자동으로 선택 및 구성하고, 모든 실행을 MLflow에 네이티브로 기록합니다.

Genie Code는 노트북에서 프로덕션까지 하나의 흐름으로 모델을 가져갑니다. Unity Catalog에 등록하고, 서빙 엔드포인트에 배포하며, 모든 단계에서 거버넌스를 그대로 유지합니다.

Genie Code는 제 업무 방식을 완전히 바꾸어 놓았습니다. 저는 매일 서로 다른 노트북과 자산에 할당된 15개 이상의 병렬 스레드를 실행하는데, 탭을 오가며 이 모든 것을 관리하는 것이 워크플로우에서 가장 큰 골칫거리 중 하나였습니다. 동시 세션을 지원하는 전체 페이지 Genie Code는 맥락을 잃지 않고 모든 작업을 병렬로 실행할 수 있는 진정한 작업 공간을 제공할 것입니다.—Moritz Schiek, Solution Consultant, Bosch

Genie Code 덕분에 원시 데이터에서 거버넌스가 적용된 프로덕션 지원 ML 워크플로우로 전환하는 데 90분밖에 걸리지 않았습니다. Databricks의 프로덕션 ML 워크플로우를 고유하게 이해하기 때문에 Delta 테이블 생성, 데이터 탐색, 모델 학습 및 비교, MLflow 및 Unity Catalog 등록, 챔피언 모델의 서빙 엔드포인트 배포를 지원해 주었으며, 가장 중요한 비즈니스 성과를 최적화할 시간적 여유도 가질 수 있었습니다.—Radu Dragusin, Principal Engineer, Data & AI, Danfoss

Genie Code에 대해 자세히 알아보려면 여기에서 시작해 보세요!

AI Runtime 소개: 레이크하우스 내의 연구원급 GPU 플랫폼

GPU는 예측 및 추천부터 멀티모달 파운데이션 모델에 이르기까지 오늘날 가장 고도화된 AI 워크로드를 구동합니다. 하지만 딥러닝 팀은 GPU 인프라를 조달 및 관리하고, 분산 학습 환경을 구성하며, 성능 병목 현상을 해결하는 데 어려움을 겪고 있습니다. 이들은 인프라보다는 모델링에 집중하기를 원합니다.

지난 3월에 AI Runtime 프리뷰를 출시했으며, 오늘 Data AI Summit의 일환으로 AI Runtime이 이제 고성능 다중 노드 학습을 지원한다는 기쁜 소식을 전해드립니다. AI Runtime을 통해 Databricks 사용자는 이제 다음을 이용할 수 있습니다.

• 서버리스 온디맨드 NVIDIA GPU: 클릭 2~3번만으로 노트북을 구성하고 Serverless A10 및 H100 GPU에 빠르게 연결하여 학습을 시작할 수 있습니다. 클러스터가 필요하지 않습니다. 유휴 시간, 사용률 또는 사전 약정에 대한 걱정 없이 사용한 GPU에 대해서만 비용을 지불하면 됩니다.
• 강력한 오케스트레이션 도구: 장시간 실행되는 GPU 워크로드를 위한 Lakeflow Jobs 및 DABs 지원을 통해 Databricks 오케스트레이션 제품군의 강력한 기능을 활용해 보세요.
• 최적화된 분산 학습: AIR은 RDMA 및 고성능 데이터 로딩과 같은 분산 GPU 성능 향상 기능을 번들로 제공하여 GPU 워크로드에 최적의 성능을 달성합니다.
• 중앙 집중식 거버넌스 및 관측 가능성: MLflow를 통한 내장된 실험 관리, Unity Catalog를 통한 액세스 관리, Genie Code 지원 디버깅을 통해 데이터가 있는 바로 그 위치에서 GPU 워크로드를 실행, 관측 및 제어할 수 있습니다.

이번 출시를 통해 Databricks 고객은 당사 팀이 DBRX 및 KARL과 같은 파운데이션 모델의 학습을 지원하기 위해 사용했던 것과 동일한 연구원급 GPU 플랫폼을 활용할 수 있게 되었습니다. 현재 AI Runtime은 수백 명의 Databricks 고객을 위해 최첨단 워크로드를 구동하고 있으며, 연구 단계의 최첨단 AI를 프로덕션 엔터프라이즈 애플리케이션으로 가져올 수 있도록 지원합니다.

클릭 2~3번만으로 Serverless A10 및 H100 GPU를 노트북에 연결해 보세요. 클러스터 관리가 필요 없으며, 사용한 만큼만 비용을 지불하면 됩니다.

Genie Code를 사용하여 성능 병목 현상을 해결하고, 새로운 아키텍처를 실험하거나, 모델 수렴 관련 까다로운 버그 또는 난해한 프레임워크 오류를 디버깅해 보세요.

AI Runtime은 가속 컴퓨팅을 위한 프로덕션급 플랫폼입니다. 대화형 노트북에서 딥러닝 코드를 개발한 다음, Lakeflow의 강력한 기능을 활용하여 GPU 컴퓨팅에서 작업을 제출하고 오케스트레이션해 보세요.

Databricks의 AI Runtime은 맞춤형 Text To Formula (TTF) 모델을 학습시키는 과정을 크게 간소화했습니다. 인프라 설정이나 지연 없이 프롬프트 크기와 출력 토큰 생성을 기반으로 적절한 컴퓨팅을 쉽게 선택할 수 있었습니다. 덕분에 빠르게 움직이고, Lakehouse 워크플로우를 유지하며, 완전한 거버넌스를 갖춘 고품질 모델을 제공할 수 있었고, 모델 설정, 학습 및 배포에 걸리는 시간을 며칠에서 몇 시간으로 단축했습니다.—Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet Research Systems, Inc.

GPU에서 다음 모델 학습을 시작하려면 여기에서 예제 및 문서를 확인해 보세요!

대규모 실시간 ML: Feature Store 및 Model Serving

가장 영향력 있는 머신러닝 애플리케이션은 실시간으로 작동합니다. 밀리초 단위로 추천을 제공하고, 부정 거래가 승인되기 전에 차단하며, 즉각적인 느낌을 주는 검색 결과를 제공합니다.

모델을 프로덕션에 배포하는 것은 까다로운 균형 잡기입니다. 트래픽이 급증할 때도 모든 요청이 몇 밀리초 내에 완료되어야 하지만, 트래픽이 한산할 때는 비용이 낮게 유지되어야 합니다. 대규모 환경에서 이러한 균형을 유지하는 것은 역사적으로 모델을 구축하는 것만큼이나 어려웠습니다. 높은 QPS 환경에서는 서빙 인프라가 병목 구간이 됩니다. 지연 시간을 예측하기 어려워지고 비용이 상승하며, 모델이나 트래픽이 변할 때마다 팀의 우수한 엔지니어들이 복제본 수, 동시성 제한, 오토스케일링 임계값을 재조정해야 하는 부담을 안게 됩니다.

Data + AI Summit에서 이러한 부담을 없애고 Databricks에서 낮은 지연 시간과 높은 QPS 서빙을 간편하게 달성할 수 있도록 지원하는 새로운 기능을 발표합니다.

• 선언적 피처 엔지니어링(Declarative Feature Engineering) — 피처를 한 번만 정의하면 학습 및 서빙을 위해 자동으로 구체화됩니다.
• 스트리밍 피처(Streaming Features) — 고객의 활동에 실시간으로 반응하는 ML을 위해 이벤트 스트림에서 최신 피처를 구축합니다.
• 높은 QPS의 Model Serving — 별도의 조정 없이도 CPU 및 GPU 모델 모두에서 낮은 지연 시간으로 서빙할 수 있도록 향상된 추론 엔진과 네트워크 라우팅을 제공합니다. 플랫폼이 각 모델과 트래픽에 자동으로 적응하여 10ms 미만의 p99 지연 시간 오버헤드로 30만 이상의 QPS를 달성합니다.
• Lakebase 기반 온라인 피처 서빙(Online Feature Serving) — 프로덕션 애플리케이션을 위해 낮은 지연 시간으로 최신 피처를 제공합니다.
• ML을 위한 Genie ZeroOps — Genie Code는 추론 테이블을 쿼리하고, 서빙 엔드포인트의 성능 문제를 디버깅하며, 알림에 대한 원인 분석을 실행하여 프로덕션 모델에 에이전트 기반의 운영 관측 가능성을 제공합니다.

Databricks Model Serving을 사용하는 고객은 자체 관리형 스택 대비 인프라 비용을 최대 90% 이상 절감하고, p99 및 p50 지연 시간을 최대 2배 개선했으며, 유지 관리가 거의 없이 프로덕션 환경에서 10만 QPS 이상으로 확장했습니다. 이 모든 것이 엔터프라이즈급 안정성과 가용성으로 제공됩니다. Grammarly, GoGuardian과 같은 선도적인 ML 팀을 비롯한 수천 명의 고객이 실시간 ML 시스템을 서빙하기 위해 Databricks를 신뢰하고 있습니다.

Data + AI Summit 2026에서 자세히 알아보세요!

다음 AI 모델을 위해 이 새로운 기능들을 사용해 보세요! 문서 또는 자세한 가이드 블로그 게시물에서 더 많은 정보를 확인하실 수 있습니다.

• Genie Code
• AI Runtime
• Model Serving
• Feature Serving

Data + AI Summit 2026에서 AI 플랫폼이 실제로 작동하는 모습을 확인하고, 선도적인 기업들이 어떻게 대규모로 AI 모델을 구축하고 배포하고 있는지 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)