Mosaic AI에서 Data + AI Summit 2025 발표

지난해, 우리는 기업 데이터를 이해할 수 있는 AI인 데이터 인텔리전스를 공개했습니다 이는 Databricks Mosaic AI 스택의 등장과 함께 에이전트 시스템을 구축하고 배포하기 위한 것이었습니다. 이후로 수천 명의 고객이 AI를 생산에 도입했습니다. 올해 데이터 및 AI 서밋에서는 몇 가지 주요 제품을 발표하게 되어 기쁩니다:

Agent Bricks 베타 버전 출시

Agent Bricks는 데이터에 자동 최적화된 고품질 에이전트를 구축하는 새로운 방법입니다. 에이전트의 고수준 작업 설명을 제공하고 기업 데이터를 연결하기만 하면 Agent Bricks가 나머지를 처리합니다. Agent Bricks는 구조화된 정보 추출, 신뢰할 수 있는 지식 지원, 사용자 정의 텍스트 변환, 다중 에이전트 시스템 구축 등 일반적인 산업 용도에 최적화되어 있습니다. 우리는 Databricks Mosaic AI 연구팀의 최신 에이전트 연구를 사용하여 평가를 자동으로 구축하고 에이전트 품질을 최적화합니다. 자세한 내용은 Agent Bricks 깊이 파헤치는 블로그를 참조하십시오.

MLflow 3.0

우리는 MLflow 3, 을 출시하고 있습니다. 이는 Generative AI를 위해 처음부터 다시 설계되었으며, 최신의 모니터링, 평가, 생명주기 관리 기능을 갖추고 있습니다. 이제 MLflow 3를 사용하면 배포된 에이전트를 어디서나모니터링하고 관찰할 수 있습니다, Databricks 외부에서도 말이죠. AWS, GCP 또는 온프레미스 시스템에 배포된 에이전트는 이제 MLflow 3에 연결하여 에이전트 관찰성을 제공할 수 있습니다.

MLflow 3에는 프롬프트 레지스트리를 포함하여 에이전트 시스템에 대한 다양한 LLM 프롬프트를 등록, 버전 관리, 테스트, 배포할 수 있습니다. 

SQL에서의 AI 함수: 이제 더 빠르고 다중 모드 가능

AI 함수는 사용자가 SQL 내에서 생성 AI의 힘을 쉽게 이용할 수 있게 해줍니다. 올해, AI 기능이 크게 성능이 향상되고 다중 모드 기능이 확장되었다는 사실을 공유하게 되어 기쁩니다. AI 함수는 이제 대규모 작업에서 다른 공급업체보다 최대 3배 빠르고 4배 저렴해져, 전례 없는 속도로 대규모 데이터 변환을 처리할 수 있게 되었습니다. 

성능을 넘어서 AI 함수는 이제 다중 모드 기능을 지원하여, 텍스트, 이미지, 그리고 다른 데이터 유형 간에 원활하게 작업할 수 있게 해줍니다. ai_parse_document와 같은 새로운 함수는 복잡한 문서에서 구조화된 정보를 쉽게 추출할 수 있게 해주어, 이전에는 처리하기 어려웠던 기업 콘텐츠에서 인사이트를 얻을 수 있게 해줍니다.

공개 미리보기에서 스토리지 최적화 벡터 검색

Mosaic AI 벡터 검색은 많은 검색 시스템, 특히 RAG 에이전트의 기반이며, 우리의 벡터 검색 제품은 Databricks에서 가장 빠르게 성장하는 제품 중 하나입니다. 이제 우리는 컴퓨팅과 저장을 분리하는 원칙으로 인프라를 완전히 새로 작성했습니다. 새로운 저장 최적화 벡터 검색은 수십억 개의 벡터를 확장하면서 7배 더 낮은 비용을 제공할 수 있습니다. 이 혁신은 RAG 애플리케이션과 의미론적 검색 시스템을 전체 데이터 자산에 걸쳐 구축하는 것을 경제적으로 실현 가능하게 합니다. 고객 지원 챗봇을 운영하든 고급 문서 발견을 가능하게 하든, 이제는 금지 비용 없이 확장할 수 있습니다. 우리의 자세한 블로그 포스트 를 참조하여 기술적인 깊이 탐구와 성능 벤치마크를 확인하세요.

베타 버전의 서버리스 GPU 컴퓨팅

Databricks 서버리스 플랫폼에서 GPU 지원을 도입함으로써 서버리스 컴퓨팅에서 큰 발전을 이루었습니다. 이 완전히 관리되는 서비스는 GPU 관리의 복잡성을 제거하여 GPU 기반 AI 작업 부하를 이제까지보다 더 쉽게 접근할 수 있게 해줍니다. 모델을 훈련시키든, 추론을 실행하든, 대규모 데이터 변환을 처리하든, 서버리스 GPU 컴퓨트는 운영 오버헤드 없이 필요한 성능을 제공합니다. Databricks 플랫폼에 완벽히 통합된 서버리스 GPU 컴퓨팅은 장기 예약에 구애받지 않고 A10g (오늘 베타) 및 H100s (곧 출시 예정)에 대한 온디맨드 액세스를 가능하게 합니다. 서버리스 GPU에서 노트북을 실행하고 Unity Catalog의 전체 거버넌스로 작업을 제출합니다.

고규모 모델 서빙

오늘날의 기업 AI 애플리케이션은 생산 준비를 위해 증가된 처리량과 더 낮은 지연 시간을 요구합니다. 우리의 향상된 모델 서빙 인프라는 이제 초당 250,000개의 쿼리(QPS)를 지원합니다. 실시간 온라인 ML 작업 부하를 Databricks로 가져와서, 우리가 인프라와 신뢰성 문제를 처리하도록 하여 AI 모델 개발에 집중할 수 있게 해줍니다. 

LLM 서빙과 함께, 우리는 이제 모든 지역에서 새로운 독점적인 내부 추론 엔진을 출시했습니다. 이 추론 엔진에는 Meta Llama 및 기타 오픈 소스 LLM의 추론을 가속화하기 위한 우리의 개인적인 혁신과 사용자 정의 커널이 많이 포함되어 있습니다. 일반적인 작업에서, 우리의 추론 엔진은 vLLM-v1과 같이 적절하게 구성된 오픈 소스 엔진보다 최대 1.5배 빠릅니다. 이러한 혁신들은 Databricks에서 LLM을 서빙하는 것이 DIY 서빙 솔루션보다 더 쉽고 빠르며 종종 총 비용이 더 낮다는 것을 의미합니다. 

챗봇부터 추천 엔진에 이르기까지, 귀하의 AI 서비스는 이제 가장 요구가 많은 기업 작업 부하를 처리할 수 있도록 확장할 수 있습니다.

Databricks에서의 MCP 지원

Anthropic의 Model Context Protocol (MCP)은 대규모 언어 모델에 도구와 지식을 제공하는 데 널리 사용되는 프로토콜입니다. 우리는 이제 MCP를 Databricks 플랫폼에 직접 통합했습니다. MCP 서버는 Databricks 앱과 함께 호스팅될 수 있어, 추가적인 인프라 관리 없이 MCP 준수 서비스를 배포하고 관리하는 데 원활한 방법을 제공합니다. 우리의 Playground 환경에서 MCP 활성화 모델을 직접 상호 작용하고 테스트할 수 있어, 다양한 모델 구성 및 기능을 실험하는 것이 더 쉬워졌습니다. 

또한, UC 기능, Genie, Vector Search를 위한 Databricks 호스팅 MCP 서버의 출시로 이제 Databricks를 활용하여 에이전트를 연결할 수 있습니다. 자세한 내용은 우리의 문서를 참조하십시오. 

AI 게이트웨이가 일반적으로 사용 가능합니다.

Mosaic AI Gateway가 이제 일반적으로 사용 가능합니다. 이 통합된 진입점은 귀하의 모든 AI 서비스에 대해 중앙 집중식 거버넌스, 사용 로깅, 그리고 전체 AI 애플리케이션 포트폴리오를 통한 제어를 제공합니다. 우리는 또한 다양한 공급자 간에 자동으로 대체할 수 있는 기능부터 PII 및 안전 가드레일에 이르기까지 새로운 기능을 많이 추가했습니다. AI Gateway를 사용하면, Databricks에서 실행되거나 외부 서비스를 통해 실행되는 AI 작업 부하에 대해 속도 제한 정책을 구현하고, 사용량을 추적하고, 안전 가드레일을 강제할 수 있습니다.

시작하기

이러한 발표는 기업용 AI를 더욱 접근 가능하고, 성능이 좋고, 비용 효율적으로 만드는 데 대한 우리의 지속적인 헌신을 나타냅니다. 각 혁신은 우리의 데이터 지능 플랫폼을 기반으로 하여, 귀하의 AI 애플리케이션이 귀하의 기업 데이터의 전체 파워를 활용하면서 귀하의 조직이 요구하는 거버넌스와 보안 표준을 유지할 수 있도록 합니다.

이 새로운 기능을 탐색해보실 준비가 되셨나요? 우리의 무료 티어로 시작하거나 Databricks 대표에게 연락하여 이러한 혁신이 어떻게 AI 이니셔티브를 가속화할 수 있는지 알아보십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)