모든 AI 모델과 에이전트를 아우르는 거버넌스 및 가시성
Mosaic AI Gateway는 조직의 모든 AI 시스템을 중앙에서 관리하여, 접근 방식을 표준화하고 안전한 활용을 보장하며, 모든 모델과 에이전트 전반에 걸친 완전한 가시성을 제공합니다.
통합 접근
AI Gateway를 통해 모든 제공자의 최신 모델 — 파운데이션, 오픈소스, 맞춤형까지 — 을 단일 표준화된 쿼리 인터페이스로 손쉽게 활용할 수 있습니다. 복잡한 통합 과정을 제거하여, 여러 엔드포인트 관리나 코드 재작성 없이도 팀은 각 용도에 최적화된 모델을 빠르게 구축할 수 있습니다.
완전한 가시성
레이크하우스에 저장된 상세한 요청 및 응답 로그를 통해 실시간으로 사용량, 품질, 비용을 추적하세요. 대시보드, 알림 및 SQL 쿼리에 대한 내장 지원을 통해 모든 모델과 에이전트에 걸친 성능을 모니터링하고 문제를 해결하며 지출을 관리할 수 있습니다.
기본 탑재된 보안 장치
유연한 가드레일을 통해 대규모로 안전성, 개인정보 보호 및 준수를 강제하세요. 개인 식별 정보를 필터링하고, 안전하지 않은 콘텐츠를 차단하고, 모든 요청에 대해 정책 기반 제어를 적용하세요. 역할 기반 권한, 사용량 추적, 트래픽 제어 기능으로 모든 사용자와 팀에 안전한 접근을 제공하며, 별도의 코드 수정이 필요하지 않습니다.
엔터프라이즈 급 보안과 거버넌스
AI 게이트웨이는 거버넌스, 가시성, 제품 수준의 기능을 통해 AI 사용을 간소화하고 보안성을 강화하여 AI 트래픽을 최적화합니다.사용자 정의 권한 및 속도 제한을 통해 AI 모델에 대한 접근 권한을 가진 사람과 그들이 얼마나 많은 접근 권한을 가질 수 있는지를 제어하여 조직 전체에서 안전하고 준수하는 AI 사용을 보장합니다.
기타 기능
LLM 트래픽 관리를 위한 안전한 솔루션
복잡한 작업 없이 테스트하고, 튜닝하며, 반복하세요.
AI Playground와 AI Query 도구를 활용하여 모든 AI 모델로의 실험을 표준화하고 가속화하십시오. 모델의 성능을 비교하고 효과적으로 개선하세요.
AI 배포의 재무적 통제 유지
전반적 비용 지출 가시성을 통해 다양한 제공업체의 AI 사용 비용을 한곳에서 집계하고 추적할 수 있습니다. 포괄적인 비용 지출 인사이트를 기반으로 청구 및 예산 편성을 단순화하여, AI 자원의 재무 관리를 더욱 투명하고 효율적으로 만드세요.
모델 간의 AI 성능 최적화
모델 성능을 평가하고 애플리케이션을 개선하기 위해 무작위 분할 A/B 테스팅을 수행하세요. 다양한 모델을 실제 트래픽에 대해 쉽게 테스트하여 최적의 AI 솔루션을 선택할 수 있습니다.
가공되지 않은 데이터를 유용한 학습 자산으로 만드세요
AI 게이트웨이의 페이로드 로깅 기능을 사용하면 원시 입력 및 출력 데이터를 수집하고 구조화하여 상세한 조정 데이터셋을 생성할 수 있습니다. 이 기능을 사용하면 관련성 있는 실제 데이터로 모델을 향상시켜 정확성과 성능을 향상시킬 수 있습니다.
투명성을 보장하고 규제 요구 사항을 충족합니다
상세한 페이로드 로깅을 통해 AI 게이트웨이는 데이터 상호작용과 모델 출력의 완전한 기록을 제공하여 엄격한 규제 감사를 지원합니다. 이 기능은 조직이 준수를 유지하고 철저한 감사를 쉽게 진행할 수 있도록 돕습니다.
AI 게이트웨이 데모 탐색
사용량 기반 가격 책정으로
지출 통제
사용한 제품에 대해서만 초 단위로 비용을 지불하세요.통합된 AI 솔루션 탐색
우리의 제품군이 어떻게 AI 기능을 향상시키기 위해 원활하게 통합되는지 탐색해보세요.
모델 제공
통합 인터페이스를 통해 모든 유형의 모델을 쉽게 배포하고 관리하세요. 고급 거버넌스와 확장성을 위해 AI 게이트웨이와 통합합니다.
Agent Bricks
데이터에 최적화된 생산 AI 에이전트를 구축하세요.
모델 훈련
우리의 견고한 인프라를 통해 Llama 3.1과 같은 오픈 소스 모델을 효율적으로 세밀하게 조정합니다.
Vector Search
벡터 검색은 서버리스 벡터 데이터베이스로
데이터 인텔리전스 플랫폼에 원활하게 통합됩니다.
에이전트 프레임워크
쉽게 지능형 에이전트를 구축, 테스트, 배포하세요. 여러 엔드포인트에서의 안전한 통합 및 관리를 위해 AI 게이트웨이를 활용하세요.
관리형 MLFlow
관리형 MLflow는 Databricks에서 개발한 오픈 소스 플랫폼인 MLflow를 향상시키며, 기업의 신뢰성, 보안, 확장성에 중점을 둔 더 나은 모델과 GenAI 앱을 구축합니다.
Unity Catalog
AI 게이트웨이는 엔드포인트 사용과 페이로드 데이터를 Unity 카탈로그에 기록합니다. 이에는 요청 및 추론 결과의 자세한 기록이 포함되어 있어, 강력한 데이터 관리 및 분석 기능을 제공합니다.
