AI Gateway를 사용하여 Databricks에서 GPT-5로 구축하세요
Mosaic AI Gateway를 통해 안전하고 대규모로 GPT-5를 사용하세요
Summary
- 첫날부터 GPT-5에 대한 접근: 중앙 집중식 거버넌스와 모니터링을 통해 AI Gateway를 통해 OpenAI의 최신 프론티어 모델을 안전하게 사용하세요.
- 모든 모델에 대한 통합 거버넌스: 내장된 관찰성과 제어를 통해 GPT-5, gpt-oss 등에 대한 사용, 접근, 품질을 중앙에서 관리하세요.
- 대규모에서의 생산 수준 신뢰성과 안전성: 속도 제한, 안전 필터, 트래픽 정책을 적용하여 팀 간의 가동 시간, 컴플라이언스, 비용 효율성을 보장하세요.
오늘, OpenAI는 지금까지 가장 진보된 언어 모델인 GPT-5를 출시했으며, 당신은 즉시 Databricks에서 이를 사용할 수 있습니다.
GPT-5는 추론, 다중 모달 이해, 작업 실행 등의 새로운 경계를 개방합니다. 첫날부터 그 풀 패텐셜을 실현할 수 있도록 돕기 위해, Databricks는 기업이 필요로 하는 기반을 제공합니다: 안전한 접근, 내장된 컴플라이언스, 그리고 대규모 비용 관리.
여기서 Mosaic AI Gateway가 등장합니다. 이것은 AI를 위한 중앙 집중식 제어 평면으로, GPT-5와 같은 새로운 모델을 안심하고 채택할 수 있게 해줍니다. AI Gateway는 GPT-5, gpt-oss, Meta의 Llama, AWS Bedrock 모델, 또는 다른 모델을 호출하는 모든 AI 사용에 대해 접근, 모니터링, 보안을 통합합니다. 지금까지 수천 명의 고객이 우리의 라우팅 및 관찰 기능을 활용하여 LLM을 생산에 도입했습니다.
Databricks에서 GPT-5를 사용하는 방법
Databricks 환경에서 안심하고 GPT-5를 사용하세요. AI Gateway를 사용하면, 바로 작동하도록 설정하고 통합 API를 통해 모델 간에 전환할 수 있습니다.
Databricks에서 GPT-5를 시작하는 데는 단지 몇 단계만 필요합니다. AI Gateway는 복잡한 통합 없이 GPT-5와 같은 외부 모델을 지원합니다. 단순히 OpenAI 또는 Azure OpenAI 제공자를 사용하여 모델 서빙 엔드포인트를 생성하고, Databricks Secrets를 통해 API 키를 관리하고, 개발자들이 오늘 시작할 수 있도록 GPT-5에 대한 접근을 안전하게 민주화하세요.
이를 통해 Databricks 환경에서 직접 GPT-5를 실행할 수 있으며, 첫날부터 관리되고, 관찰 가능하며, 생산 준비가 완료되었습니다.
혁신을 저해하지 않는 중앙 집중식 거버넌스
AI 채택이 확대됨에 따라, 플랫폼 팀은 개발자를 병목 현상으로 만들지 않는 적극적인 거버넌스가 필요합니다. AI Gateway는 모든 AI 모델과 제공자에 걸쳐 작동하는 중앙 집중식 제어를 제공합니다:
- 안전한 접근 제어 는 특정 모델에만 인증된 팀이 접근할 수 있도록 합니다.
- 사용자 정의 속도 제한 은 처리량을 할당하고 비즈니스 및 사용 사례 우선 순위에 따라 비용을 제어합니다.
- 내장된 안전장치 는 어떤 LLM 제공자를 사용하든 일관되게 PII를 감지하고 안전 필터를 적용합니다.
결과적으로, 팀은 거버넌스를 타협하지 않고 GPT-5와 같은 최첨단 모델에 대한 안전하고 확장 가능한 접근을 얻습니다.
생산성 신뢰성을 위한 내장 라우팅
팀이 GPT-5와 gpt-oss와 같은 새롭고 강력한 모델을 운영화하면서, 신뢰성이 중요해집니다. AI Gateway에는 모델 제공자가 속도 제한이나 중단을 겪을 때도 애플리케이션을 온라인 상태로 유지하기 위한 강력한 트래픽 관리가 포함되어 있습니다:
- 로드 밸런싱 은 요청을 제공자와 지역 간에 분산시킵니다.
- 자동 폴백 은 개별 제공자가 문제를 겪을 때 서비스 연속성을 유지합니다.
GPT-5, gpt-oss, 또는 다른 모델에 요청을 라우팅하든, AI Gateway는 모델 간에 생산 수준의 가동 시간과 복원력을 보장합니다.
대규모 사용, 컴플라이언스, 품질 모니터링
보지 못하는 것을 거버넌스할 수는 없습니다. AI Gateway는 중앙 집중식 Unity Catalog 테이블에 토큰 수, 사용자, 모델 버전 등의 자세한 텔레메트리를 캡처하여, 팀 간의 사용과 비용에 대한 명확한 시야를 제공합니다.
강력한 추론 테이블은 전체 요청 및 응답 페이로드를 자동으로 로그에 기록하여, 즉각적인 디버깅, 품질 평가, 그리고 미세 조정을 위한 데이터셋 큐레이션을 가능하게 합니다. 이 관찰성은 맞춤형 모니터링 파이프라인을 구축하지 않고도 지속적인 개선을 촉진합니다.
Databricks에서 GPT-5와 gpt-oss를 시작하세요
OpenAI의 최신 모델을 사용하세요 - 완전한 관찰성, 거버넌스, 그리고 생산 신뢰성이 내장되어 있습니다. 오늘 GPT-5에 대한 접근을 안전하게 공유하여 개발자들이 AI Playground 에서 테스트하고, SQL 함수를 사용하여 쉽게 데이터에 적용할 수 있게 하세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
