Unity AI Gateway를 통해 완벽하게 거버넌스되는 Meta의 Spark Muse 1.1을 이제 Databricks에서 사용할 수 있습니다.

새로운 모델이 출시될 때마다 더 나은 추론, 더 낮은 비용 또는 새로운 기능이 약속되며, 개발자들은 출시 첫날부터 이를 사용하고 싶어 합니다. 하지만 새로운 제공업체가 추가될 때마다 플랫폼 팀이 관리해야 하는 또 다른 API 키, 또 다른 통합, 또 다른 거버넌스 영역이 늘어납니다. 모든 모델 제공업체를 중앙에서 거버넌스할 수 있는 방법이 없다면 액세스는 파편화되고, API 키는 급증하며, 사용량과 비용에 대한 가시성은 사라지게 됩니다.

오늘 Databricks는 Unity AI Gateway의 새로운 Model Provider Services(MPS)를 통해 Meta의 새로운 Muse Spark 1.1 지원 소식을 발표합니다. MPS를 사용하면 OpenAI, Anthropic, Amazon Bedrock 및 최근 출시된 Muse Spark 1.1과 같은 모델을 포함한 모델 제공업체를 Unity Catalog를 통해 연결하고 거버넌스할 수 있습니다. 이제 모델을 한 번만 등록하면 익숙한 Unity Catalog 권한을 사용하여 액세스를 제어할 수 있으며, 모든 팀이 완전한 거버넌스 및 관찰 가능성이 확보된 상태에서 Unity AI Gateway를 통해 쿼리할 수 있습니다.

이번 포스트에서는 Muse Spark 1.1을 사용하여 조직이 거버넌스나 보안을 타협하지 않고 출시 첫날부터 새로 출시된 모델을 도입할 수 있는 방법을 보여드리겠습니다.

새로운 모델 출시 시 발생하는 AI 거버넌스 격차

여러분의 팀이 Muse Spark 1.1이 출시되는 당일에 바로 사용하고 싶어 한다고 가정해 보겠습니다. 한 팀은 제공업체 계정을 만들고 이를 사용해 빌드를 시작합니다. 다른 팀은 자체 API 키를 요청합니다. 곧 동일한 키의 복사본 여러 개가 노트북, 애플리케이션, CI/CD 파이프라인에 분산되어 각각 독립적으로 관리됩니다. "이 세 팀은 프리미엄 모델을 사용할 수 있고, 다른 모든 팀은 표준 모델을 사용한다"라고 지정할 수 있는 일관된 방법이 없기 때문에 액세스 제어 역시 파편화됩니다.

플랫폼 관리자 입장에서는 지출에 대한 통합된 뷰, 토큰 수준의 기여도 분석, 어떤 프롬프트가 외부로 전송되었는지에 대한 기록이 없으며, 요청이 모델 제공업체에 도달하기 전에 규칙을 적용할 수 있는 곳도 없습니다. 재무 부서에서 Meta 비용이 왜 3배로 늘었는지 물어볼 때, Meta 콘솔에서 총액은 확인할 수 있지만 단일 중앙 집중식 보고서에서는 어떤 팀이나 워크스페이스가 이를 유발했는지 확인할 수 없습니다.

이러한 패턴은 Muse Spark에만 국한되지 않으며, 조직이 새로운 모델을 도입할 때마다 직면하는 동일한 과제입니다.

해결책: Unity AI Gateway의 Model Provider Services

Model Provider Service는 외부 제공업체를 나타내며 거버넌스되는 Unity Catalog 보안 대상(securable)입니다. 이는 카탈로그 및 스키마에 존재하며, 제공업체의 연결 구성과 API 키를 보유합니다. 호출자는 이름으로 서비스를 참조하고 자체 Databricks 자격 증명으로 인증하며, 게이트웨이는 요청 시 제공업체의 API 키를 첨부합니다. API 키는 Unity Catalog 연결을 통해 저장되고 플랫폼 관리 키 또는 고객 관리 키로 암호화되며, 클라이언트 소비자에게 직접 노출되지 않습니다.

Model Provider Service가 Unity Catalog에 등록되면 조직은 선택권(Choice), 제어력(Control), 명확성(Clarity)이라는 세 가지 이점을 얻게 됩니다.

• 선택권(Choice) — 어떤 모델이든 도입하고 자유롭게 전환: 제공업체와 해당 API 키를 한 번만 정의하면 모든 워크스페이스의 모든 팀이 사용할 수 있습니다. 출시 첫날부터 새로 출시된 모델에 액세스하고 제공업체 내에서 모델 간에 전환할 수 있습니다. 평가 및 프로덕션 사용 사례를 위해 여러 제공업체에 걸쳐 OpenAI 호환 모델 간에 신속하게 전환할 수 있습니다.
• 제어력(Control) — 한 곳에서 액세스 거버넌스: 이 서비스는 일급 객체(first-class)이므로 표준 GRANT 및 REVOKE를 사용하여 권한을 거버넌스할 수 있습니다. 쿼리를 위한 EXECUTE, 보기를 위한 READ_METADATA, 서비스 업데이트를 위한 MANAGE 등이 있습니다. Model Provider Service에 속도 제한 및 서비스 정책을 첨부하여 모든 모델 요청에 제한(throttling) 및 가드레일이 적용되도록 합니다.
• 명확성(Clarity) — 모든 요청 확인 및 회계 처리: 사용량 및 지출 추적이 기본적으로 활성화되어 있으므로 모든 요청이 토큰 수, 대기 시간, 상태 코드로 측정되어 사용자, 팀 또는 앱별로 정확한 비용 귀속이 가능합니다. 유추 테이블(inference table)을 첨부하여 전체 요청 및 응답 페이로드를 거버넌스되는 Delta table에 기록함으로써 문제 해결이나 감사를 수행할 수 있습니다.

그림 1. Unity Catalog에 제공업체를 한 번만 등록하면 모든 팀과 제공업체가 하나의 게이트웨이를 통해 거버넌스됩니다.

작동 방식

외부에서 호스팅되는 Muse Spark 1.1 모델을 Model Provider Service로 등록하고, 사용 가능한 사용자를 제한하고, 모니터링을 활성화하고, 이를 엔드투엔드로 쿼리해 보겠습니다.

제공업체 등록

Databricks에서 Muse Spark 1.1을 사용하려면 먼저 Unity Catalog에 등록해야 합니다. 현재 공개 미리 보기(Public Preview) 상태인 Meta의 Model API에서 Muse Spark API 키를 가져옵니다. Muse Spark는 OpenAI Responses API와 호환되므로, OpenAI 제공업체 유형을 사용하여 등록하면 Meta의 API에 직접 연결할 수 있습니다.

Unity Catalog UI에서 등록합니다. Catalog Explorer → Create → Create a service → Model provider service를 선택하고, OpenAI를 선택한 후 Meta 키를 API key에 붙여넣고, Base URL에 https://api.meta.ai/v1을 입력하고, 모델로 muse-spark-1.1을 추가한 후 모델의 API 유형을 /openai/v1/responses로 설정합니다.

제공업체가 등록되면 두 가지 핵심 보안 제어가 적용됩니다. 첫째, API 키는 Unity Catalog 내에 암호화되어 저장됩니다. 둘째, 모델 목록은 노출되는 모델과 API 서피스를 엄격하게 정의하므로, 목록에 없는 모델에 대한 요청은 Meta에 도달하기 전에 게이트웨이에서 차단되고 거부됩니다.

액세스 권한 부여

이 서비스는 Unity Catalog 보안 대상(securable)이므로 다른 객체에 적용하는 것과 동일한 원칙을 사용하여 거버넌스할 수 있습니다. 이를 쿼리하려면 호출자에게 서비스에 대한 EXECUTE 권한과 상위 객체에 대한 USE CATALOG 및 USE SCHEMA 권한이 필요합니다. 서비스 생성자 또는 서비스에 대한 MANAGE 권한이 있는 관리자는 이러한 권한을 부여할 수 있습니다.

액세스 권한을 부여하려면 다음 단계를 따르세요.

1. Catalog Explorer에서 Model Provider Service를 엽니다.
2. Permissions 탭에서 Grant를 클릭합니다.
3. 액세스 권한을 부여할 사용자 또는 그룹을 선택하고, EXECUTE 권한을 선택한 다음 Grant를 클릭합니다.

모델 쿼리

그림 2. 단일 요청: 게이트웨이가 액세스를 확인하고, 속도 제한 및 정책을 적용하고, Muse Spark로 라우팅하고, 사용량을 기록합니다.

Muse Spark는 OpenAI Responses API를 지원하므로, OpenAI 호환 클라이언트를 게이트웨이로 지정하고 쿼리를 위한 헤더 하나를 설정하면 됩니다.

추가 헤더를 통해 Unity AI Gateway는 Model Provider Service를 식별하고 호출자의 권한을 검증할 수 있습니다. 권한이 검증되면 게이트웨이는 구성을 확인하고 요청을 외부 모델로 라우팅합니다.

기록, 모니터링 및 가드레일

Unity AI Gateway는 서비스를 통해 라우팅되는 모든 요청을 측정합니다. 모든 사용량은 입력/출력 토큰 수, 대기 시간 및 상태 코드와 함께 system.ai_gateway.usage에 보고됩니다. 지출 정보는 system.ai_gateway.external_model_spend에 기록됩니다. 프로젝트별로 지출을 세분화하려면 Databricks-Ai-Gateway-Request-Tags 헤더를 추가하고, 유추 테이블(inference table)을 첨부하여 전체 요청 및 응답 페이로드를 거버넌스되는 Delta table에 기록함으로써 감사를 수행할 수 있습니다.

서비스에 정책을 연결하여 PII, 프롬프트 주입, 안전하지 않은 콘텐츠와 같은 일반적인 위험에 대한 기본 가드레일을 포함해 각 요청에 대한 가드레일을 적용하고, 자체 규칙에 맞는 맞춤형 정책을 추가할 수 있습니다. 가드레일은 게이트웨이에서 중앙 집중식으로 실행되므로, 누가 전송했든 관계없이 안전하지 않은 프롬프트가 Muse Spark에 도달하기 전에 차단됩니다. 서비스별 속도 제한으로 처리 용량과 비용을 제한합니다.

시작하기

Model Provider Services는 AWS, Azure, GCP에서 사용할 수 있습니다. 계정 관리자는 계정 콘솔의 Previews 페이지에서 프리뷰를 활성화할 수 있습니다.

자세한 내용은 Model Provider Services, 액세스 관리, 및 게이트웨이를 통한 쿼리에 대한 문서를 참조하세요.

Unity AI Gateway는 선택권, 제어력, 명확성을 제공하므로 팀에서 원하는 모든 모델을 사용할 수 있습니다. 지금 프리뷰를 활성화하고 Model Provider Services를 사용해 보세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)