O Spark Muse 1.1 da Meta já está disponível no Databricks, totalmente governado pelo Unity AI Gateway

Cada novo lançamento de modelo promete melhor raciocínio, custos mais baixos ou novos recursos, e os desenvolvedores querem acesso logo no primeiro dia. Mas cada provedor também introduz outro conjunto de chaves de API, outra integração e outra superfície de governança para as equipes de plataforma gerenciarem. Sem uma maneira centralizada de governar todos os provedores de modelos, o acesso se torna fragmentado, as chaves de API se proliferam e a visibilidade sobre o uso e os gastos desaparece.

Hoje, estamos anunciando o suporte para o novo Muse Spark 1.1 da Meta no Databricks por meio dos novos Model Provider Services (MPS) no Unity AI Gateway. O MPS permite que você conecte e governe provedores de modelos, incluindo OpenAI, Anthropic, Amazon Bedrock e modelos recém-lançados como o Muse Spark 1.1, por meio do Unity Catalog. Agora você pode registrar modelos uma vez, controlar o acesso usando as permissões familiares do Unity Catalog e permitir que cada equipe faça consultas por meio do Unity AI Gateway com governança e observabilidade completas.

Neste post, usaremos o Muse Spark 1.1 para mostrar como as organizações podem adotar um modelo recém-lançado no primeiro dia sem comprometer a governança ou a segurança.

A lacuna de governança de IA quando novos modelos são lançados

Digamos que sua equipe queira o Muse Spark 1.1 no dia do lançamento. Uma equipe cria uma conta de provedor e começa a desenvolver com ele. Outra equipe solicita sua própria chave de API. Em breve, várias cópias da mesma chave estarão espalhadas por notebooks, aplicativos e pipelines de CI/CD, cada uma gerenciada de forma independente. O controle de acesso fica igualmente fragmentado porque não há uma maneira consistente de dizer "essas três equipes podem usar o modelo premium, todas as outras usam o padrão".

Do lado do administrador da plataforma, não há uma visão unificada dos gastos, nenhuma atribuição em nível de token, nenhum registro de quais prompts saíram da empresa e nenhum lugar para aplicar uma regra antes que uma solicitação chegue a um provedor de modelo. Quando o setor financeiro pergunta por que a fatura da Meta triplicou, você consegue ver o total no console da Meta, mas não qual equipe ou espaço de trabalho gerou esse custo em um único relatório centralizado.

Esse padrão não se aplica apenas ao Muse Spark, pois é o mesmo desafio que as organizações enfrentam toda vez que adotam um modelo novo.

A solução: Model Provider Services no Unity AI Gateway

Um Model Provider Service é um objeto protegível do Unity Catalog governado que representa um provedor externo. Ele reside em um catálogo e esquema, e contém a configuração de conexão e a chave de API do provedor. Os chamadores referenciam o serviço pelo nome e se autenticam com suas próprias credenciais do Databricks; o gateway anexa a chave de API do provedor no momento da solicitação. A chave de API é armazenada por meio de uma conexão do Unity Catalog, criptografada com uma chave gerenciada pela plataforma ou pelo cliente, e nunca é exposta diretamente aos consumidores clientes.

Assim que um serviço de provedor de modelo for registrado no Unity Catalog, sua organização terá três benefícios: Escolha, Controle e Clareza.

• Escolha — adote qualquer modelo e mude livremente: Defina um provedor e sua chave de API uma vez e disponibilize-os para todas as equipes em todos os espaços de trabalho. Acesse modelos recém-lançados no primeiro dia e alterne entre modelos dentro de um provedor. Alterne rapidamente entre modelos compatíveis com OpenAI entre provedores para casos de uso de avaliação e produção.
• Controle — governe o acesso em um só lugar: O serviço é de primeira classe, então você governa as permissões com os comandos padrão GRANT e REVOKE: EXECUTE para consultar, READ_METADATA para visualizar e MANAGE para atualizar o serviço. Anexe limites de taxa e políticas de serviço ao serviço de provedor de modelo, para que o controle de fluxo e as proteções se apliquem a cada solicitação de modelo.
• Clareza — veja e contabilize cada solicitação: O rastreamento de uso e gastos está ativado por padrão, de modo que cada solicitação é medida com contagem de tokens, latência e códigos de status para uma atribuição de custo precisa por usuário, equipe ou aplicativo. Anexe tabelas de inferência para registrar payloads completos de solicitação e resposta em uma tabela Delta governada para solução de problemas ou auditoria.

Figura 1. Registre um provedor uma vez no Unity Catalog; cada equipe e provedor são governados por meio de um único gateway.

Como funciona

Vamos registrar o modelo Muse Spark 1.1 hospedado externamente como um Model Provider Service, restringir quem pode usá-lo, ativar o monitoramento e consultá-lo de ponta a ponta.

Registrar o provedor

Para usar o Muse Spark 1.1 no Databricks, primeiro você precisa registrá-lo no Unity Catalog. Obtenha sua chave de API do Muse Spark na Model API da Meta, que está atualmente em Public Preview. Como o Muse Spark é compatível com a API de Respostas da OpenAI, você pode registrá-lo usando o tipo de provedor OpenAI para se conectar diretamente à API da Meta.

Registre-o na UI do Unity Catalog: Catalog Explorer → Criar → Criar um serviço → Serviço de provedor de modelo, escolha OpenAI, cole a chave da Meta como a Chave de API, https://api.meta.ai/v1 como a URL base, adicione muse-spark-1.1 como o modelo e defina o tipo de API do modelo como /openai/v1/responses.

Com o provedor registrado, dois controles de segurança principais são aplicados. Primeiro, a chave de API é armazenada criptografada dentro do Unity Catalog. Segundo, a lista de modelos define estritamente quais modelos e superfícies de API são expostos, de modo que qualquer solicitação de um modelo não listado é interceptada e rejeitada no gateway antes de chegar à Meta.

Conceder acesso

O serviço é um objeto protegível do Unity Catalog, portanto, você o governa usando os mesmos princípios aplicados a qualquer outro objeto. Para consultá-lo, o chamador precisa de EXECUTE no serviço, além de USE CATALOG e USE SCHEMA em seu pai. O criador do serviço ou os administradores com permissão MANAGE no serviço podem conceder esses privilégios.

Para conceder acesso:

1. No Catalog Explorer, abra o serviço de provedor de modelo.
2. Na guia Permissões, clique em Conceder.
3. Selecione os usuários ou grupos aos quais deseja conceder acesso, selecione o privilégio EXECUTE e clique em Conceder.

Consultar o modelo

Figura 2. Uma única solicitação: o gateway verifica o acesso, aplica limites de taxa e políticas, roteia para o Muse Spark e registra o uso.

Como o Muse Spark se comunica com a API de Respostas da OpenAI, aponte qualquer cliente compatível com a OpenAI para o gateway e defina um cabeçalho para consulta:

O cabeçalho adicional permite que o Unity AI Gateway identifique o serviço de provedor de modelo e valide os privilégios do chamador. Assim que os privilégios forem validados, o gateway resolverá a configuração e roteará a solicitação para o modelo externo.

Registrar, monitorar e aplicar proteções

O Unity AI Gateway mede cada solicitação roteada por meio do serviço. Cada uso é relatado em system.ai_gateway.usage com contagens de tokens de entrada/saída, latência e códigos de status. As informações de gastos são registradas em system.ai_gateway.external_model_spend. Adicione um cabeçalho Databricks-Ai-Gateway-Request-Tags para segmentar os gastos por projeto e anexe tabelas de inferência para registrar payloads completos de solicitação e resposta em uma tabela Delta governada para auditoria.

Vincule uma política ao serviço para impor guardrails para cada solicitação, incluindo guardrails padrão para riscos comuns, como PII, injeção de prompt e conteúdo não seguro, além da capacidade de adicionar políticas personalizadas para suas próprias regras. Os guardrails são executados centralmente no gateway, de modo que qualquer prompt não seguro seja interceptado antes de chegar ao Muse Spark, não importa quem o enviou. Limites de taxa por serviço limitam a capacidade e o custo.

Primeiros passos

Os Model Provider Services estão disponíveis no AWS, Azure e GCP. Os administradores de conta podem habilitar o preview na página de Previews do console da conta.

Para saber mais, consulte a documentação sobre Model Provider Services, governança de acesso e consultas por meio do gateway.

O Unity AI Gateway traz escolha, controle e clareza para que sua equipe possa usar qualquer modelo que desejar. Habilite o preview e experimente os Model Provider Services hoje mesmo!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original