Como proteger cargas de trabalho de IA com os Guardrails do Unity AI Gateway

Nenhuma empresa quer aparecer na próxima manchete sobre uma violação de segurança causada por IA. Gerenciar e proteger o uso de IA é um empreendimento multifacetado; por exemplo, a versão mais recente do Databricks AI Security Framework lista 97 riscos de segurança de IA validados pela indústria e 73 controles disponíveis para esses riscos na Databricks Platform. Ao implantar agentes de IA, as organizações devem implementar todos os controles necessários para garantir um uso seguro, protegido e em conformidade. As salvaguardas de LLM são um dos controles centrais de governança e segurança que se aplicam à maioria dos casos de uso.

Além da segurança, as salvaguardas também servem para proteger contra a divulgação de dados confidenciais de uma empresa - do usuário para o modelo ou vice-versa. Elas podem proteger contra usos prejudiciais ou ofensivos de IA, garantir que o conteúdo gerado esteja alinhado com as estratégias de marca do produto e manter as conversas de chat no tópico.

Hoje, estamos anunciando LLM Guardrails no Unity AI Gateway, agora em beta! Esta versão se baseia em uma versão anterior de salvaguardas no Gateway; em particular, ela usa salvaguardas alimentadas por LLM para expandir e melhorar o desempenho das salvaguardas pré-construídas e oferece uma opção de salvaguarda personalizada altamente ajustável. Neste post do blog, mostraremos como usar essas salvaguardas para mitigar vários riscos de segurança e conformidade de IA.

Cenário: Acme Co. define salvaguardas para IA generativa

A equipe de marketing da Acme Co. está lançando um assistente de IA para ajudar a redigir campanhas. O CIO da Acme estabeleceu algumas políticas gerais para o uso de LLM, incluindo:

• Nenhuma PII de cliente pode vazar para os prompts do modelo
• Todos os prompts do modelo devem ser verificados em busca de tentativas de jailbreak e injeção de prompt
• A IA não pode ser usada para gerar conteúdo prejudicial ou inseguro

Além disso, a equipe de marketing está muito atenta à proteção de sua imagem de marca e a tomar o caminho da retidão na competição. Para esta campanha, eles decidiram evitar difamar concorrentes ou mesmo nomeá-los.

A equipe de marketing garantiu um orçamento para usar IA neste projeto e trabalhou com a equipe de plataforma de IA para obter acesso a um LLM para potencializar seu assistente. Vamos dar uma olhada em como a equipe de plataforma pode configurar um Unity AI Gateway Endpoint para este projeto.

Construindo um endpoint de IA governado com Unity AI Gateway

As equipes concordaram que um modelo capaz e de propósito geral como o GPT-5.4 funcionaria bem para seu caso de uso e orçamento. Elas começam configurando um endpoint para usar esse modelo.

Elas também configuram tabelas de inferência para monitorar as salvaguardas e garantir que estejam funcionando corretamente.

Quanto às salvaguardas, elas mapeiam seus requisitos de negócios contra os vários tipos de salvaguardas.

Configurar as salvaguardas que exigem os modelos integrados é simples:

1. Na página AI Gateway para o endpoint, vá para a aba Guardrails.
2. Clique no botão + Add Guardrail
3. No modal Create guardrail, escolha o tipo de Guardrail. Em nosso exemplo, criaremos um para redação de PII, um para Jailbreak e um para Conteúdo Inseguro. Veja a documentação da Databricks para detalhes sobre cada um dos tipos.
4. Configure a salvaguarda para atender ao requisito de negócio. Para a salvaguarda de PII, queremos configurá-la para redigir PII na entrada. Cada salvaguarda integrada tem uma ação predeterminada (ou seja, bloquear vs. sanitizar) e um prompt. Configurações opcionais para as salvaguardas integradas incluem:
   1. Um endpoint avaliador padrão (por exemplo, databricks-gpt-5-nano) que pode ser alterado conforme necessário para melhorar o desempenho ou gerenciar custos.
   2. Em Modo Avançado, a opção de executar a salvaguarda no modo Log em vez do modo Enforce padrão. Esta opção é útil ao adicionar novas salvaguardas a um endpoint que recebe tráfego ao vivo, minimizando a interrupção para os usuários enquanto testa a salvaguarda.
5. Uma vez satisfeitos com a configuração da salvaguarda, clicamos em Create Guardrail para implantar a salvaguarda.

Repetimos o mesmo processo para as Salvaguardas de Jailbreak e Conteúdo Inseguro. Para a última salvaguarda - evitar referências à concorrência - usaremos uma salvaguarda Personalizada. Damos um nome a ela, elegemos bloquear saídas que violam a salvaguarda e preenchemos o modelo de prompt padrão para atender aos requisitos de negócio.

Agora, elas passam a testar as salvaguardas com alguns prompts representativos.

Testando salvaguardas contra jailbreaks, PII e saídas inseguras

A equipe da Acme começa a enviar prompts de exemplo para o endpoint habilitado para salvaguardas via notebook, observando o comportamento das salvaguardas tanto no notebook quanto na tabela de inferência do endpoint.

As proteções funcionaram como esperado, exceto pela proteção personalizada. A equipe da Acme consulta as dicas para proteções personalizadas na documentação da Databricks e percebe que pode ter especificado incorretamente a proteção. Por exemplo,

• Eles não especificaram o negócio da Acme Co (fornecedora de café especial)
• Eles não listaram concorrentes específicos (por exemplo, Highline)
• Eles não forneceram exemplos few-shot

Eles iteram no prompt de proteção personalizado original para abordar essas lacunas e criam um prompt muito mais específico e completo:

Eles testam este prompt com gpt-5-nano e gpt-5-mini como endpoint do avaliador, mas ainda não obtêm um desempenho confiável da proteção. Ao mudar para gpt-5-4-mini, eles descobrem que a proteção personalizada é acionada como esperado, sem degradar nenhum dos outros testes de proteção, então eles selecionam 5.4-mini como seu endpoint de avaliador inicial.

Como uma boa prática, eles também planejam capturar mais tráfego em tempo real por meio de tabelas de inferência, curar falsos positivos e falsos negativos para a proteção personalizada e fazer ajustes adicionais no prompt e/ou modelo para alcançar o equilíbrio certo entre precisão, recall, custo e latência.

Auditoria da atividade de proteção com tabelas de inferência

A equipe da Acme vê os efeitos da proteção nas tabelas de inferência do endpoint da equipe de marketing e dos endpoints do avaliador.

• No endpoint de inferência, o rastreamento de uso registra uma linha por solicitação, incluindo as bloqueadas. Solicitações aprovadas e sanitizadas registram o uso real de tokens com status 200. Solicitações com entrada bloqueada registram status 400 com 0 tokens de entrada e saída. Solicitações com saída bloqueada registram status 400 com as contagens de tokens reais do modelo de destino.
• No endpoint do avaliador, a tabela de inferência registra uma linha por chamada de proteção, com o corpo da solicitação descrevendo o que o avaliador recebe, a resposta JSON bruta do avaliador, latência, código de status e timestamp.
• A tabela de inferência do endpoint de inferência e a tabela de inferência do endpoint do avaliador compartilham o mesmo request_id. Eles podem juntar este campo para rastrear uma decisão de proteção até a chamada do cliente de origem.

Eles podem criar relatórios e dashboards nessas tabelas de inferência para rastrear e entender o uso da proteção em conjunto com a campanha de marketing. Se os usuários reclamarem de proteções excessivamente sensíveis, a equipe de plataforma de IA pode validar as sessões de usuários individuais analisando as ações realizadas em cada sessão.

Experimente os LLM Guardrails no Unity AI Gateway hoje mesmo!

Os LLM Guardrails no Unity AI Gateway estão disponíveis em beta hoje. Veja nossa documentação sobre como habilitá-los. Comece habilitando proteções para endpoints que lidam com prompts sensíveis, ferramentas externas ou saídas voltadas para o cliente, em seguida, use tabelas de inferência para monitorar e refinar o comportamento da proteção ao longo do tempo.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original