Cómo proteger las cargas de trabajo de IA con Unity AI Gateway Guardrails

Ninguna empresa quiere aparecer en el próximo titular de noticias sobre una brecha de seguridad causada por la IA. Gobernar y asegurar el uso de la IA es un esfuerzo multifacético; por ejemplo, la última versión del Marco de Seguridad de IA de Databricks enumera 97 riesgos de seguridad de IA validados por la industria y 73 controles disponibles para esos riesgos en la Plataforma Databricks. Al implementar agentes de IA, las organizaciones deben implementar todos los controles necesarios para garantizar un uso seguro y conforme. Las barreras de seguridad de LLM son uno de los controles centrales de gobernanza y seguridad que se aplican a la mayoría de los casos de uso.

Más allá de la seguridad, las barreras de seguridad también sirven para proteger contra la divulgación de datos sensibles de una empresa, del usuario al modelo o viceversa. Pueden proteger contra usos dañinos u ofensivos de la IA, asegurar que el contenido generado se alinee con las estrategias de marca del producto y mantener las conversaciones de chat en el tema.

Hoy anunciamos las barreras de seguridad de LLM en Unity AI Gateway, ¡ahora en beta! Esta versión se basa en una versión anterior de las barreras de seguridad en Gateway; en particular, utiliza barreras de seguridad impulsadas por LLM para expandir y mejorar el rendimiento de las barreras de seguridad predefinidas y ofrece una opción de barrera de seguridad personalizada altamente configurable. En esta entrada de blog, le mostraremos cómo usar estas barreras de seguridad para mitigar múltiples riesgos de seguridad y cumplimiento de la IA.

Escenario: Acme Co. define barreras de seguridad para la IA generativa

El equipo de marketing de Acme Co. está lanzando un asistente de IA para ayudar a redactar campañas. El CIO de Acme ha establecido algunas políticas generales de la empresa para el uso de LLM, que incluyen:

• Ningún PII del cliente puede filtrarse en las indicaciones del modelo
• Todas las indicaciones del modelo deben ser examinadas en busca de intentos de jailbreak e inyección de prompt
• La IA no puede usarse para generar contenido dañino o inseguro

Además, el equipo de marketing es muy consciente de proteger la imagen de su marca y de mantener una postura ética en la competencia. Para esta campaña, han decidido evitar denigrar a los competidores o incluso nombrarlos.

El equipo de marketing obtuvo un presupuesto para usar la IA en este proyecto y trabajó con el equipo de la plataforma de IA para obtener acceso a un LLM para impulsar su asistente. Veamos cómo el equipo de la plataforma puede configurar un punto de conexión de Unity AI Gateway para este proyecto.

Construyendo un punto de conexión de IA gobernado con Unity AI Gateway

Los equipos acordaron que un modelo capaz y de propósito general como GPT-5.4 funcionaría bien para su caso de uso y presupuesto. Comienzan configurando un punto de conexión para usar ese modelo.

También configuraron tablas de inferencia para monitorear las barreras de seguridad y asegurarse de que funcionen correctamente.

En cuanto a las barreras de seguridad, mapean sus requisitos comerciales con los diversos tipos de barreras de seguridad.

Configurar las barreras de seguridad que requieren las plantillas integradas es sencillo:

1. Desde la página de AI Gateway para el punto de conexión, vaya a la pestaña Guardrails.
2. Haga clic en el botón + Añadir barrera de seguridad
3. En el modal Crear barrera de seguridad, elija el tipo de barrera de seguridad. En nuestro ejemplo, crearemos una para la redacción de PII, una para Jailbreak y otra para Contenido Inseguro. Consulte la documentación de Databricks para obtener detalles sobre cada uno de los tipos.
4. Configure la barrera de seguridad para cumplir con el requisito comercial. Para la barrera de seguridad de PII, queremos configurarla para redactar PII en la entrada. Cada barrera de seguridad integrada tiene una acción predeterminada (es decir, bloquear vs. sanitizar) y una indicación. Las configuraciones opcionales para las barreras de seguridad integradas incluyen:
   1. Un punto de conexión de evaluador predeterminado (por ejemplo, databricks-gpt-5-nano) que se puede cambiar según sea necesario para mejorar el rendimiento o gestionar los costos.
   2. En Modo avanzado, la opción de ejecutar la barrera de seguridad en modo Registro en lugar del modo Aplicar predeterminado. Esta opción es útil al agregar nuevas barreras de seguridad a un punto de conexión que recibe tráfico en vivo, minimizando la interrupción para los usuarios mientras se prueba la barrera de seguridad.
5. Una vez satisfechos con la configuración de la barrera de seguridad, hacemos clic en Crear barrera de seguridad para implementarla.

Repetimos el mismo proceso para las barreras de seguridad de Jailbreak y Contenido Inseguro. Para la última barrera de seguridad, evitar referencias a la competencia, utilizaremos una barrera de seguridad personalizada. Le damos un nombre, elegimos bloquear las salidas que violan la barrera de seguridad y rellenamos la plantilla de prompt predeterminada para cumplir con los requisitos comerciales.

Ahora pasan a probar las barreras de seguridad con algunas indicaciones representativas.

Probando barreras de seguridad contra jailbreaks, PII y salidas inseguras

El equipo de Acme comienza a enviar indicaciones de ejemplo al punto de conexión con barreras de seguridad a través de un notebook, observando el comportamiento de la barrera de seguridad tanto en el notebook como en la tabla de inferencia del punto de conexión.

Todas las barreras de seguridad funcionaron como se esperaba, excepto la barrera de seguridad personalizada. El equipo de Acme revisa los consejos para barreras de seguridad personalizadas en la documentación de Databricks y se da cuenta de que podrían haber especificado insuficientemente la barrera de seguridad. Por ejemplo,

• No especificaron el negocio de Acme Co (proveedor de café de especialidad)
• No enumeraron competidores específicos (por ejemplo, Highline)
• No proporcionaron ningún ejemplo de few-shot

Iteran sobre el prompt original de la barrera de seguridad personalizada para abordar estas deficiencias y elaboran un prompt mucho más específico y exhaustivo:

Prueban este prompt con gpt-5-nano y gpt-5-mini como punto de conexión del evaluador, pero aún no obtienen un rendimiento fiable de la barrera de seguridad. Cuando cambian a gpt-5-4-mini, descubren que la barrera de seguridad personalizada se activa como se esperaba, sin degradar ninguna de las otras pruebas de barrera de seguridad, por lo que seleccionan 5.4-mini como su punto de conexión de evaluador inicial.

Como buena práctica, también planean capturar más tráfico en vivo a través de tablas de inferencia, curar falsos positivos y falsos negativos para la barrera de seguridad personalizada y realizar ajustes adicionales al prompt y/o al modelo para lograr el equilibrio adecuado de precisión, recall, costo y latencia.

Auditoría de la actividad de las barreras de seguridad con tablas de inferencia

El equipo de Acme observa los efectos de las barreras de seguridad en las tablas de inferencia del punto de conexión del equipo de marketing y de los puntos de conexión del evaluador.

• En el punto de conexión de inferencia, el seguimiento de uso registra una fila por solicitud, incluidas las bloqueadas. Las solicitudes aprobadas y sanitizadas registran el uso real de tokens con estado 200. Las solicitudes con entrada bloqueada registran el estado 400 con 0 tokens de entrada y salida. Las solicitudes con salida bloqueada registran el estado 400 con el recuento real de tokens del modelo de destino.
• En el punto de conexión del evaluador, la tabla de inferencia registra una fila por llamada a la barrera de seguridad, con el cuerpo de la solicitud describiendo lo que recibe el evaluador, la respuesta JSON en bruto del evaluador, la latencia, el código de estado y la marca de tiempo.
• La tabla de inferencia del punto de conexión de inferencia y la tabla de inferencia del punto de conexión del evaluador comparten el mismo request_id. Pueden unir este campo para rastrear una decisión de barrera de seguridad hasta la llamada original del cliente.

Pueden crear informes y paneles sobre estas tablas de inferencia para rastrear y comprender el uso de las barreras de seguridad en conjunto con la campaña de marketing. Si los usuarios se quejan de barreras de seguridad demasiado sensibles, el equipo de la plataforma de IA puede validar las sesiones de usuarios individuales analizando las acciones realizadas dentro de cada sesión.

¡Prueba LLM Guardrails en Unity AI Gateway hoy mismo!

LLM Guardrails en Unity AI Gateway están disponibles en beta hoy. Consulta nuestra documentación sobre cómo habilitarlos. Comienza habilitando las barreras de seguridad para los puntos de conexión que manejan prompts sensibles, herramientas externas o salidas orientadas al cliente, luego usa las tablas de inferencia para monitorear y refinar el comportamiento de las barreras de seguridad con el tiempo.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original