Spark Muse 1.1 de Meta ya está disponible en Databricks, totalmente gobernado por Unity AI Gateway

Cada lanzamiento de un nuevo modelo promete un mejor razonamiento, menores costos o nuevas capacidades, y los desarrolladores quieren tener acceso desde el primer día. Pero cada proveedor también introduce otro conjunto de claves de API, otra integración y otra superficie de gobernanza que los equipos de plataforma deben administrar. Sin una forma centralizada de gobernar a todos los proveedores de modelos, el acceso se fragmenta, las claves de API se multiplican y la visibilidad del uso y el gasto desaparece.

Hoy anunciamos la compatibilidad con el nuevo Muse Spark 1.1 de Meta en Databricks a través de los nuevos Model Provider Services (MPS) en Unity AI Gateway. MPS le permite conectar y gobernar proveedores de modelos, incluidos OpenAI, Anthropic, Amazon Bedrock y modelos de reciente lanzamiento como Muse Spark 1.1, a través de Unity Catalog. Ahora puede registrar modelos una sola vez, controlar el acceso utilizando los permisos familiares de Unity Catalog y permitir que cada equipo realice consultas a través de Unity AI Gateway con total gobernanza y observabilidad implementadas.

En esta publicación, utilizaremos Muse Spark 1.1 para mostrar cómo las organizaciones pueden adoptar un modelo recién lanzado desde el primer día sin comprometer la gobernanza ni la seguridad.

La brecha de gobernanza de IA cuando se lanzan nuevos modelos

Supongamos que su equipo quiere Muse Spark 1.1 el mismo día de su lanzamiento. Un equipo crea una cuenta de proveedor y comienza a desarrollar con ella. Otro equipo solicita su propia clave de API. Pronto, múltiples copias de la misma clave se distribuyen en notebooks, aplicaciones y pipelines de CI/CD, cada una administrada de forma independiente. El control de acceso está igual de fragmentado porque no existe una forma coherente de decir "estos tres equipos pueden usar el modelo premium, todos los demás usan el estándar".

Por el lado de la administración de la plataforma, no hay una vista unificada del gasto, ni atribución a nivel de token, ni registro de qué prompts salieron de la organización, y ningún lugar para aplicar una regla antes de que una solicitud llegue a un proveedor de modelos. Cuando el departamento de finanzas pregunte por qué se triplicó la factura de Meta, podrá ver el total en la consola de Meta, pero no qué equipo o espacio de trabajo la generó en un único informe centralizado.

Este patrón no solo se aplica a Muse Spark, ya que es el mismo desafío al que se enfrentan las organizaciones cada vez que adoptan un nuevo modelo.

La solución: Servicios de Proveedores de Modelos en Unity AI Gateway

Un Servicio de Proveedor de Modelos es un objeto protegible gobernado de Unity Catalog que representa a un proveedor externo. Reside en un catálogo y un esquema, y contiene la configuración de conexión y la clave de API del proveedor. Quienes realizan las llamadas hacen referencia al servicio por su nombre y se autentican con sus propias credenciales de Databricks; la gateway adjunta la clave de API del proveedor en el momento de la solicitud. La clave de API se almacena a través de una conexión de Unity Catalog, cifrada con una clave administrada por la plataforma o por el cliente, y nunca se expone directamente a los clientes consumidores.

Una vez que se registra un servicio de proveedor de modelos en Unity Catalog, su organización obtiene tres cosas: elección, control y claridad.

• Elección: adopte cualquier modelo y luego cambie libremente: defina un proveedor y su clave de API una vez y póngalos a disposición de cada equipo en todos los espacios de trabajo. Acceda a los modelos recién lanzados desde el primer día y cambie entre modelos dentro de un mismo proveedor. Cambie rápidamente entre modelos compatibles con OpenAI de distintos proveedores para casos de uso de evaluación y producción.
• Control: gobierne el acceso en un solo lugar: el servicio es un recurso de primer nivel, por lo que puede gobernar los permisos con los comandos estándar GRANT y REVOKE: EXECUTE para realizar consultas, READ_METADATA para visualizar y MANAGE para actualizar el servicio. Adjunte límites de velocidad y políticas de servicio al servicio de proveedor de modelos, de modo que la limitación de velocidad y las barreras de seguridad se apliquen a cada solicitud de modelo.
• Claridad: vea y rinda cuentas de cada solicitud: el seguimiento de uso y gasto está activado de forma predeterminada, por lo que cada solicitud se mide con recuentos de tokens, latencia y códigos de estado para una atribución de costos precisa por usuario, equipo o aplicación. Adjunte tablas de inferencia para registrar las cargas útiles completas de solicitudes y respuestas en una tabla Delta gobernada para la resolución de problemas o auditorías.

Figura 1. Registre un proveedor una vez en Unity Catalog; cada equipo y proveedor se gobiernan a través de una sola gateway.

Cómo funciona

Registremos el modelo Muse Spark 1.1 alojado externamente como un Servicio de Proveedor de Modelos, restrinjamos quién puede usarlo, activemos el monitoreo y realicemos consultas de extremo a extremo.

Registrar al proveedor

Para usar Muse Spark 1.1 en Databricks, primero debe registrarlo en Unity Catalog. Obtenga su clave de API de Muse Spark desde la Model API de Meta, que actualmente se encuentra en vista previa pública. Debido a que Muse Spark es compatible con la API de respuestas de OpenAI, puede registrarlo utilizando el tipo de proveedor de OpenAI para conectarse directamente a la API de Meta.

Regístrelo en la interfaz de usuario de Unity Catalog: Catalog Explorer → Crear → Crear un servicio → Servicio de proveedor de modelos, elija OpenAI, pegue la clave de Meta como la Clave de API, https://api.meta.ai/v1 como la URL base, agregue muse-spark-1.1 como el modelo y configure el tipo de API del modelo en /openai/v1/responses.

Con el proveedor registrado, se aplican dos controles de seguridad clave. En primer lugar, la clave de API se almacena cifrada dentro de Unity Catalog. En segundo lugar, la lista de modelos define estrictamente qué modelos y superficies de API están expuestos, por lo que cualquier solicitud de un modelo que no figure en la lista se intercepta y se rechaza en la gateway antes de que llegue a Meta.

Otorgar acceso

El servicio es un objeto protegible de Unity Catalog, por lo que se gobierna utilizando los mismos principios que se aplican a cualquier otro objeto. Para realizar consultas, quien llama necesita el permiso EXECUTE en el servicio, además de USE CATALOG y USE SCHEMA en su elemento primario. El creador del servicio o los administradores con el permiso MANAGE en el servicio pueden otorgar dichos privilegios.

Para otorgar acceso:

1. En Catalog Explorer, abra el servicio de proveedor de modelos.
2. En la pestaña Permisos, haga clic en Otorgar.
3. Seleccione los usuarios o grupos a los que desea otorgar acceso, seleccione el privilegio EXECUTE y haga clic en Otorgar.

Consultar el modelo

Figura 2. Una sola solicitud: la gateway verifica el acceso, aplica límites de velocidad y políticas, enruta a Muse Spark y registra el uso.

Dado que Muse Spark utiliza la API de respuestas de OpenAI, apunte cualquier cliente compatible con OpenAI a la gateway y configure un encabezado para realizar consultas:

El encabezado adicional permite a Unity AI Gateway identificar el servicio de proveedor de modelos y validar los privilegios de quien realiza la llamada. Una vez validados los privilegios, la gateway resolverá la configuración y enrutará la solicitud al modelo externo.

Registrar, monitorear y aplicar barreras de seguridad

Unity AI Gateway mide cada solicitud enrutada a través del servicio. Cada uso se reporta en system.ai_gateway.usage con recuentos de tokens de entrada/salida, latencia y códigos de estado. La información de gastos se registra en system.ai_gateway.external_model_spend. Agregue un encabezado Databricks-Ai-Gateway-Request-Tags para segmentar el gasto por proyecto, y adjunte tablas de inferencia para registrar las cargas útiles completas de solicitudes y respuestas en una tabla Delta gobernada para auditorías.

Asocie una política al servicio para aplicar guardrails a cada solicitud, incluidos los guardrails predeterminados para riesgos comunes como PII, inyección de prompts y contenido no seguro, así como la capacidad de agregar políticas personalizadas para sus propias reglas. Los guardrails se ejecutan de forma centralizada en el gateway, por lo que cualquier prompt no seguro se detecta antes de que llegue a Muse Spark, sin importar quién lo haya enviado. Los límites de velocidad por servicio restringen la capacidad y el costo.

Primeros pasos

Model Provider Services están disponibles en AWS, Azure y GCP. Los administradores de la cuenta pueden habilitar la vista previa en la página Previews de la consola de la cuenta.

Para obtener más información, consulte la documentación sobre Model Provider Services, el control de acceso y la realización de consultas a través del gateway.

Unity AI Gateway ofrece flexibilidad, control y claridad para que su equipo pueda usar el modelo que desee. ¡Habilite la vista previa y pruebe Model Provider Services hoy mismo!

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original