Gobernar agentes de IA a escala con Unity Catalog

Hace un año, su organización tenía una docena de agentes de IA. Hoy, hay miles.

Cada desarrollador tiene un agente de codificación que escribe, revisa y despliega código junto a ellos. Su equipo de análisis construyó agentes de pronóstico. Las operaciones de ventas implementaron la puntuación de leads. La organización de Soporte automatizó el enrutamiento de tickets. Marketing lanzó la personalización. Finanzas construyó flujos de trabajo de conciliación. Cada equipo vio una oportunidad y actuó rápidamente.

Ahora alguien pregunta: "¿Qué agentes están accediendo a la PII del cliente?"

La respuesta requiere extraer registros de docenas de sistemas, correlacionarlos manualmente y esperar que no se haya omitido nada. Cada agente registra, autentica y accede a los datos de manera diferente. No hay un único lugar donde buscar.

O quizás tomó el camino opuesto. Bloqueó todo. No se desplegó ningún agente sin una revisión exhaustiva. La seguridad se mantuvo estricta. Pero ahora está seis meses por detrás de los competidores que se movieron más rápido. Los desarrolladores y usuarios están frustrados. Algunos se han ido a empresas donde realmente pueden usar herramientas de IA.

Ninguno de los extremos funciona. Los agentes sin gobierno crean riesgos que no se pueden medir. Los entornos bloqueados crean un tipo diferente de riesgo: quedarse atrás mientras el talento se va.

La gobernanza tradicional asumía que los humanos toman decisiones y las aplicaciones las ejecutan de manera predecible. Los agentes no funcionan así. Son autónomos, toman decisiones diferentes cada vez y encadenan herramientas de formas que no se pueden predecir leyendo el código. No se puede gobernar un agente revisando lo que podría hacer. Se gobierna controlando a qué puede acceder y monitoreando lo que realmente hace.

Cuatro pilares de la gobernanza de agentes

Unity Catalog ha gobernado los datos empresariales desde 2021 a través de un único modelo de permisos, linaje unificado y una pista de auditoría consistente en cada activo. Ahora estamos extendiendo esa misma infraestructura de gobernanza para cubrir cada activo que toca un sistema de IA: LLMs, servidores MCP, habilidades y agentes. El catálogo que ya sabe quién puede acceder a sus datos de cliente ahora también gobierna qué agentes pueden llamar a qué herramientas y bajo qué condiciones.

Unity AI Gateway es el tejido de aplicación para el mundo agéntico. Cada llamada de modelo, cada invocación de herramienta, cada interacción de agente fluye a través del gateway. Cada una es evaluada contra políticas definidas en Unity Catalog antes de ejecutarse, y registrada después. Las herramientas de gobernanza tradicionales fueron construidas para aplicaciones estáticas. No tienen visibilidad de nada de esto. Unity AI Gateway sí la tiene.

Pilar 1: Acceso delegado

Los agentes deben operar dentro de límites de permisos claramente definidos, tanto en términos de en nombre de quién pueden actuar como de a qué pueden acceder. La mayoría de las plataformas manejan esto de la misma manera que manejan los permisos de las aplicaciones: cuentas de servicio con credenciales estáticas y acceso amplio. Se pierde la rendición de cuentas y no se puede contener el radio de impacto.

Databricks adopta un enfoque diferente: la identidad fluye de extremo a extremo, desde el usuario que hace la pregunta hasta la fila específica de la tabla que recupera el agente. Los agentes heredan los permisos de datos del usuario invocador en tiempo real a través de la transmisión de tokens en nombre de, no una cuenta de servicio compartida. Si usted no puede acceder a una tabla en Unity Catalog, tampoco podrá el agente que actúa en su nombre. Cada acción se registra contra ambas identidades: el usuario real que activó la solicitud y el agente que actuó en su nombre, capturando qué tablas fueron accedidas, qué operaciones se ejecutaron y cuándo. Cuando algo sale mal, usted sabe exactamente de dónde provino la acción y quién la autorizó.

Extendemos este modelo a los servidores MCP. Los equipos registran servidores MCP externos (GitHub, Jira, Slack, etc.) en Unity Catalog y los gobiernan como cualquier otro elemento securizable: permisos, gestión de credenciales y registro de auditoría completo en un solo lugar.

Reconocimos que el mismo principio se aplica en tiempo de ejecución, no solo en tiempo de acceso. Saber que un agente tiene permiso para llamar a GitHub no le dice si debe eliminar un archivo o fusionar una solicitud de extracción. Por eso construimos Service Policies, que son funciones de UC, gestionadas en UC y adjuntas a MCPs registrados en Unity Catalog que controlan qué llamadas de herramientas tienen éxito. Cada llamada de herramienta se evalúa antes de la ejecución: basándose en el nombre de la herramienta, sus argumentos o la identidad del llamador, la política devuelve permitir, denegar o solicita el consentimiento del usuario. Si la evaluación de la política resulta en una 'Denegación', la llamada se bloquea.

En la capa del modelo, los guardarraíles inspeccionan lo que fluye a través de la inferencia en tiempo real, escaneando las entradas en busca de PII e intentos de jailbreak, verificando las salidas en busca de alucinaciones y contenido sensible antes de que lleguen al usuario. Se ejecutan en línea en cada solicitud y fallan en modo cerrado.

En la práctica, estas tres capas trabajan juntas: los permisos controlan quién puede llamar a qué. Las Service Policies controlan si una llamada de herramienta específica debe proceder en el contexto de una solicitud dada. Los guardarraíles controlan qué contenido entra y sale.

Pilar 2: Gobernanza de IA centrada en datos

Aquí está el principio que la mayoría de las herramientas de gobernanza de IA pasan por alto: el comportamiento de un agente está casi completamente determinado por los datos a los que tiene acceso. Lo que puede leer, cuán actualizados están esos datos, si los campos sensibles están enmascarados, estas no son preguntas de gobernanza de IA. Son preguntas de gobernanza de datos. Trátelos por separado y terminará con dos sistemas incompletos. Trátelos juntos y la gobernanza se vuelve autorreforzante.

Primero, necesita una pista de auditoría completa, y la regulación está haciendo esto innegociable. Las regulaciones emergentes de IA requieren que las organizaciones demuestren lo que hicieron sus sistemas de IA, lo que se les proporcionó y lo que produjeron. AI Gateway escribe la carga útil completa de cada llamada de modelo en tablas de inferencia: el prompt exacto enviado, la respuesta exacta devuelta, el recuento de tokens y la latencia. Unity Catalog captura cada operación de acceso en los registros de auditoría, incluyendo qué principal llamó a qué, desde qué agente y en qué momento. Ambos aterrizan en su lakehouse como tablas, conservables según sus términos. La mayoría de las arquitecturas de registro obligan a un compromiso entre la exhaustividad y el costo, lo que requiere que muestree, filtre y establezca ventanas de retención cortas. Debido a que Unity AI Gateway captura datos de observabilidad en su lakehouse, usted no tiene que hacerlo.

Segundo, esos datos de auditoría solo son tan útiles como su capacidad para analizarlos. El análisis requiere una plataforma de datos, no una herramienta de registro. Los rastreos de agentes son tablas en Unity Catalog, consultables con el mismo SQL que usa para todo lo demás. Sin nuevo lenguaje de consulta, sin herramientas separadas. Cuando un agente hace algo inesperado, los datos para investigar ya están allí: qué agentes accedieron a un servicio específico la semana pasada, cuánto está gastando cada equipo en inferencia y si algún agente tocó credenciales o PII. Debido a que los datos de auditoría viven junto a sus datos comerciales, puede ir más allá, uniendo el comportamiento del agente con los resultados comerciales para comprender no solo lo que hicieron los agentes, sino si funcionó. Lakewatch, el SIEM agéntico de Databricks construido sobre el security lakehouse, lleva esto aún más lejos, convirtiendo la misma pista de auditoría en inteligencia de seguridad activa: detección y respuesta a amenazas impulsadas por IA construidas sobre el lakehouse. Los atacantes están usando agentes. Los defensores también deberían hacerlo.

En tercer lugar, debe saber que los datos en los que se basaron sus agentes eran fiables desde el principio. Un registro de auditoría completo le indica a qué accedió un agente. No le dice si esos datos eran buenos. El monitoreo de la calidad de los datos rastrea continuamente la frescura y la completitud en su catálogo. Únalo con los rastreos de agentes, y pasará de "el agente dio una respuesta incorrecta" a "el agente consultó una tabla que había sido marcada como obsoleta", conectando el comportamiento del agente con la calidad de los datos subyacentes. La clasificación de datos añade una capa adicional: un sistema de IA agéntica escanea y etiqueta continuamente columnas sensibles, como PII, datos regulados por HIPAA y GDPR, y esas etiquetas se incorporan directamente al control de acceso. Las columnas enmascaradas permanecen enmascaradas independientemente del agente o framework que las solicite. La gobernanza de datos que ya tiene se convierte automáticamente en su gobernanza de IA.

Pilar 3: Inteligencia de costos

Cada llamada a un modelo tiene un precio. La mayoría de las empresas no tienen idea de quién las está generando, para qué, o si alguna de ellas está funcionando hasta que llega la factura y el departamento de finanzas tiene que explicar un número que nadie esperaba.

La causa raíz no es un proceso roto. Es una infraestructura faltante: ninguna capa de medición que vea todo el tráfico de IA en un solo lugar, ningún sistema de etiquetado que lo atribuya a equipos o casos de uso, ningún control de gastos junto con los controles de acceso que rigen los mismos recursos.

Lo integramos en Unity Catalog y Unity AI Gateway. El seguimiento de uso registra cada solicitud en tablas de uso, incluyendo recuentos de tokens, latencia, identidad del solicitante y destino del modelo en proveedores externos y alojados por Databricks en una sola tabla. Le permite etiquetar solicitudes por equipo, proyecto o centro de costos. Dado que se almacena como una tabla junto con los rastreos de sus agentes y datos comerciales, puede conectar el costo con los resultados. Un agente que cuesta $200 y genera $50K en un pipeline calificado es una ganga. Un agente que cuesta $200 consultando datos obsoletos en un bucle es un desperdicio. Sin unir el costo con el resultado, no puede notar la diferencia.

Los presupuestos en Unity AI Gateway añaden la capa de políticas. Los administradores establecen umbrales de gasto mensuales por usuario o grupo y reciben alertas cuando el consumo se acerca o los supera, la señal que necesita antes de que el gasto se convierta en un problema, no después. La aplicación estricta es el siguiente paso natural, y pronto tendremos más que compartir al respecto.

Pilar 4: Abierto e interoperable

Cada estrategia de gobernanza de IA empresarial finalmente se enfrenta a la misma función de forzamiento: un nuevo equipo elige un framework diferente, un nuevo proveedor lanza un modelo mejor. Si su gobernanza está integrada en las opciones de herramientas actuales, está en una cinta de correr: cada nuevo framework es una nueva integración, cada nuevo modelo es una nueva política.

Reconocimos esto, y es por eso que adoptamos un enfoque diferente al de la mayoría de las herramientas de gobernanza. La gobernanza no puede residir solo en la capa de agentes. También debe residir en los datos y servicios a los que acceden los agentes, ya sean servicios gestionados por Databricks o no. Un agente construido sobre LangGraph y otro construido sobre CrewAI consultan el mismo Unity Catalog, invocan los mismos servidores MCP gobernados y fluyen a través del mismo AI Gateway. El framework es irrelevante. La gobernanza viaja con los recursos, no con el código que los llama.

Los estándares abiertos hacen esto concreto. Los MCPs proporcionan a los agentes un protocolo universal de conectividad de herramientas: regístrese una vez en Unity Catalog, invoque desde cualquier framework con los mismos permisos y registro de auditoría. Unity AI Gateway proporciona un único endpoint gobernado para modelos alojados en Databricks, Azure OpenAI, AWS Bedrock y Anthropic, con una política, un registro de auditoría y una capa de atribución de costos en todos los proveedores. El rastreo de MLflow auto-instrumenta LangChain, LlamaIndex, AutoGen, el SDK de OpenAI, el SDK de Anthropic y más, con rastreos que se almacenan en Unity Catalog como tablas sin instrumentación personalizada por framework.

El resultado final es que la gobernanza se convierte en una propiedad de su plataforma en lugar de algo que reconstruye para cada nuevo framework o modelo. Cada agente que implemente, independientemente de cómo fue construido o qué modelo lo impulsa, accede a los mismos datos gobernados, la misma lógica de negocio y los mismos permisos. Usted define las reglas una vez, y cada agente posterior las adopta automáticamente.

Más información

Las empresas que implementan correctamente la gobernanza de IA no solo evitarán incidentes. Se moverán más rápido que aquellas que no lo hacen porque sus equipos confían en la infraestructura subyacente, y la confianza elimina la fricción que ralentiza a los demás.

Si está construyendo hacia esto, comience con nuestro curso gratuito sobre la gobernanza de agentes de IA, descargue el Databricks AI Security Framework (DASF), y visite nuestra página web de gobernanza de IA para recursos adicionales.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original