De modelos abiertos a harnesses de agentes abiertos: Databricks aporta código abierto, marcos de trabajo comunitarios y una arquitectura concreta a la seguridad de la AI
por Katie Cummiskey, Maria Pere-Perez, Arun Pamulapati y Nishith Sinha
Databricks es patrocinador en Black Hat USA 2026 esta semana. Visítanos en los estands #5106 / #2167 y lee cómo nuestra adquisición de Panther acelera la era del Security Lakehouse.
A medida que los sistemas de AI se vuelven más capaces y autónomos, dos desafíos convergen: proteger los propios sistemas de AI contra nuevas clases de ataques y utilizar la AI para fortalecer la ciberdefensa. Ambos requieren apertura, ya que la inteligencia de seguridad crítica encerrada en un pequeño número de sistemas cerrados deja expuesto al ecosistema en general. Databricks respalda ambos lados de la misión: marcos abiertos para proteger los sistemas de AI y datos abiertos a través de Lakewatch, el Open Security Lakehouse que impulsa la detección y respuesta ante amenazas mediante agentes a escala.
Por eso, Databricks se enorgullece de ser miembro fundador de la Open Secure AI Alliance, junto con NVIDIA y otros líderes del sector. La alianza se basa en una premisa simple pero poderosa: la investigación sobre la seguridad y protección de la AI debe compartirse abiertamente, y las herramientas que produce deben basarse en sistemas abiertos. Ese trabajo abarca la seguridad de la AI, la protección de la AI y la ciberdefensa habilitada por AI, fortaleciendo empresas, software y sistemas críticos en todo el mundo. Los miembros están contribuyendo al ecosistema abierto: modelos abiertos, pesos de modelos, harnesses abiertos, herramientas abiertas y los aprendizajes detrás de ellos, para acelerar el desarrollo de nuevas herramientas y técnicas de ciberseguridad.
Un agente de AI no es solo un modelo. Es un sistema complejo construido a partir de modelos, harnesses y guardrails que rigen lo que el agente tiene permitido hacer. Aunque gran parte de la atención se ha centrado en proteger los modelos de pesos abiertos dentro de los límites de la empresa, los pesos de los modelos son solo una capa. La seguridad en la era de los agentes requiere una pila de ejecución abierta: desde el entorno de ejecución (runtime) y los guardrails subyacentes, hasta el harness que orquesta los agentes y sus herramientas, pasando por los marcos que definen los riesgos y controles, hasta la capa de gobernanza que garantiza la seguridad, auditabilidad y rendición de cuentas de la empresa.
Los sistemas abiertos permiten que la comunidad más amplia de defensores estudie, pruebe y fortalezca cada componente de esta pila. El resultado es una confianza basada en garantías, visibilidad, evidencia, participación y capacidad de elección.
La alianza abarca más de 75 organizaciones en sectores de chips, modelos, seguridad e infraestructura. NVIDIA aporta computación acelerada e infraestructura de AI abierta. Databricks aporta datos gobernados, capacidades de modelos y agentes, y herramientas y marcos abiertos para seguridad, gobernanza, red teaming y ciberdefensa.
Junto con las contribuciones de toda la alianza, este trabajo ayuda a fortalecer la pila completa de agentes.
La Open Secure AI Alliance aboga por modelos, harnesses y guardrails abiertos para que los defensores puedan inspeccionar, auditar y gobernar el comportamiento de los agentes en toda la pila de AI. Omnigent (Apache 2.0) es la respuesta de Databricks a este llamado: un meta-harness de código abierto. Omnigent ofrece a los desarrolladores la posibilidad de elegir el harness y el modelo, lo que permite la composición y el uso compartido seguro, al tiempo que aplica políticas, límites de gasto y aislamiento en sandbox en más de 13 harnesses, tanto abiertos como cerrados.
Las políticas contextuales de Omnigent permiten la gobernanza del comportamiento de los agentes mediante el seguimiento del estado de la sesión, el bloqueo de ataques de desgaste lento (slow-burn) y la aplicación de autorizaciones basadas en la intención. Estos son exactamente el tipo de controles abiertos e inspeccionables que prevé la alianza.
Omnigent está diseñado para admitir NVIDIA OpenShell como backend de gobernanza, combinando controles de políticas con aislamiento a nivel de kernel para una protección auditable y por capas, desde la autorización del agente hasta la ejecución en el host.
El DASF 3.0 cataloga 97 riesgos de seguridad técnica en 13 componentes y los asigna a 73 controles de mitigación, todos con referencias cruzadas a MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO y CSA. Lanzada bajo la licencia CC BY-SA 4.0, la versión 3.0 introduce cobertura dedicada para amenazas de AI basadas en agentes (incluido el envenenamiento de memoria, la manipulación de objetivos y las conexiones MCP inseguras), lo que proporciona a los defensores un plan abierto e independiente del proveedor para pasar de la identificación de riesgos a la mitigación.
Debido a que DASF conecta la taxonomía de riesgos con controles ejecutables e independientes del proveedor, ofrece a los defensores un camino concreto desde el "riesgo identificado" hasta la "mitigación implementada". Ofrece a la comunidad una taxonomía común para amenazas y mitigaciones basadas en agentes disponible para cualquier organización.
El DAGF define quién es responsable y cómo lo gestiona la empresa. Este marco describe cinco pilares para construir un programa de AI responsable y resiliente, ofreciendo información práctica para la toma de decisiones y la ejecución. Aborda áreas principales como la gobernanza de la AI, el cumplimiento ético, la gestión de riesgos y la supervisión operativa. Esto ayuda a gestionar los programas de AI de forma transparente, segura y eficaz, al tiempo que fomenta la colaboración entre personas, procesos y tecnología. En el contexto de la alianza, el DAGF ayuda a las empresas a gobernar cómo se selecciona, implementa y gestiona la infraestructura de AI y computación acelerada de NVIDIA, y garantiza que la tecnología abierta se adopte de manera responsable a escala. Lanzado bajo la licencia internacional Creative Commons Attribution-ShareAlike 4.0, DAGF es independiente del proveedor y ya está alineado con los estándares que utiliza la comunidad.
BlackIce es el kit de herramientas de red teaming contenedorizado y de código abierto de Databricks. Agrupa 14 herramientas de seguridad de AI ampliamente utilizadas en un único entorno reproducible, asignado a MITRE ATLAS y DASF, para que un equipo de seguridad pueda probar un sistema contra inyección de prompts, filtración de datos y ataques a la cadena de suministro sin tener que conectar cada herramienta manualmente.
Esto reduce la barrera de entrada para el red teaming de AI. Configurar 14 herramientas individualmente requiere tiempo y una profunda experiencia, lo que pone las pruebas adversarias serias fuera del alcance de la mayoría de los equipos. Con más de 6,000 descargas hasta la fecha, ya está en manos de equipos que no habrían podido reunir estas herramientas por su cuenta.
En lo que respecta a la ciberdefensa habilitada por AI de la misión de la alianza, nuestro compromiso con la apertura se extiende más allá de los marcos de trabajo. Databricks fue pionero en el Security Lakehouse, una arquitectura abierta y gobernada que unifica los datos de seguridad, IT y negocio para que los defensores puedan ejecutar la detección, investigación y respuesta a escala de petabytes.
Con Lakewatch, el Open Security Lakehouse de Databricks, los equipos de seguridad pueden implementar agentes de AI que clasifican activamente las alertas, realizan búsquedas de amenazas y perfeccionan la lógica de detección, todo sobre formatos de datos abiertos que evitan la dependencia de un solo proveedor. Esta es la misma filosofía que impulsa a la Open Secure AI Alliance: los defensores deben ser dueños de sus datos, sus herramientas y su inteligencia.
La base de gobernanza para esa arquitectura es Unity Catalog, que Databricks lanzó como código abierto bajo Apache 2.0 y donó a la Linux Foundation. El catálogo es la capa que decide qué agente puede acceder a qué datos, modelos o herramientas, y lo aplica. Dejar esa capa como propietaria mientras todo lo que está por encima es abierto pondría el punto de control más crítico para la seguridad fuera de inspección. Con un catálogo abierto, es decir, con APIs abiertas, formatos de tabla abiertos y una implementación abierta, los defensores pueden auditar y ampliar el propio punto de aplicación, y los datos de seguridad siguen siendo portables entre motores en lugar de estar bloqueados en el plano de control de un solo proveedor.
Nuestro compromiso con la seguridad abierta se basa en una profunda herencia de código abierto que se remonta a nuestra fundación. Apache Spark, Delta Lake y MLflow se crearon bajo el principio de que la tecnología fundamental debe ser abierta, inspeccionable y guiada por la comunidad, y extendimos ese principio a la capa de gobernanza cuando abrimos el código de Unity Catalog. Solo Apache Spark ya ha superado los dos mil millones de descargas. La Open Secure AI Alliance extiende esa misma filosofía a la seguridad y protección de la AI.
La Open Secure AI Alliance es un movimiento para desarrollar y compartir investigaciones relevantes sobre la seguridad y protección de la AI de manera transparente. Con el tiempo, la alianza producirá un conjunto creciente de capacidades prácticas y abiertas que las organizaciones podrán inspeccionar, adoptar y desarrollar.
Nos entusiasma colaborar con NVIDIA y con la alianza en general en esta misión, y seguir poniendo a disposición de la comunidad código abierto, marcos de trabajo abiertos e investigaciones abiertas mientras aseguramos juntos la era agéntica.
Más información sobre Lakewatch, el Lakehouse de seguridad abierta y cómo Databricks está redefiniendo las operaciones de seguridad para la era agéntica.
Comienza a usar Omnigent para ejecutar el meta-arnés de agentes abierto, sus políticas contextuales y el aislamiento de sandbox en tu propio entorno.
Explora el Databricks AI Security Framework (DASF) 3.0 para comprender los riesgos y controles para proteger tus sistemas de AI.
Descarga el Databricks AI Governance Framework (DAGF) para conocer la responsabilidad y la supervisión en todo tu programa de AI.
Visita nuestro repositorio de GitHub BlackIce para obtener más información sobre las herramientas integradas, encontrar ejemplos para ejecutarlas con modelos alojados en Databricks y acceder a todos los artefactos de compilación de Docker.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.