Von offenen Modellen zu offenen Agenten-Harnesses: Databricks bringt offenen Code, Community-Frameworks und eine konkrete Architektur in die AI-Sicherheit
von Katie Cummiskey, Maria Pere-Perez, Arun Pamulapati und Nishith Sinha
Databricks ist diese Woche Sponsor auf der Black Hat USA 2026. Besuchen Sie uns an den Ständen #5106 / #2167 und lesen Sie, wie unsere Übernahme von Panther die Ära des Security Lakehouse beschleunigt.
Da AI-Systeme immer leistungsfähiger und autonomer werden, kommen zwei Herausforderungen zusammen: die Absicherung von AI-Systemen selbst gegen neue Angriffsarten und der Einsatz von AI zur Stärkung der Cyberabwehr. Beide erfordern Offenheit, da kritische Sicherheitserkenntnisse, die in einer kleinen Anzahl geschlossener Systeme gefangen sind, das breitere Ökosystem ungeschützt lassen. Databricks unterstützt beide Seiten dieser Mission: offene Frameworks zur Absicherung von AI-Systemen und offene Daten über Lakewatch, das Open Security Lakehouse, das agentenbasierte Bedrohungserkennung und -reaktion in großem Maßstab ermöglicht.
Deshalb ist Databricks stolz darauf, zusammen mit NVIDIA und anderen Branchenführern ein Gründungsmitglied der Open Secure AI Alliance zu sein. Die Allianz basiert auf einer einfachen, aber wirkungsvollen Prämisse: Die Forschung zu AI-Sicherheit und -Schutz sollte offen geteilt werden, und die daraus resultierenden Tools sollten auf offenen Systemen aufbauen. Diese Arbeit umfasst AI-Sicherheit, AI-Schutz und AI-gestützte Cyberabwehr und stärkt Unternehmen, Software und kritische Systeme weltweit. Die Mitglieder leisten Beiträge im offenen Raum: offene Modelle, Modellgewichte, offene Harnesses, offene Tools und die Erkenntnisse dahinter, um die Entwicklung neuer Cybersecurity-Tools und -Techniken zu beschleunigen.
Ein AI-Agent ist nicht nur ein Modell. Es ist ein komplexes System aus Modellen, Harnesses und Guardrails, die regeln, was der Agent tun darf. Während sich die Aufmerksamkeit bisher stark auf die Absicherung von Open-Weight-Modellen innerhalb von Unternehmensgrenzen konzentriert hat, sind Modellgewichte nur eine Ebene. Sicherheit im Zeitalter der Agenten erfordert einen offenen Execution Stack: von der zugrunde liegenden Runtime und den Guardrails über das Harness, das Agenten und ihre Tools orchestriert, bis hin zu den Frameworks, die Risiken und Kontrollen definieren, und dem Governance-Layer, der Unternehmenssicherheit, Auditierbarkeit und Rechenschaftspflicht gewährleistet.
Offene Systeme ermöglichen es einer breiten Community von Verteidigern, jede Komponente dieses Stacks zu untersuchen, zu testen und zu stärken. Das Ergebnis ist Vertrauen, das auf Zusicherungen, Transparenz, Nachweisen, Teilhabe und Wahlfreiheit basiert.
Die Allianz umfasst mehr als 75 Organisationen aus den Bereichen Chips, Modelle, Sicherheit und Infrastruktur. NVIDIA steuert Accelerated Computing und offene AI-Infrastruktur bei. Databricks bringt verwaltete Daten, Modell- und Agentenfunktionen sowie offene Tools und Frameworks für Sicherheit, Governance, Red Teaming und Cyberabwehr ein.
Zusammen mit den Beiträgen aus der gesamten Allianz trägt diese Arbeit dazu bei, den gesamten Agenten-Stack zu stärken.
Die Open Secure AI Alliance setzt sich für offene Modelle, Harnesses und Guardrails ein, damit Verteidiger das Verhalten von Agenten über den gesamten AI-Stack hinweg untersuchen, prüfen und steuern können. Omnigent (Apache 2.0) ist die Antwort von Databricks auf diesen Aufruf – ein Open-Source-Meta-Harness. Omnigent bietet Entwicklern die freie Wahl bei Harness und Modell, ermöglicht die Zusammenstellung und den sicheren Austausch und setzt gleichzeitig Richtlinien, Ausgabenlimits und Sandbox-Isolierung über mehr als 13 offene und geschlossene Harnesses hinweg durch.
Die kontextuellen Richtlinien von Omnigent ermöglichen die Steuerung des Agentenverhaltens durch die Verfolgung des Sitzungsstatus, das Blockieren von Slow-Burn-Angriffen und das Durchsetzen einer intent-basierten Autorisierung. Dies sind genau die Arten von offenen, überprüfbaren Kontrollen, die sich die Allianz vorstellt.
Omnigent ist so konzipiert, dass es NVIDIA OpenShell als Governance-Backend unterstützt. Dabei werden Richtlinienkontrollen mit einer Isolierung auf Kernel-Ebene kombiniert, um einen mehrschichtigen, auditierbaren Schutz von der Agenten-Autorisierung bis zur Host-Ausführung zu bieten.
Das DASF 3.0 katalogisiert 97 technische Sicherheitsrisiken in 13 Komponenten und ordnet sie 73 Schutzmaßnahmen zu, alle mit Querverweisen auf MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO und CSA. Die unter CC BY-SA 4.0 veröffentlichte Version 3.0 führt eine dedizierte Abdeckung für Bedrohungen durch agentenbasierte AI ein (einschließlich Memory Poisoning, Zielmanipulation und unsicheren MCP-Verbindungen) und bietet Verteidigern eine offene, herstellerunabhängige Vorlage für den Übergang von der Risikoidentifikation zur Schadensbegrenzung.
Da das DASF die Risikotaxonomie mit durchsetzbaren, herstellerunabhängigen Kontrollen verknüpft, bietet es Verteidigern einen konkreten Weg vom "benannten Risiko" zur "implementierten Schutzmaßnahme". Es bietet eine gemeinsame Taxonomie für agentenbasierte Bedrohungen und Schutzmaßnahmen, die jeder Organisation in der Community zur Verfügung steht.
Das DAGF definiert, wer verantwortlich ist und wie das Unternehmen dies verwaltet. Dieses Framework beschreibt fünf Säulen für den Aufbau eines verantwortungsvollen und widerstandsfähigen AI-Programms und bietet praktische Einblicke für die Entscheidungsfindung und Ausführung. Es befasst sich mit Kernbereichen wie AI-Governance, ethischer Compliance, Risikomanagement und betrieblicher Aufsicht. Dies hilft, AI-Programme transparent, sicher und effektiv zu verwalten und gleichzeitig die Zusammenarbeit zwischen Menschen, Prozessen und Technologie zu fördern. Im Kontext der Allianz hilft das DAGF Unternehmen dabei, die Auswahl, Bereitstellung und Verwaltung der Accelerated-Computing- und AI-Infrastruktur von NVIDIA zu steuern und sicherzustellen, dass offene Technologien in großem Maßstab verantwortungsvoll eingeführt werden. Veröffentlicht unter der Creative Commons Attribution-ShareAlike 4.0 International License, ist das DAGF herstellerunabhängig und bereits an den von der Community genutzten Standards ausgerichtet.
BlackIce ist das quelloffene, containerisierte Red-Teaming-Toolkit von Databricks. Es bündelt 14 weit verbreitete AI-Sicherheitstools in einer einzigen reproduzierbaren Umgebung, die MITRE ATLAS und DASF zugeordnet ist, sodass ein Sicherheitsteam ein System auf Prompt Injection, Datenlecks und Supply-Chain-Angriffe testen kann, ohne jedes Tool manuell konfigurieren zu müssen.
Dies senkt die Hürde für AI-Red-Teaming. Die Einrichtung von 14 einzelnen Tools erfordert Zeit und tiefgehendes Fachwissen, was ernsthafte gegnerische Tests für die meisten Teams unerreichbar macht. Mit bisher über 6.000 Downloads ist es bereits bei Teams im Einsatz, die diese Tools nicht selbst hätten zusammenstellen können.
Auf der Seite der AI-gestützten Cyberabwehr der Allianz-Mission geht unser Engagement für Offenheit über Frameworks hinaus. Databricks war der Wegbereiter für das Security Lakehouse, eine offene, verwaltete Architektur, die Sicherheits-, IT- und Geschäftsdaten vereinheitlicht, sodass Verteidiger Erkennung, Untersuchung und Reaktion im Petabyte-Bereich durchführen können.
Mit Lakewatch, dem Open Security Lakehouse von Databricks, können Sicherheitsteams AI-Agenten einsetzen, die Warnmeldungen aktiv triagieren, Bedrohungssuchen durchführen und die Erkennungslogik verfeinern – und das alles auf der Grundlage offener Datenformate, die eine Anbieterbindung verhindern. Dies ist dieselbe Philosophie, die auch die Open Secure AI Alliance antreibt: Verteidiger sollten die Kontrolle über ihre Daten, ihre Tools und ihre Erkenntnisse haben.
Das Governance-Fundament für diese Architektur ist Unity Catalog, den Databricks unter Apache 2.0 als Open Source zur Verfügung gestellt und an die Linux Foundation gespendet hat. Der Katalog ist die Ebene, die entscheidet, welcher Agent auf welche Daten, Modelle oder Tools zugreifen kann, und dies durchsetzt. Diese Ebene proprietär zu belassen, während alles darüber offen ist, würde den sicherheitskritischsten Kontrollpunkt einer Überprüfung entziehen. Mit einem offenen Katalog – sprich offenen APIs, offenen Tabellenformaten und einer offenen Implementierung – können Verteidiger den Durchsetzungspunkt selbst prüfen und erweitern, und Sicherheitsdaten bleiben über verschiedene Engines hinweg portabel, anstatt an die Control Plane eines einzelnen Anbieters gebunden zu sein.
Unser Engagement für offene Sicherheit baut auf einem tiefen Open-Source-Erbe auf, das bis zu unserer Gründung zurückreicht. Apache Spark, Delta Lake und MLflow wurden alle auf dem Prinzip aufgebaut, dass grundlegende Technologien offen, überprüfbar und gemeinschaftsorientiert sein sollten. Dieses Prinzip haben wir auf die Governance-Ebene ausgeweitet, als wir Unity Catalog als Open Source bereitgestellt haben. Apache Spark allein hat mittlerweile zwei Milliarden Downloads überschritten. Die Open Secure AI Alliance dehnt dieselbe Philosophie auf die KI-Sicherheit aus.
Die Open Secure AI Alliance ist eine Bewegung zur transparenten Entwicklung und Weitergabe relevanter Forschung im Bereich der KI-Sicherheit. Im Laufe der Zeit wird die Allianz eine wachsende Anzahl praktischer, offener Funktionen bereitstellen, die Unternehmen prüfen, übernehmen und ausbauen können.
Wir freuen uns, gemeinsam mit NVIDIA und der breiteren Allianz an dieser Mission zu arbeiten und der Community weiterhin offenen Code, offene Frameworks und offene Forschung zur Verfügung zu stellen, während wir gemeinsam die Ära der KI-Agenten sichern.
Erfahren Sie mehr über Lakewatch, das Open Security Lakehouse und wie Databricks den Sicherheitsbetrieb für die Ära der KI-Agenten neu definiert.
Erste Schritte mit Omnigent, um das Open-Agent-Meta-Harness, seine kontextbezogenen Richtlinien und die Sandbox-Isolierung in Ihrer eigenen Umgebung auszuführen.
Erkunden Sie das Databricks AI Security Framework (DASF) 3.0, um die Risiken und Kontrollen zur Absicherung Ihrer KI-Systeme zu verstehen.
Laden Sie das Databricks AI Governance Framework (DAGF) herunter, um mehr über Verantwortlichkeit und Aufsicht in Ihrem KI-Programm zu erfahren.
Besuchen Sie unser BlackIce-GitHub-Repository, um mehr über die integrierten Tools zu erfahren, Beispiele für deren Ausführung mit von Databricks gehosteten Modellen zu finden und auf alle Docker-Build-Artefakte zuzugreifen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.