Wie ich agentenbasierte Sicherheitsüberprüfungen auf Databricks entwickelt habe

Wir hatten bereits eine Automatisierung in Teilen unseres Sicherheitsüberprüfungsprozesses. Sie war nützlich, reduzierte den manuellen Aufwand jedoch nicht ausreichend.

Ich sah immer wieder dasselbe Muster in der Warteschlange: Eine Routine-Integration mit einem bekannten Design konnte direkt neben einer völlig neuen, hochriskanten Architektur liegen, und beide warteten auf dieselbe knappe Ressource – einen erfahrenen Prüfer.

Das Problem war nicht, dass unsere bestehende Automatisierung versagt hatte. Sie war lediglich an ihre Grenzen gestoßen. Wir verbrachten immer noch wertvolle Zeit von Experten mit vorhersehbaren Aufgaben, sodass weniger Raum für Entscheidungen blieb, die wirklich fachliches Urteilsvermögen erforderten.

Deshalb habe ich eine agentenbasierte Ebene entwickelt, um unsere bestehenden Abläufe zu erweitern. Das Ziel war nicht, den Prozess oder die Menschen dahinter zu ersetzen. Es ging darum, dem System zu helfen, eine Anfrage zu verstehen, unsere Standards anzuwenden, fehlende Informationen einzufordern und zu erkennen, wann ein Mensch eingreifen muss.

Die erste agentenbasierte Version konzentrierte sich auf einen einzigen Überprüfungspfad. Mein Team erkannte das übergeordnete Muster und erweiterte es auf eine Reihe von Agenten, die nun weitere Teile unseres Sicherheitsaufnahme- und Überprüfungsprozesses unterstützen. Diese erste Version habe ich komplett auf Databricks aufgebaut – derselben Plattform, die auch unsere Kunden nutzen.

Warum die Plattform so wichtig war

Ich konnte schnell agieren, weil die Kernkomponenten bereits in einer einzigen Umgebung verfügbar waren.

Unity Catalog bot einen kontrollierten Bereich für unsere Sicherheitsstandards, Anfragedaten, Belege, Entscheidungen und Systemausgaben. Auf Databricks gehostete Foundation Models stellten die Modellebene für Klassifizierung und logisches Denken bereit. Lakeflow Jobs orchestrierten die Notebook-basierten Workflows auf Serverless-Compute. Databricks Apps lieferten die Benutzeroberfläche für die Aufnahme und das Executive Dashboard.

Wie die Teile zusammenpassen

Vereinfacht gesagt durchläuft eine Anfrage die Plattform auf einem einzigen, kontinuierlichen Pfad, wobei jeder Schritt aus denselben kontrollierten Tabellen liest und in diese schreibt:

1. Aufnahme – Eine auf Databricks Apps basierende Konversations-App verwandelt eine Beschreibung in natürlicher Sprache in eine strukturierte Anfrage und fügt alle unterstützenden Entwurfsdokumente bei.
2. Reasoning – Auf Databricks gehostete Foundation Models (Claude Haiku, Sonnet und Opus) klassifizieren die Anfrage, bewerten das Risiko und entwerfen Anforderungen, immer basierend auf unseren Sicherheitsstandards. Haiku übernimmt die einfache Klassifizierung, Sonnet erledigt den Großteil der Überprüfungsarbeit und Opus ist für die komplexesten Denkprozesse reserviert.
3. Orchestrierung – Lakeflow Jobs führen die Überprüfungsagenten auf Serverless-Compute aus und leiten jede Anfrage zeitgesteuert durch ihre Phasen.
4. System of Record – Unity Catalog speichert die Standards, Anfragedaten, Belege, Modellausgaben und Entscheidungen als kontrollierte Tabellen, mit einem einheitlichen Berechtigungs- und Lineage-Modell für alles.
5. Observability – Eine zweite Databricks App liest dieselben Tabellen aus, um Berichte über Volumen, Risikomix, Automatisierungsrate und eingesparte Zeit zu erstellen.

Dies gab uns ein konsistentes Governance- und Betriebsmodell für Daten, Modelle, Workflows und Anwendungen. Anstatt separate Dienste mit unterschiedlichen Berechtigungen, Protokollen und Datenpfaden zusammenzuschustern, konnte ich mich auf die Überprüfungslogik und die Benutzererfahrung konzentrieren.

Der praktische Unterschied war die Geschwindigkeit. Ich hatte in weniger als zwei Stunden ein funktionierendes System. Dasselbe durch das Verknüpfen separater Dienste zu erreichen, hätte Wochen gedauert.

Nicht jede Überprüfung erfordert denselben Pfad

Die meisten Sicherheitswarteschlangen enthalten sowohl vorhersehbare Anfragen als auch echte Ausnahmen.

Eine Integration, die ein genehmigtes Authentifizierungsmuster verwendet und keine sensiblen Daten verarbeitet, erfordert eine andere Entscheidung als ein öffentlich zugänglicher Internetdienst, der sensible Informationen mit weitreichendem administrativen Zugriff verarbeitet. Dennoch leitet eine herkömmliche Warteschlange oft beide durch denselben manuellen Pfad.

Mein Ziel war es nicht, jede Überprüfung zu automatisieren. Ich habe die wiederholbaren Teile automatisiert und das menschliche Urteilsvermögen dort beibehalten, wo das Risiko oder die Unsicherheit höher war.

Das führte zu einer einfachen Regel: Automatisierung für gut verständliche Fälle innerhalb klarer Kriterien; Menschen für neuartige, hochriskante oder unklare Entscheidungen.

Ein besserer Zugang

Die Qualität der Überprüfung hängt von den zu Beginn verfügbaren Informationen ab.

Statische Formulare setzen voraus, dass die Antragsteller wissen, welche Überprüfung sie benötigen, die Sicherheitsterminologie verstehen und die Belege vorhersehen, die ein Prüfer anfordern wird. Wenn dies nicht der Fall ist, kommt die Anfrage unvollständig an, und die Überprüfung beginnt mit einer weiteren Fragerunde.

Ich habe mit Databricks Apps eine interaktive Aufnahme-Anwendung entwickelt. Ein Antragsteller beschreibt in natürlicher Sprache, was er tun möchte. Die Anwendung identifiziert den voraussichtlichen Überprüfungspfad, stellt kontextabhängige Folgefragen und kann ein integriertes Entwurfsdokument als unterstützenden Kontext nutzen. Sie hebt fehlende Informationen hervor und liefert eine vorläufige Risikoindikation, bevor eine formelle Anfrage erstellt wird.

Sobald genügend Kontext vorhanden ist, erstellt sie eine strukturierte Anfrage für das Sicherheitsteam.

Die Anwendung verfügt außerdem über einen Beratungsmodus, der auf unseren Sicherheitsstandards basiert. Nicht jede Frage muss zu einem Ticket werden. Teams können sich bereits während der Entwurfsphase beraten lassen und erst dann eine formelle Überprüfung eröffnen, wenn diese tatsächlich erforderlich ist.

Dies wurde zu einem der nützlichsten Teile des Systems. Es ermöglicht den Teams, schneller voranzukommen, anstatt die Warteschlange als einzigen Weg zur Kontaktaufnahme mit der Sicherheitsabteilung zu betrachten.

Wie die Agenten arbeiten

Hinter der Aufnahme-Anwendung steht eine Sammlung spezialisierter Agenten, die in Databricks Notebooks implementiert und mit Lakeflow Jobs orchestriert werden.

Ich habe bewusst darauf verzichtet, einen einzelnen Agenten mit weitreichenden Befugnissen als Sicherheitsprüfer zu entwickeln. Jeder Agent hat einen klar begrenzten Aufgabenbereich: Kontext erfassen, Risiken bewerten, die Anfrage den relevanten Standards zuordnen, Anforderungen entwerfen, Nachverfolgungen verwalten oder die Übergabe an einen Menschen vorbereiten.

Sieben spezialisierte Agenten mit jeweils einer Aufgabe

Es handelt sich um eine Reihe spezialisierter Agenten – kein einzelner allgemeiner Agent und kein einzelnes Skript –, von denen jeder eine klar definierte Aufgabe hat und die als geplante Jobs hinter der Aufnahme-Anwendung orchestriert werden:

• Aufnahme-Agent – Betreibt das interaktive Portal: Identifiziert den Überprüfungspfad, stellt kontextabhängige Fragen und erstellt eine strukturierte Anfrage.
• Risikobewertungs-Agent – Weist eine Risikostufe mit unterstützenden Belegen zu und stuft die Anfrage wahrscheinlich höher ein, wenn das Bild unvollständig ist.
• Anforderungs-Agent – Ordnet eine Anfrage den relevanten Standards zu und entwirft implementierungsspezifische Anforderungen für gut verständliche Fälle.
• Spezialisierte Überprüfungs-Agenten – Bearbeiten Anfragetypen, die eine eigene Logik erfordern, wie z. B. Bedrohungsmodellierung für Browser-Erweiterungen und die Bewertung von Drittanbietern.
• Validierungs-Agent – Erstellt eine detaillierte Validierungs-Checkliste für Anfragen mit höherem Risiko, bevor ein Vorgang abgeschlossen wird.
• Workflow-Agent – Übernimmt Folgemaßnahmen: Klärungen, Erinnerungen, Nachverfolgung von Bestätigungen und Eskalationen an Personen.
• Lern-Agent – Vergleicht regelmäßig die Bearbeitungen der Prüfer mit der ursprünglichen Ausgabe, um Verbesserungen für Prompts und Standards aufzuzeigen.

Jeder Agent hat einen begrenzten Aufgabenbereich, sodass sein Verhalten überprüfbar und testbar bleibt und eine Änderung an einem Agenten keine unbemerkten Auswirkungen auf einen anderen hat.

Das System bewertet zunächst das Risiko der Anfrage und erfasst die Belege, die diese Bewertung stützen. Eine reine Risikoeinstufung reicht nicht aus.

Wenn Informationen fehlen oder widersprüchlich sind, bittet das System um Klärung oder leitet die Anfrage an einen Prüfer weiter. Es zieht keine voreiligen Schlüsse, um eine Genehmigung zu erteilen.

Bei Routineanfragen generieren die Agenten Anforderungen basierend auf der tatsächlichen Architektur und den geltenden Standards, anstatt generische Textbausteine auszugeben. Der Antragsteller bestätigt diese Anforderungen und legt die erforderlichen Belege vor. Berechtigte Anfragen mit geringem und mittlerem Risiko können über den automatisierten Pfad abgeschlossen werden, sobald die definierten Kriterien und Validierungen erfüllt sind.

Ein Beispiel

Nehmen wir einen häufigen Fall: eine interne Integration, die ein genehmigtes Single-Sign-On-Muster verwendet und keine sensiblen Daten verarbeitet. Anstelle von generischen Textbausteinen erstellt der Anforderungs-Agent spezifische, überprüfbare Punkte, die auf diese Architektur abgestimmt sind – zum Beispiel:

• Authentifizieren Sie sich über den genehmigten Identitätsanbieter und deaktivieren Sie alle lokalen oder gemeinsam genutzten Anmeldedaten.
• Beschränken Sie die Integration auf die minimal erforderlichen Zugriffsbereiche und dokumentieren Sie diese.
• Senden Sie Anwendungs- und Zugriffsprotokolle an die zentrale Logging-Pipeline.
• Bestätigen Sie die Datenklassifizierungsstufe und führen Sie eine erneute Überprüfung durch, bevor sensible Daten eingeführt werden.

Der Antragsteller bestätigt diese Punkte und fügt Belege bei. Wenn alles in Ordnung ist und der Fall die Kriterien erfüllt, kann er über den automatisierten Pfad abgeschlossen werden.

Anfragen mit hohem Risiko, kritische, ungewöhnliche oder unklare Anfragen werden an eine Person weitergeleitet. Zu diesem Zeitpunkt erhält der Prüfer eine strukturierte Zusammenfassung, Belege, geltende Standards und alle noch offenen Fragen.

Die Agenten übernehmen auch einen Großteil der administrativen Arbeit im Zusammenhang mit einer Überprüfung: das Einholen fehlender Details, das Senden von Erinnerungen, das Nachverfolgen von Bestätigungen und die Eskalation, wenn jemand um Hilfe bittet. Ein Prüfer wird hinzugezogen, wenn eine Anfrage unklar wird oder eine menschliche Beurteilung erfordert.

Die Automatisierung erfolgt innerhalb der von uns definierten Regeln. Die Menschen behalten die Kontrolle über Ausnahmen und weitreichende Entscheidungen.

Das System vertrauenswürdig machen

Der schwierigste Teil bestand nicht darin, ein Modell dazu zu bringen, eine Antwort zu generieren. Es ging darum, diese Antwort einzugrenzen, überprüfbar zu machen und so zu gestalten, dass man darauf basierend handeln kann.

Die Agenten sind in unseren Sicherheitsstandards verankert. Risikobewertungen müssen Belege enthalten. Fehlender Kontext führt zu einer Nachfrage oder Eskalation, nicht zu einer optimistischen Annahme. Die automatisierte Erledigung ist auf vordefinierte Anfrageklassen und -kriterien beschränkt. Der Workflow erfasst die Eingaben, Ausgaben, Belege und Entscheidungen, die mit jeder Anfrage verbunden sind.

Wie das in der Praxis aussieht

Drei Dinge machen eine automatisierte Entscheidung sicher für die Umsetzung:

• Vordefinierte Anfrageklassen. Nur gut verständliche Kategorien mit geringerem Risiko kommen für eine automatisierte Erledigung infrage – zum Beispiel eine routinemäßige interne Integration nach einem genehmigten Muster, bei der keine sensiblen Daten verarbeitet werden. Alles, was außerhalb dieser Klassen liegt, wird standardmäßig an eine Person weitergeleitet.
• Akzeptable Belege. Eine Entscheidung ist nur so gut wie ihre Grundlage. Belege bedeuten konkrete, überprüfbare Artefakte: ein verlinktes Entwurfsdokument, eine angegebene Datenklassifizierungsstufe oder Konfigurationen und Referenzen, die zeigen, dass eine genehmigte Kontrolle vorhanden ist. Eine Behauptung ohne Belege wird als fehlende Information behandelt.
• Eine abgelehnte oder unsichere Bewertung. Wenn Belege fehlen oder widersprüchlich sind, rät das System nicht. Es weicht standardmäßig auf die konservativere Risikostufe aus, veröffentlicht eine spezifische Klärungsanfrage oder übergibt die Anfrage mit den angehängten offenen Fragen an einen Prüfer. Sie wird nicht einfach so genehmigt.

Das Feedback der Prüfer hilft uns, Lücken zu erkennen und das System im Laufe der Zeit zu verbessern. Wir nutzen diese Korrekturen, um unsere Standards, Prompts und die Workflow-Logik zu verfeinern, anstatt den Agenten zu erlauben, das Verhalten in der Produktionsumgebung selbstständig zu ändern.

Diese Kontrollen sind wichtiger als das Modell selbst. Ein starkes Modell kann das logische Denken verbessern, aber Vertrauen entsteht durch das System darum herum: klarer Umfang, explizite Belege, konservative Eskalation und menschliche Autorität, die Risiken echtes Gewicht verleiht.

Wie mein Team das Projekt weitergeführt hat

Ich habe die erste agentenbasierte Version entwickelt, um einen einzelnen Überprüfungspfad zu verbessern. Mein Team hat erkannt, dass dasselbe Muster noch viel mehr unterstützen kann.

Sie haben die Architektur auf zusätzliche Anfragetypen ausgeweitet, die Workflows gehärtet, die Art und Weise verbessert, wie die Agenten unsere Standards anwenden, und die für den täglichen Einsatz erforderlichen Kontrollen hinzugefügt. Was als einzelner agentenbasierter Workflow begann, ist zu einem gemeinsamen System geworden, das das Team kontinuierlich weiterentwickelt.

Ich habe den Anfang gemacht, aber wertvoll wurde das System erst, weil das Team es einsatzbereit gemacht und zu seinem eigenen Projekt gemacht hat.

Als Entwickler bin ich stolz darauf, dass die erste Version funktioniert hat. Als Führungskraft bin ich noch stolzer darauf, dass das Team ein Fundament gesehen hat, das es wert war, ausgebaut zu werden.

Das Ergebnis messen

Behauptungen über Effizienzsteigerungen sind schnell aufgestellt, aber ohne Belege schwer zu glauben.

Ich habe ein Executive Dashboard als weitere Databricks App erstellt. Es liest dieselben Unity Catalog-Daten aus, die von den Überprüfungs-Workflows generiert werden, und erfasst das Anfragevolumen, die Risikoverteilung, die automatisierte Erledigung, die menschliche Eskalation, die Durchlaufzeit und die geschätzte Zeitersparnis für die Prüfer.

Da die Metriken aus Betriebsaufzeichnungen stammen, können wir sie bis zu den Anfragen und Entscheidungen zurückverfolgen, durch die sie entstanden sind, anstatt Exporte aus separaten Systemen manuell abzugleichen.

Das hat die Gespräche mit der Führungsebene verändert. Wir konnten zeigen, wo die Automatisierung den manuellen Aufwand reduzierte, wo Prüfer weiterhin eingebunden waren und wie sich diese Mischung im Laufe der Zeit veränderte.

Die Zahlen

Das Dashboard erfasst eine konsistente Reihe von Kennzahlen, die alle aus denselben Betriebsaufzeichnungen abgeleitet werden.

Was sich geändert hat

Geeignete Routineanfragen, die früher tagelang in der Warteschlange lagen, können jetzt in wenigen Minuten erledigt werden. Teams können bereits vor dem Eröffnen eines Tickets Unterstützung erhalten, und Anfragen, die tatsächlich einen Prüfer erreichen, kommen mit besserem Kontext an.

Unsere Sicherheitsingenieure können mehr Zeit für neuartige Entwürfe, bedeutende Risiken und Entscheidungen aufwenden, die Erfahrung erfordern. Der erste Durchlauf ist zudem konsistenter, da Anfragen anhand derselben Standards und Belegprüfungen bewertet werden. Wenn das System unsicher ist, eskaliert es.

Das ist keine Sicherheit ohne Menschen. Es ist ein System, das darauf ausgelegt ist, die Aufmerksamkeit von Experten dort einzusetzen, wo sie den größten Nutzen bringt.

Was ich aus dieser Erfahrung mitgenommen habe

Mehr Prüfer einzustellen kann zwar die Kapazität erhöhen, beseitigt aber nicht die sich wiederholende Arbeit.

Der erste Schritt besteht darin, den Prozess von der Beurteilung zu trennen. Automatisieren Sie wiederholbare Schritte nur dann, wenn die Kriterien explizit sind, das System auf echten Standards basiert, Belege erforderlich sind, Unsicherheiten eskaliert werden und Ergebnisse gemessen werden können.

Automatisieren Sie eine Entscheidung nicht einfach nur, weil ein Modell eine Antwort generieren kann. Automatisieren Sie sie nur dann, wenn der Prozess definiert, wie eine akzeptable Antwort aussieht, welche Belege sie stützen und was passiert, wenn das System unsicher ist.

Behalten Sie die menschliche Kontrolle über weitreichende Entscheidungen und Ausnahmen bei.

Mein Ziel war es nicht, den Menschen aus der Sicherheitsüberprüfung auszuschließen. Ich wollte die Zeit reduzieren, die sie mit Aufgaben verbringen, die ein kontrolliertes System konsistent bewältigen kann. Die Entwicklung auf Databricks bot uns das Plattformfundament dafür. Zu sehen, wie mein Team die erste Version übernommen, gestärkt und zu ihrer eigenen gemacht hat, war das Beste daran.

Beginnen Sie mit dem Databricks-Leitfaden für Multi-Agenten-Systeme und passen Sie dann das Muster aus diesem Beitrag – kontrollierte Daten in Unity Catalog, fokussierte Agenten auf Lakeflow Jobs und eine Databricks App als Einstiegspunkt – an Ihren eigenen wiederholbaren, belegbasierten Überprüfungs-Workflow an.

Erstellen Sie ein Multi-Agenten-System auf Databricks Apps

Beginnen Sie mit dem Databricks-Leitfaden für Multi-Agenten-Systeme und passen Sie dann das Muster aus diesem Beitrag – kontrollierte Daten in Unity Catalog, fokussierte Agenten auf Lakeflow Jobs und eine Databricks App als Einstiegspunkt – an Ihren eigenen wiederholbaren, belegbasierten Überprüfungs-Workflow an.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag