Wie Sie KI-Workloads mit Unity AI Gateway Guardrails schützen

Keine Firma möchte in der nächsten Schlagzeile über eine Sicherheitslücke durch KI erscheinen. Die Steuerung und Sicherung der KI-Nutzung ist ein vielschichtiges Unterfangen; so listet die neueste Version des Databricks AI Security Framework 97 branchenerprobte KI-Sicherheitsrisiken und 73 verfügbare Kontrollen für diese Risiken auf der Databricks Platform auf. Bei der Bereitstellung von KI-Agenten sollten Organisationen alle notwendigen Kontrollen implementieren, um eine sichere, geschützte und konforme Nutzung zu gewährleisten. LLM-Guardrails sind eine der Kern-Governance- und Sicherheitskontrollen, die für die Mehrheit der Anwendungsfälle gelten.

Über die Sicherheit hinaus schützen Guardrails auch vor der Offenlegung sensibler Unternehmensdaten – vom Benutzer zum Modell oder umgekehrt. Sie können vor schädlichen oder anstößigen KI-Nutzungen schützen, sicherstellen, dass generierte Inhalte mit den Markenstrategien des Produkts übereinstimmen, und Chat-Konversationen beim Thema halten.

Heute kündigen wir LLM Guardrails in Unity AI Gateway an, jetzt in der Beta-Phase! Diese Version baut auf einer früheren Version von Guardrails im Gateway auf; insbesondere verwendet sie LLM-gestützte Guardrails, um die Leistung von vordefinierten Guardrails zu erweitern und zu verbessern, und bietet eine hochgradig konfigurierbare benutzerdefinierte Guardrail-Option. In diesem Blogbeitrag zeigen wir Ihnen, wie Sie diese Guardrails verwenden, um gegen verschiedene KI-Sicherheits- und Compliance-Risiken vorzugehen.

Szenario: Acme Co. definiert Guardrails für generative KI

Das Marketingteam von Acme Co. startet einen KI-Assistenten zur Unterstützung bei der Erstellung von Kampagnen. Der CIO von Acme hat einige allgemeine Unternehmensrichtlinien für die LLM-Nutzung festgelegt, darunter:

• Keine Kunden-PII dürfen in Modell-Prompts gelangen
• Alle Modell-Prompts müssen auf Jailbreak- und Prompt-Injection-Versuche geprüft werden
• KI darf nicht zur Erstellung schädlicher oder unsicherer Inhalte verwendet werden

Darüber hinaus achtet das Marketingteam sehr darauf, sein Markenimage zu schützen und im Wettbewerb die Nase vorn zu haben. Für diese Kampagne haben sie beschlossen, keine Konkurrenten zu verunglimpfen oder sie überhaupt zu nennen.

Das Marketingteam hat ein Budget für die Nutzung von KI für dieses Projekt gesichert und mit dem KI-Plattformteam zusammengearbeitet, um Zugang zu einem LLM für seinen Assistenten zu erhalten. Werfen wir einen Blick darauf, wie das Plattformteam einen Unity AI Gateway Endpunkt für dieses Projekt konfigurieren kann.

Erstellung eines gesteuerten KI-Endpunkts mit Unity AI Gateway

Die Teams einigten sich darauf, dass ein leistungsfähiges Allzweckmodell wie GPT-5.4 gut für ihren Anwendungsfall und ihr Budget geeignet wäre. Sie beginnen mit der Konfiguration eines Endpunkts, der dieses Modell verwendet.

Sie richten auch Inferenztabellen ein, um die Guardrails zu überwachen und sicherzustellen, dass sie ordnungsgemäß funktionieren.

Was die Guardrails betrifft, so ordnen sie ihre Geschäftsanforderungen den verschiedenen Arten von Guardrails zu.

Die Einrichtung der Guardrails, die die integrierten Vorlagen erfordern, ist unkompliziert:

1. Gehen Sie auf der AI Gateway-Seite für den Endpunkt zum Tab Guardrails.
2. Klicken Sie auf die Schaltfläche + Guardrail hinzufügen
3. Wählen Sie im Modal „Guardrail erstellen“ den Guardrail-Typ aus. In unserem Beispiel erstellen wir einen für PII-Redaktion, einen für Jailbreak und einen für unsichere Inhalte. Details zu den einzelnen Typen finden Sie in der Databricks Dokumentation.
4. Konfigurieren Sie den Guardrail, um die Geschäftsanforderung zu erfüllen. Für den PII-Guardrail möchten wir ihn so konfigurieren, dass PII in der Eingabe redigiert wird. Jeder integrierte Guardrail hat eine vordefinierte Aktion (d. h. blockieren vs. bereinigen) und einen Prompt. Optionale Konfigurationen für die integrierten Guardrails umfassen:
   1. Ein Standard-Evaluator-Endpunkt (z. B. databricks-gpt-5-nano), der bei Bedarf geändert werden kann, um die Leistung zu verbessern oder Kosten zu verwalten.
   2. Unter „Erweiterter Modus“ die Option, den Guardrail im Protokollmodus anstelle des Standard-Erzwingungsmodus auszuführen. Diese Option ist hilfreich, wenn neue Guardrails zu einem Endpunkt hinzugefügt werden, der Live-Traffic empfängt, und minimiert Störungen für Benutzer, während der Guardrail getestet wird.
5. Sobald wir mit der Guardrail-Konfiguration zufrieden sind, klicken wir auf „Guardrail erstellen“, um den Guardrail bereitzustellen.

Wir wiederholen den gleichen Vorgang für die Guardrails „Jailbreak“ und „Unsafe Content“. Für den letzten Guardrail – die Vermeidung von Verweisen auf die Konkurrenz – verwenden wir einen benutzerdefinierten Guardrail. Wir geben ihm einen Namen, wählen aus, dass Ausgaben blockiert werden, die gegen den Guardrail verstoßen, und füllen die Standard-Prompt-Vorlage aus, um die Geschäftsanforderungen zu erfüllen.

Nun gehen sie zur Prüfung der Guardrails mit einigen repräsentativen Prompts über.

Testen von Guardrails gegen Jailbreaks, PII und unsichere Ausgaben

Das Acme-Team beginnt, Beispiel-Prompts über ein Notebook an den Guardrail-aktivierten Endpunkt zu senden und beobachtet das Verhalten der Guardrails sowohl im Notebook als auch in der Inferenzabelle des Endpunkts.

Die Schutzmechanismen funktionierten wie erwartet, mit Ausnahme des benutzerdefinierten Schutzmechanismus. Das Acme-Team wirft einen Blick auf die Tipps für benutzerdefinierte Schutzmechanismen in der Databricks-Dokumentation und stellt fest, dass sie den Schutzmechanismus möglicherweise zu wenig spezifiziert haben. Zum Beispiel:

• Sie haben das Geschäft von Acme Co (Spezialitätenkaffeeanbieter) nicht spezifiziert
• Sie haben keine spezifischen Wettbewerber aufgelistet (z. B. Highline)
• Sie haben keine Few-Shot-Beispiele gegeben

Sie überarbeiten die ursprüngliche benutzerdefinierte Schutzmechanismus-Eingabeaufforderung, um diese Lücken zu schließen, und entwickeln eine viel spezifischere und gründlichere Eingabeaufforderung:

Sie testen diese Eingabeaufforderung mit gpt-5-nano und gpt-5-mini als Evaluierungsendpunkt, erhalten aber immer noch keine zuverlässige Leistung des Schutzmechanismus. Als sie zu gpt-5-4-mini wechseln, stellen sie fest, dass der benutzerdefinierte Schutzmechanismus wie erwartet ausgelöst wird, ohne die anderen Schutzmechanismus-Tests zu beeinträchtigen. Daher wählen sie 5.4-mini als ihren anfänglichen Evaluierungsendpunkt.

Als Best Practice planen sie außerdem, mehr Live-Traffic über Inferenztabellen zu erfassen, Fehlalarme und falsch negative Ergebnisse für den benutzerdefinierten Schutzmechanismus zu kuratieren und weitere Anpassungen an der Eingabeaufforderung und/oder dem Modell vorzunehmen, um die richtige Balance zwischen Präzision, Recall, Kosten und Latenz zu erreichen.

Überwachung der Schutzmechanismus-Aktivität mit Inferenztabellen

Das Acme-Team sieht die Auswirkungen des Schutzmechanismus in den Inferenztabellen des Marketing-Endpunkts und der Evaluierungsendpunkte.

• Am Inferenzendpunkt zeichnet die Nutzungsverfolgung eine Zeile pro Anfrage auf, einschließlich blockierter Anfragen. Bestehende und bereinigte Anfragen protokollieren die tatsächliche Token-Nutzung mit Status 200. Eingabe-blockierte Anfragen protokollieren Status 400 mit 0 Eingabe- und Ausgabetoken. Ausgabe-blockierte Anfragen protokollieren Status 400 mit den tatsächlichen Token-Anzahlen des Zielmodells.
• Am Evaluierungsendpunkt zeichnet die Inferenzabelle eine Zeile pro Schutzmechanismus-Aufruf auf, wobei der Anfragekörper beschreibt, was der Evaluierer erhält, die rohe JSON-Antwort des Evaluierers, Latenz, Statuscode und Zeitstempel.
• Die Inferenzabelle des Inferenzendpunkts und die Inferenzabelle des Evaluierungsendpunkts teilen sich denselben request_id. Sie können dieses Feld verknüpfen, um eine Schutzmechanismus-Entscheidung auf den ursprünglichen Client-Aufruf zurückzuführen.

Sie können Berichte und Dashboards zu diesen Inferenztabellen erstellen, um die Nutzung von Schutzmechanismen in Verbindung mit der Marketingkampagne zu verfolgen und zu verstehen. Wenn Benutzer sich über übermäßig empfindliche Schutzmechanismen beschweren, kann das KI-Plattformteam die Sitzungen einzelner Benutzer validieren, indem es die Aktionen analysiert, die innerhalb jeder Sitzung ausgeführt wurden.

Probieren Sie LLM Guardrails in Unity AI Gateway noch heute aus!

LLM Guardrails in Unity AI Gateway sind heute in der Beta-Version verfügbar. Sehen Sie sich unsere Dokumentation an, um zu erfahren, wie Sie sie aktivieren können. Beginnen Sie mit der Aktivierung von Schutzmechanismen für Endpunkte, die sensible Eingabeaufforderungen, externe Tools oder kundenorientierte Ausgaben verarbeiten, und verwenden Sie dann Inferenztabellen, um das Verhalten der Schutzmechanismen im Laufe der Zeit zu überwachen und zu verfeinern.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag