Deviation Detection und Intent Validation für KI-Agenten

Worum es geht

Deviation Detection vergleicht geplante und ausgeführte Agentenschritte fortlaufend mit dem freigegebenen Auftrag. Sie erkennt Zielwechsel, unerwartete Tools, neue Empfänger, Scope-Ausweitungen und ungewöhnliche Aktionsketten.

Der Kontrollpfad

1

Intent verankern

Ziel, Scope und Grenzen speichern

2

Aktion normalisieren

Tool, Ziel und Wirkung erfassen

3

Abweichung bewerten

Regeln, Sequenz und Risiko vergleichen

4

Reagieren

Erlauben, eskalieren oder stoppen

Mögliche Folgen

Im Scope

Freigabe nötig

Lauf gestoppt

Semantische Ähnlichkeit zum ursprünglichen Prompt genügt nicht. Eine plausible Begründung kann dennoch zu einem unzulässigen Ziel oder Seiteneffekt führen.

Die drei wichtigsten Maßnahmen

Schutzschicht 1

Intent strukturiert speichern

Halte erlaubte Ziele, Tools, Datenklassen, Empfänger, Kosten und Dauer als prüfbare Constraints fest.

Schutzschicht 2

Jeden Schritt vergleichen

Bewerte aktuelle Aktion und Aktionskette gegen Intent, Policy, Normalverhalten und bekannte Risikomuster.

Schutzschicht 3

Reaktion technisch erzwingen

Blockiere High-Confidence-Verstöße und verlange bei Unsicherheit Freigabe oder Re-Autorisierung.

Zielentführung und schleichende Scope-Ausweitung werden vor dem wirksamen Seiteneffekt sichtbar.

Drei Umsetzungsmuster

Empfängerwechsel erkennen

E-Mail

Auftrag

Neuer Empfänger

Freigabe

Ein interner Zusammenfassungsauftrag darf nicht ohne neue Freigabe in externe Kommunikation übergehen.

Tool-Sprung stoppen

Coding

Codeprüfung

Deployment

Blockiert

Der Wechsel von Read-only-Analyse zu Shell, Merge oder Deployment verletzt den ursprünglichen Scope.

Schleichende Exfiltration erkennen

Daten

Abfragen

Sequenzsignal

Export gesperrt

Mehrere einzeln plausible Abfragen werden als gemeinsame, ungewöhnliche Datenbewegung bewertet.

Minimalstandard und Tests

Deviation Detection ergänzt Autorisierung, ersetzt sie aber nicht. Bekannte verbotene Aktionen müssen deterministisch blockiert werden; Anomalieerkennung behandelt unbekannte Muster.

Minimalstandard

• Auftrag, Scope, erlaubte Tools, Ziele und Datenklassen sind maschinenlesbar gespeichert.
• Tool-Aufrufe werden vor der Ausführung normalisiert und bewertet.
• Die Prüfung berücksichtigt Einzelaktion, Sequenz und kumulative Wirkung.
• Schwellenwerte unterscheiden Blockierung, Freigabe und reine Beobachtung.
• Intent-Änderungen erfordern explizite Re-Autorisierung.
• Entscheidungen und zugrunde liegende Signale sind nachvollziehbar protokolliert.

Testfälle müssen mindestens abdecken:

• Zielwechsel und Scope Creep über mehrere plausible Schritte
• neue Tools, Empfänger, Datenklassen und Zielsysteme
• langsame Exfiltration und Aufteilung einer verbotenen Aktion
• Fehlalarme bei legitimen Planänderungen und wiederholten Workflows

Quellen

• NIST AI RMF 1.0
• MITRE ATLAS
• OWASP Agentic AI Threats and Mitigations