Output Validation und Guardrails für KI-Agenten

Worum es geht

Eine Modellausgabe ist zunächst nur ein Vorschlag. Vor Anzeige, Speicherung oder Side Effect muss eine deterministische Kontrollschicht Struktur, Inhalt, Ziel und erlaubte Wirkung prüfen.

Der Kontrollpfad

1

Kandidat erzeugen

Enges strukturiertes Schema

2

Struktur prüfen

Typen, Felder und Werte validieren

3

Wirkung prüfen

Ziel, Daten und Policy autorisieren

4

Kontrolliert nutzen

Anzeigen, speichern oder ausführen

Mögliche Folgen

Freigegeben

Bereinigt

Blockiert

Anzeige, Speicherung und Ausführung brauchen eigene Regeln: Ein sicherer UI-Text kann für Memory oder Shell ungeeignet sein.

Die drei wichtigsten Maßnahmen

Schutzschicht 1

Strikte Schemas

Pflichtfelder, Typen, Enums und verbotene Zusatzfelder prüfen; Parse-Fehler fail closed behandeln.

Schutzschicht 2

Wirkung autorisieren

Tool, Ziel, Empfänger, Datenmenge und Aktionsklasse serverseitig gegen den aktuellen Scope prüfen.

Schutzschicht 3

Riskante Pfade eskalieren

Externe, irreversible oder sensitive Aktionen blockieren, bereinigen oder bewusst freigeben lassen.

Manipulierter oder fehlerhafter Output kann nicht ungeprüft zu realer Wirkung werden.

Drei Umsetzungsmuster

Aufrufe vollständig prüfen

Tools

JSON

Schema + Policy

Tool

Name, Parameter, Zielressource und Datenumfang müssen gemeinsam erlaubt sein.

Empfänger und Inhalte trennen

Kommunikation

Entwurf

DLP

Versand

Guardrails prüfen Empfänger, Secrets und PII; externer Versand erhält eine eigene Freigabe.

Artefakt vor Ausführung isolieren

Code

Code

Sandbox

Ergebnis

Generierter Code wird statisch geprüft und in einer begrenzten Umgebung ausgeführt, nie direkt aus Freitext.

Minimalstandard und Tests

Minimalstandard

• Alle Outputs mit Anzeige-, Speicher- oder Ausführungswirkung sind inventarisiert.
• Strukturierte Ausgaben nutzen enge Schemas ohne unbekannte Zusatzfelder.
• Tool, Ziel, Parameter, Empfänger und Datenumfang werden serverseitig geprüft.
• UI, Memory, Logs und Execution besitzen getrennte Regeln.
• Parse-Fehler und unbekannte Varianten werden fail closed behandelt.
• Blocks, Bereinigungen und Freigaben sind mit Regelversion protokolliert.

Tests müssen Schema-Bypässe, Zusatzfelder, Zielwechsel, Datenexfiltration, Encoding, abgeschnittene Antworten, gefährliche Artefakte und Approval-Umgehung abdecken.

Quellen

• OWASP LLM05:2025 – Improper Output Handling
• JSON Schema Specification
• NIST AI Risk Management Framework