Input Validation & Prompt Injection Defense für KI-Agenten

Worum es geht

Externe Inhalte dürfen Fakten liefern, aber weder Auftrag noch Rechte eines Agenten verändern. Das gilt für Nutzereingaben, Webseiten, E-Mails, Dateien, RAG-Treffer, Tool-Ausgaben und Memory.

Der Kontrollpfad

1

Quelle erfassen

Herkunft und Vertrauensstufe speichern

2

Inhalt prüfen

Format normalisieren, Risiken markieren

3

Kontext begrenzen

Nur benötigte Daten weitergeben

4

Aktion prüfen

Tool, Ziel und Parameter autorisieren

Mögliche Folgen

Markierter Kontext

Quarantäne

Begrenzte Aktion

Ein Filter allein reicht nicht. Auch unauffälliger Fremdinhalt bleibt nicht vertrauenswürdig.

Die drei wichtigsten Maßnahmen

Schutzschicht 1

Herkunft erhalten

Quelle, Mandant und Vertrauensstufe am Inhalt behalten. Fremddaten nie als Systemanweisung einfügen.

Schutzschicht 2

Kontext reduzieren

Markup entfernen und nur benötigte Fakten oder erlaubte Felder weitergeben.

Schutzschicht 3

Wirkung begrenzen

Tool, Ziel, Parameter und Datenumfang außerhalb des Modells prüfen.

Eine Injection kann das Modell beeinflussen. Sie darf keine neuen Rechte oder ungeprüften Aktionen erzeugen.

Drei Umsetzungsmuster

Dokumente vor dem Kontext reduzieren

RAG

Dokument

Extraktion

Fakten

Nur relevante Passagen gelangen mit Quellenangabe in den Agentenkontext.

Verdächtige Inhalte isolieren

Browser & E-Mail

Inhalt

Verdacht

Prüfung

Zielwechsel und Exfiltrationsanweisungen gehen in Quarantäne.

Ausgaben auf Felder begrenzen

Tools & MCP

Ausgabe

Schema

Aufruf

Der nächste Schritt erhält strukturierte Werte statt roher Antworten.

Minimalstandard und Tests

Kein Filter erkennt jede Prompt Injection. Deshalb bleiben Rechte, Tool-Grenzen und Freigaben unabhängig von der Inhaltsprüfung.

Minimalstandard

• Alle prompt-wirksamen Eingänge sind inventarisiert.
• Quelle und Vertrauensstufe bleiben am Inhalt erhalten.
• Fremdinhalte landen nicht in privilegierten Kontexten.
• Riskante Quellen haben einen Quarantäne- oder Freigabepfad.
• Tool, Ziel und Parameter werden serverseitig geprüft.
• Logs verbinden Quelle, Kontext und ausgeführte Aktion.

Testfälle müssen mindestens abdecken:

• direkte Injection in Nutzereingaben
• indirekte Injection in Web, E-Mail, PDF, RAG und Tool-Ausgaben
• Umgehung über Kodierung, Unicode und verstecktes Markup
• Versuche, Datenzugriff, Memory oder Tool-Umfang zu erweitern

Quellen

• OWASP LLM01:2025 – Prompt Injection
• NIST AI 100-2e2025
• Greshake et al.: „Not what you’ve signed up for“