Prompt Injection

Was ist Prompt Injection bei KI-Agenten?

Prompt Injection bei KI-Agenten ist ein Angriffsmuster, bei dem ein Modell durch direkte Eingaben oder durch untrusted Inhalte aus externen Quellen dazu gebracht wird, seinen eigentlichen Auftrag oder höher priorisierte Sicherheitsregeln zu missachten. Bei agentischen Systemen ist das deutlich kritischer als bei einem einfachen Chatbot, weil der Agent nicht nur antwortet, sondern plant, Tools aufruft, Daten liest und Aktionen in anderen Systemen auslöst.

Das Kernproblem ist nicht nur ein “böser Prompt”, sondern die fehlende harte Trennung zwischen Daten und Anweisungen. Wenn Webseiten, Dokumente, E-Mails, Tool-Outputs oder RAG-Treffer in denselben Entscheidungsraum gelangen wie Systemregeln und freigegebene Nutzeraufträge, kann fremder Inhalt die Zielsteuerung des Agenten beeinflussen.

In der Threat-Landschaft liegt Prompt Injection deshalb im Input- und Context-Manipulation-Layer. Sie ist häufig der Eintrittspfad für spätere Folgen wie Tool Misuse und Exploitation, Memory and Context Poisoning, Agent Goal Hijack oder Identity and Privilege Abuse.

Besonders exponiert sind:

• RAG- und Search-Agents
• E-Mail-, Dokumenten- und Workspace-Assistenten
• Browser- und Computer-Use-Agents
• Coding Agents mit Repo-, Shell- oder Dateisystemzugriff
• Workflow- und MCP-gebundene Agents mit mehreren Tool-Integrationen

Wichtig für den Search Intent ist auch die Abgrenzung: Jailbreaking ist meist eine Unterform direkter Prompt Injection. RAG Poisoning betrifft die vergiftete Wissens- oder Retrieval-Ebene. Prompt Injection beschreibt dagegen die eigentliche Laufzeitmanipulation, bei der ein Agent fremde Instruktionen als handlungsleitend übernimmt.

Wie funktioniert Prompt Injection?

			flowchart TB
    task[Legitime Aufgabe für den Agenten]
    sources[Untrusted Inhalt aus Prompt, Web, Mail, PDF, Repo oder Tool-Output]
    payload[Versteckte oder offene Instruktion]
    merge[Agent vermischt Daten und Anweisungen im selben Kontext]
    drift[Plan, Tool-Wahl oder Antwort kippt]
    action[Unsicherer Tool-Call, Datenzugriff oder manipulierter Output]
    impact[Business Impact]
    leak[Data Leakage]
    misuse[Tool Misuse]
    poison[Memory oder Folge-Workflow wird kontaminiert]

    task --> sources --> payload --> merge --> drift --> action --> impact
    impact --> leak
    impact --> misuse
    impact --> poison

    classDef normal fill:#ffffff,stroke:#406749,stroke-width:1.5px,color:#181c1e;
    classDef warning fill:#f1f4f7,stroke:#406749,stroke-width:1.5px,color:#181c1e;
    classDef danger fill:#fdeceb,stroke:#844f59,stroke-width:1.5px,color:#181c1e;

    class task,sources,payload,merge warning;
    class drift,action,impact normal;
    class leak,misuse,poison danger;
		

			flowchart TB
    task[Legitime Aufgabe für den Agenten]
    sources[Untrusted Inhalt aus Prompt, Web, Mail, PDF, Repo oder Tool-Output]
    payload[Versteckte oder offene Instruktion]
    merge[Agent vermischt Daten und Anweisungen im selben Kontext]
    drift[Plan, Tool-Wahl oder Antwort kippt]
    action[Unsicherer Tool-Call, Datenzugriff oder manipulierter Output]
    impact[Business Impact]
    leak[Data Leakage]
    misuse[Tool Misuse]
    poison[Memory oder Folge-Workflow wird kontaminiert]

    task --> sources --> payload --> merge --> drift --> action --> impact
    impact --> leak
    impact --> misuse
    impact --> poison

    classDef normal fill:#ffffff,stroke:#406749,stroke-width:1.5px,color:#181c1e;
    classDef warning fill:#f1f4f7,stroke:#406749,stroke-width:1.5px,color:#181c1e;
    classDef danger fill:#fdeceb,stroke:#844f59,stroke-width:1.5px,color:#181c1e;

    class task,sources,payload,merge warning;
    class drift,action,impact normal;
    class leak,misuse,poison danger;
		

Die gefährlichste Variante in Unternehmen ist meist indirekte Prompt Injection. Der Angreifer spricht den Agenten dabei nicht direkt an, sondern platziert Anweisungen in Inhalten, die der Agent später “nur lesen” soll. Genau deshalb sind Input Validation & Prompt Injection Defense, Output Validation und Guardrails und Human-in-the-Loop zusammen wichtiger als ein einzelner System Prompt.

Direkte vs. indirekte Prompt Injection und verwandte Threats

Viele Suchanfragen vermischen mehrere Begriffe. Für Architektur, Detection und Mitigation lohnt sich die Trennung trotzdem:

Für produktive Systeme heißt das: Ein besser formulierter Prompt allein löst das Problem nicht. Wer Prompt Injection ernsthaft reduzieren will, muss untrusted Content Handling, Rechtebegrenzung, Laufzeitkontrollen und Detection gemeinsam designen.

Realistische Beispiele für Prompt Injection bei KI-Agenten

Welche Risiken entstehen für Unternehmen?

Prompt Injection ist für Unternehmen kein reines Qualitätsproblem. Sobald Agenten mit Daten, Identitäten und Tools verbunden sind, wird aus manipulierter Sprache ein operatives Sicherheitsrisiko.

In regulierten Umgebungen kommen dazu Audit-, Datenschutz- und Governance-Risiken. Ohne belastbares Monitoring und Logging bleibt häufig unsichtbar, welcher untrusted Inhalt die spätere Aktion eigentlich ausgelöst hat.

Wie verhindert man Prompt Injection?

Vollständig lösen lässt sich Prompt Injection heute nicht. In produktiven Agentensystemen geht es deshalb um Risikoreduktion und Begrenzung des Blast Radius, nicht um ein einzelnes perfektes Prompt-Rezept.

Ein belastbarer Stack kombiniert diese Maßnahmen meist mit Human-in-the-Loop, AI Sandboxing für Browser- oder Coding-Agents und Monitoring und Observability für Detection und Forensik.

Wie erkennt man Prompt Injection?

Es gibt selten ein einzelnes Signal. In der Praxis funktioniert Detection über die Kombination aus Content-Signalen, Verhaltensanomalien und Zugriffspfaden.

Wichtig sind dabei nicht nur Modell-Logs, sondern auch Dokument-Hashes, Herkunft von Retrieval-Treffern, Tool-Parameter, Freigabeereignisse und Policy-Entscheidungen. Genau deshalb ist Agent Observability für Prompt Injection kein optionales Debugging-Feature, sondern Teil der Sicherheitsarchitektur.

FAQ zu Prompt Injection bei KI-Agenten