29.03.2026
Aktualisiert 27.07.2026
Threat
Human-Agent Trust Exploitation
Überzeugende Sprache, Personalisierung oder schwache Freigabeoberflächen können Menschen dazu bringen, riskanten Empfehlungen eines KI-Agenten zu stark zu vertrauen.
Was Human-Agent Trust Exploitation ist
Human-Agent Trust Exploitation nutzt fehlkalibriertes Vertrauen in einen KI-Agenten aus. Autoritativ klingende Erklärungen, Personalisierung, Dringlichkeit oder eine schwache Oberfläche bewegen Menschen dazu, Empfehlungen zu übernehmen, obwohl Evidenz und Zuverlässigkeit das nicht rechtfertigen.
Der Wirkkanal ist damit der menschliche Entscheidungsprozess. Ein Agent kann falsch liegen, manipuliert sein oder echten Unternehmenskontext missbrauchen – und dennoch führt erst die unzureichend geprüfte Freigabe zur Zahlung, Datenoffenlegung oder riskanten Systemänderung.
Wie die Vertrauensausnutzung funktioniert
Technische Einstiege sind etwa Prompt Injection, vergiftetes RAG oder kompromittierte Tools. Der Agent kann Übervertrauen aber auch ohne aktiven Angreifer erzeugen, etwa durch falsche Sicherheit oder sycophantisches Verhalten.
Kontext
Der Agent kennt Aufgabe und Organisation
Überzeugendes Framing
Die Empfehlung wirkt sicher und dringend
Schwache Freigabe
Evidenz und Wirkung bleiben unklar
Menschliche Aktion
Der Nutzer bestätigt oder handelt selbst
Mögliche Folgen
Zahlungen werden freigegeben
Zugangsdaten werden offengelegt
Riskante Änderungen werden ausgeführt
Memory und persönlicher Kontext können die Manipulation glaubwürdiger machen. Identitätsmissbrauch verstärkt sie zusätzlich, ist aber als Identity & Privilege Abuse ein eigener technischer Angriffsweg.
Fehlinformation oder Vertrauensausnutzung?
Inhalt
Fehlinformation
Eine Aussage ist falsch, unbelegt oder unvollständig – unabhängig davon, wie ein Mensch darauf reagiert.
Kann ohne weitere Wirkung erkannt und verworfen werden
Quellen- und Output-Prüfung adressieren den Inhalt
Wirkung
Trust Exploitation
Darstellung und Prozess führen dazu, dass ein Mensch eine riskante Handlung übernimmt.
Autorität, Dringlichkeit und Personalisierung verstärken die Wirkung
Auch ein echter Agent kann zu viel Vertrauen erzeugen
Eine Halluzination kann der Auslöser sein. Human-Agent Trust Exploitation beschreibt die Fehlkalibrierung, durch die ein Mensch sie ungeprüft in reale Wirkung übersetzt.
Drei typische Angriffsszenarien
Der Agent drängt zur Eilzahlung
FinanceBekannte Lieferantendaten und interne Sprache überdecken, dass Bankverbindung oder Policy-Ausnahme nicht unabhängig geprüft wurden.
Der Agent fordert einen MFA-Code
SupportEchte Ticketdetails und hilfreicher Ton machen eine unzulässige Credential-Anfrage scheinbar legitim.
Ein Quick Fix umgeht den Review
DevOpsUnter Zeitdruck führt ein Engineer einen riskanten Befehl aus, obwohl Diff, Evidenz und Rollback fehlen.
Was wirklich schützt
Teams müssen Vertrauen kalibrieren, statt nur eine Bestätigung einzuholen. Quellen, Unsicherheit und Seiteneffekte gehören in die Entscheidung; kritische Wirkung muss zusätzlich durch Richtlinien begrenzt sein.
Quellen, Unsicherheit, Alternativen und konkrete Seiteneffekte vor der Entscheidung verständlich anzeigen.
Vorschau und Ausführung trennen; für Zahlungen, Exporte oder Rechteänderungen zweite Prüfung und bewusste Bestätigung verlangen.
Least Privilege, Step-up-Authentisierung und serverseitige Richtlinien unabhängig von der Empfehlung des Agenten erzwingen.
Ein Agent darf beraten und erklären. Er darf aber weder Evidenz ersetzen noch menschliches Vertrauen als Umgehung technischer Kontrollen nutzen.
Für sensible Anfragen ergänzt Context-Aware Authentication die Freigabe um einen unabhängigen Identitätsnachweis. Warum reine UI-Hinweise nicht genügen, zeigt Runtime Guardrails vs. Policy Enforcement.
Wie Teams Übervertrauen erkennen und testen
- Evidenzlücken messen: Riskante Empfehlungen ohne belastbare Quellen, Unsicherheit oder Aktionsvorschau markieren.
- Freigabeverhalten beobachten: Ungewöhnlich schnelle Bestätigungen und fast unverändert übernommene Agententexte korrelieren.
- Empfehlung und Wirkung vergleichen: Genehmigter Plan, Tool-Parameter und tatsächliche Endaktion müssen übereinstimmen.
- Manipulative UX testen: Dringlichkeit, Autorität, Personalisierung und falsche Sicherheit in realistischen Freigabeszenarien prüfen.
Die Telemetrie muss Nutzerauftrag, Empfehlung, Evidenz, Freigabepfad und Endaktion verbinden. Sonst wirkt der Vorfall im Nachhinein wie eine normale Nutzerentscheidung. Mehr dazu unter Agent Observability und Monitoring & Observability.