Threat Modeling für sichere KI-Agenten

Worum es geht

Threat Modeling macht sichtbar, wie Eingaben, Identitäten, Memory, Modelle, Tools und Folgeaktionen zusammenwirken. Entscheidend sind nicht nur einzelne Komponenten, sondern Angriffspfade über mehrere Vertrauensgrenzen.

Der Kontrollpfad

1

System erfassen

Rollen, Assets und Komponenten

2

Grenzen markieren

Datenfluss und Vertrauenswechsel

3

Missbrauch verfolgen

Angriffspfade und Auswirkungen

4

Kontrollen planen

Prävention, Erkennung und Recovery

Mögliche Folgen

Priorisierte Risiken

Klare Controls

Verantwortliche

Die drei wichtigsten Maßnahmen

Schutzschicht 1

System vollständig erfassen

Nutzer, Agenten, Prompts, Daten, Memory, Modelle, Tools, Identitäten und externe Dienste modellieren.

Schutzschicht 2

Vertrauensgrenzen markieren

Für jeden Übergang Herkunft, Rechte, Datenklasse, Mandant und mögliche Seiteneffekte dokumentieren.

Schutzschicht 3

Angriffspfade priorisieren

Vom kontrollierbaren Eingang über Privilegien bis zu wertvollen Zielen denken und Kontrollen verifizieren.

Teams investieren zuerst in Kontrollen, die reale, wirksame Angriffspfade unterbrechen.

Drei Umsetzungsmuster

Quelle bis Tool verfolgen

RAG

Dokument

Agent

Aktion

Das Modell zeigt, wo eine vergiftete Quelle Kontrolle über eine Folgeaktion gewinnen könnte.

Delegation sichtbar machen

Multi-Agent

Orchestrator

Übergabe

Executor

Kontext, Identität und Rechte werden an jeder Agentengrenze separat bewertet.

Ausführung und Egress modellieren

Coding Agent

Issue

Runner

Netzwerk

Repository-, Secret-, Shell- und Netzwerkzugriff erscheinen als eigene Trust Boundaries.

Minimalstandard und Tests

Minimalstandard

• Architektur, Datenflüsse und Laufzeit entsprechen dem dokumentierten Modell.
• Assets, Akteure, Identitäten und Vertrauensgrenzen sind benannt.
• Prompt-, Memory-, Tool- und Delegationspfade sind enthalten.
• Risiken haben Owner, Priorität und überprüfbare Kontrollen.
• High-Impact-Aktionen besitzen Prävention, Erkennung und Recovery.
• Das Modell wird bei Architektur-, Tool- und Berechtigungsänderungen aktualisiert.

Tests oder Tabletop-Übungen müssen Prompt Injection, Credential-Missbrauch, Cross-Tenant-Zugriff, kompromittierte Tools, unsichere Delegation und Ausfall zentraler Kontrollen abdecken.

Quellen

• NIST SP 800-154 – Guide to Data-Centric System Threat Modeling
• OWASP Threat Modeling Process
• MITRE ATLAS