Best Practices für sichere KI-Agenten

Best Practices für sichere KI-Agenten sind mehr als einzelne Guardrails oder punktuelle Prompt-Regeln. Sie beschreiben, wie Eingaben, Identitäten, Tool-Zugriffe, Kontextgrenzen, Freigaben, Monitoring und Incident Response in einem belastbaren Kontrollmodell zusammenwirken.

Gerade bei agentischen Systemen entstehen die größten Risiken nicht in einer einzigen Modellantwort, sondern an Übergängen zwischen Planung, Retrieval, Tool-Nutzung, Delegation, Speicher und späteren Folgeaktionen. Ein guter Hub muss deshalb nicht nur Controls nennen, sondern ihre Rolle im Gesamtsystem sichtbar machen.

Diese Seite bündelt die operative Ebene der Best Practices. Threats erklären, wie Schaden entsteht. Insights ordnen Architektur- und Governance-Fragen ein. Der Best-Practices-Hub beantwortet dagegen vor allem, welche Kontrollen Teams zuerst aufbauen, kombinieren und im Betrieb nachschärfen sollten.

Die wichtigsten Kontrollfelder in diesem Hub

• Input- und Kontextkontrollen: Schutz vor Prompt Injection, untrusted Content und unsicherer Wiederverwendung von Kontext.
• Identity- und Tool-Kontrollen: minimale Rechte, saubere Delegation, serverseitige Autorisierung und kleine Tool-Sets.
• Runtime- und Betriebs-Kontrollen: Monitoring, Observability, Sandboxing, Killswitches und sichere Ausführungspfade.
• Governance- und Qualitäts-Kontrollen: Threat Modeling, Testing, Ownership, Freigaben und wiederholbare Review-Prozesse.
• Lieferketten- und Daten-Kontrollen: Drittanbieter, MCP-Server, Datenflüsse, Secrets, Privacy und Segmentierung.

Vier Phasen, in denen starke Teams ihre Kontrollen denken

• Design und Architektur: Threat Modeling, Ownership, Datenklassifikation, Identity-Modell und Trust Boundaries festlegen, bevor produktive Rechte verteilt werden.
• Build und Integration: Prompts härten, Tool-Kataloge eingrenzen, Input- und Output-Prüfungen definieren sowie Tests gegen reale Angriffspfade aufsetzen.
• Run und Enforcement: Runtime Guardrails, Policy Enforcement, Human-in-the-Loop, Sandboxing, Killswitches und Step-up-Autorisierung kombinieren.
• Observe und Improve: Traces, Policy-Entscheidungen, Kosten, Abweichungen, Incidents und Learnings fortlaufend auswerten und in die Controls zurückführen.

Fünf Kontrollziele, die ihr auf der Seite schnell wiederfindet

• Einfluss begrenzen: untrusted Inputs, manipulierte Kontexte und unsichere Outputs dürfen nicht direkt Verhalten oder Seiteneffekte steuern.
• Berechtigungen eingrenzen: Agenten sollen nur mit der minimal nötigen Identität, dem kleinsten Scope und wenigen freigegebenen Tools handeln.
• Laufzeit absichern: riskante Pfade brauchen harte technische Grenzen, Action Previews, Freigaben, Sandboxing und Kill-Switches.
• Sichtbarkeit schaffen: Traces, Tool-Logs, Policy-Entscheidungen, Freigaben und Incident-Signale müssen zusammen auswertbar bleiben.
• Verantwortung organisieren: Governance, Test- und Review-Routinen sowie Lieferkettenkontrollen machen die Sicherheitslage dauerhaft steuerbar.

Sinnvolle Reihenfolge für den ersten Ausbau

1. Blast Radius verkleinern: zuerst Least Privilege, kleine Tool-Sets, getrennte Agentenidentitäten und klare Scope-Grenzen etablieren.
2. Eingaben und Kontexte absichern: untrusted Content validieren, Kontext sauber klassifizieren und Prompt-wirksame Pfade trennen.
3. High-Impact-Aktionen kontrollieren: Human-in-the-Loop, Action Previews, Step-up-Authentisierung und Policy Enforcement für riskante Änderungen aufsetzen.
4. Betrieb sichtbar machen: Monitoring, Agent Observability, Killswitches und sichere Forensik für laufende Systeme bereitstellen.
5. Reife und Skalierung erhöhen: Threat Modeling, Testing, Supply-Chain-Kontrollen, Daten-Governance und Multi-Agent-Security nachziehen.