Monitoring & Observability für KI-Agenten

Worum es geht

Observability verbindet Nutzerauftrag, Modellschritte, Retrieval, Tool-Aufrufe, Policy-Entscheidungen und Nebenwirkungen zu einem nachvollziehbaren Lauf. Monitoring erkennt daraus bekannte und ungewöhnliche Abweichungen.

Der Kontrollpfad

1

Telemetry erfassen

Strukturierte Events statt Rohtext

2

Lauf korrelieren

Session, Trace und Delegation verbinden

3

Risiko erkennen

Regeln, Limits und Anomalien anwenden

4

Reagieren

Alarm, Drosselung oder Killswitch

Mögliche Folgen

Alarm

Untersuchung

Containment

Prompt- und Tool-Inhalte dürfen nicht ungefiltert in Logs landen; Observability braucht Datenminimierung und Zugriffsschutz.

Die drei wichtigsten Maßnahmen

Schutzschicht 1

End-to-End korrelieren

Trace-IDs über Modell, Tools, Sub-Agents, Freigaben und externe Systeme durchgängig mitführen.

Schutzschicht 2

Sicherheitsrelevante Events

Policy-Blocks, Rechtewechsel, Zielobjekte, Datenmengen, Kosten und Stopps strukturiert erfassen.

Schutzschicht 3

Handlungsfähige Reaktion

Alarme mit Owner, Runbook und automatischem Containment für kritische Muster verbinden.

Teams erkennen schädliche Ketten früh und können Ursache, Reichweite und Gegenmaßnahme belastbar bestimmen.

Drei Umsetzungsmuster

Aktion und Policy verbinden

Tool-Calls

Vorschlag

Policy

Ergebnis

Logeinträge zeigen Tool, Ziel, Parameterklasse, Entscheidung und tatsächlichen Side Effect.

Delegationen als Trace

Multi-Agent

Supervisor

Handoff

Worker

Parent- und Child-Spans machen Verantwortlichkeit, Wiederholungen und kaskadierende Fehler sichtbar.

Alarm direkt eindämmen

Incident

Anomalie

Alarm

Stop

Kritische Exfiltrations- oder Kostenmuster pausieren den Lauf und öffnen ein vorkontextualisiertes Incident-Ticket.

Minimalstandard und Tests

Minimalstandard

• Agentenlauf, Nutzer, Tenant, Modell und Policy-Version sind korrelierbar.
• Tool-Aufrufe enthalten Ziel, Entscheidung, Dauer und Ergebnisstatus.
• Freigaben, Delegationen, Retries und Stopps erscheinen im selben Trace.
• Secrets und unnötige personenbezogene Inhalte werden vor Logging entfernt.
• Alarme haben Schwellenwert, Owner, Runbook und Eskalationsziel.
• Aufbewahrung, Integrität und Zugriff auf Audit-Daten sind geregelt.

Tests müssen fehlende Spans, asynchrone Handoffs, Log-Injection, Secret-Redaction, Alert-Fluten, Uhrabweichung und einen vollständigen Incident-Replay abdecken.

Quellen

• OpenTelemetry Documentation
• NIST SP 800-92: Guide to Computer Security Log Management
• OWASP Logging Cheat Sheet