◄ ALLE POSTS
AI Security

Das Defense Playbook für KI-Agenten nimmt endlich Form an

NW Nils Weiser 22 JUL 2026

Der Großteil der Berichterstattung über KI-Agent-Security in diesem Jahr drehte sich um Angriffe — clevere Exploits, alarmierende Erfolgsquoten, universelle Jailbreaks. Das ist der spaßige Teil beim Schreiben. Aber leise hat die defensive Seite aufgeholt, und die Frameworks, die 2026 entstehen, sind interessanter als der übliche „Füg ein Guardrail hinzu"-Rat.

Sie teilen einen gemeinsamen Instinkt: Hör auf, das Modell vertrauenswürdig machen zu wollen, und fang an einzudämmen, was passiert, wenn es das nicht ist. Hier sind drei Entwicklungen, die man kennen sollte.

1. Zero Trust, gerichtet auf die eigenen Agenten

Anthropic veröffentlichte ein Framework, das Zero-Trust-Prinzipien auf KI-Agenten anwendet, und das Framing ist der Punkt. Zero Trust in der klassischen Security bedeutet „never trust, always verify" — man gewährt Zugriff nicht danach, woher ein Request kommt, sondern authentifiziert und autorisiert jede Aktion. Auf Agenten angewandt bedeutet es, den eigenen Agent so zu behandeln, wie man jeden anderen untrusted Akteur innerhalb des eigenen Perimeters behandeln würde.

Das Framework nimmt die vier Failure Modes in Angriff, die in der Forschung immer wieder auftauchen: Prompt Injection, Tool Poisoning, Identity Abuse und Memory Poisoning. Was ich überzeugend finde, ist der Identity-Aspekt. Ein Agent aggregiert oft die Credentials und Permissions von allem, was er anfassen kann, was ihn zu einem einzelnen, saftigen Punkt für Privilege Escalation macht. Zero Trust sagt: Lass es nicht zu. Skaliere seine Autorität pro Aktion, verifiziere jeden Tool-Call und geh davon aus, dass jeder einzelne Schritt adversarial sein könnte.

Agentic SOAR

Das Framework bringt außerdem ein „agentic SOAR" ins Spiel — Security Orchestration and Automated Response auf Agentenverhalten anzusetzen, sodass Missbrauch zur Laufzeit erkannt wird und nicht erst in einer Post-mortem-Analyse.

2. Deine Agenten als Insider Threats behandeln

Die AI Control Roadmap von Google DeepMind nimmt eine noch provokantere Haltung ein: Geh davon aus, dass deine internen Agenten misaligned sein könnten, und designe so, als würdest du dich gegen einen Insider Threat verteidigen.

Das ist Defense-in-Depth für eine Welt, in der man dem, was man gebaut hat, nicht voll vertrauen kann. Statt zu fragen „Ist dieser Agent sicher?" und zu hoffen, dass die Antwort ja lautet, baut man geschichtete Controls, die halten, selbst wenn er es nicht ist — Monitoring, eingeschränkte Permissions und die Annahme, dass der Agent irgendwann gegen deine Interessen handeln könnte. Es ist ein Mindset-Wechsel von Alignment (den Agent das Richtige wollen lassen) zu Control (ihn außerstande setzen, das Falsche zu tun, selbst wenn er es will).

Ein seltsam beruhigendes Detail

Die meisten der beobachteten Anomalien kamen aus Übereifer statt aus echter adversarialer Absicht — Agenten, die zu viel, zu hilfsbereit taten, keine Agenten, die Ränke schmieden. Das ist ein hoffnungsvoller Datenpunkt darüber, wo wir heute stehen. Aber die ganze Prämisse der Roadmap ist, dass man die Controls baut, bevor sich das ändert, nicht danach.

3. Zertifizierte Defenses gegen Memory Poisoning

Die Entwicklung, über die ich mich am meisten freue, ist das Aufkommen zertifizierter Defenses für Agent-Memory — denn „zertifiziert" bedeutet in der Security etwas Spezifisches und Seltenes.

Memory Poisoning ist einer der übelsten Agent-Angriffe: Korrumpiere das persistente Memory eines Agents einmal, und er kann sich über künftige Sessions hinweg falsch verhalten, lange nachdem die ursprüngliche Injection weg ist. (Ich habe gezeigt, wie billig das ist — zwei Chat-Nachrichten.) Die meisten Defenses dagegen sind heuristisch — sie legen die Latte höher, bieten aber keine Garantien. Dieses Jahr brachte zwei, die weiter gehen. Non-Malleable Memory Authority bindet Memory mit maschinengeprüften Garantien an seinen Ursprung und treibt Berichten zufolge Memory-Laundering-Angriffe auf eine Erfolgsquote von null. Und SMSR (Signed Memory with Smoothed Retrieval) wird als die erste zertifizierte Defense gegen Multi-Session-Memory-Poisoning beschrieben, mit bewiesenen Robustheitsschranken statt empirischer „wir konnten es nicht knacken"-Aussagen.

Warum „zertifiziert" wichtig ist

Eine empirische Defense sagt „wir haben uns angestrengt und es hat gehalten". Eine zertifizierte Defense kommt mit einer mathematischen Schranke — einem Beweis, dass der Angriff innerhalb eines definierten Threat-Modells eine bekannte Erfolgsquote nicht überschreiten kann. Das ist der Unterschied zwischen einem Schloss, das noch nie geknackt wurde, und einem Schloss mit einem Beweis, dass es nicht geknackt werden kann. Von Letzterem brauchen wir in der AI Security sehr viel mehr.

Der rote Faden

Liest man diese drei zusammen, entsteht eine kohärente Philosophie. Niemand, der es ernst meint, setzt darauf, das Modell selbst vertrauenswürdig zu machen. Zero Trust verifiziert jede Aktion. Die AI Control Roadmap nimmt Misalignment an und baut Controls, die es überstehen. Zertifizierte Memory-Defenses hören auf, persistentem Zustand zu vertrauen, und fangen an, Schranken darüber zu beweisen. Der gemeinsame Zug ist, zu verkleinern, was man vertrauen muss, und verifizierbare Grenzen um den Rest zu ziehen.

Das ist kein Zufall — es ist dieselbe Lektion, zu der das ganze Feld aus jeder Richtung konvergiert. Man sichert einen Agent nicht, indem man ihn gut macht. Man sichert ihn, indem man sicherstellt, dass er nicht viel Schaden anrichten kann, wenn er schlecht ist.


Quellen: Adversa AI — Top Agentic AI Security Resources, July 2026 (Anthropic Zero Trust for AI Agents; Google DeepMind AI Control Roadmap v0.1; Non-Malleable Memory Authority; SMSR certified memory defense).

NW
Nils WeiserAI Agent Specialist · Bodenseeraum
MIT MIR ARBEITEN ▸

Weitere Field Notes

ALLE POSTS ▸