KI-Agenten beantworten nicht mehr nur Fragen. Sie rufen Schnittstellen auf, legen Tickets an, ändern Datensätze und lösen Abläufe in Unternehmenssoftware aus. Für deutsche Entwicklungsteams verschiebt sich damit die zentrale Frage: Es geht weniger darum, ob ein Sprachmodell gute Antworten liefert, sondern darum, was es in produktiven Systemen tatsächlich tun darf. Laut einer Prognose von Gartner aus dem Jahr 2025 werden bis Ende 2027 über 40 Prozent der Projekte mit agentischer KI eingestellt. Als Gründe nennt das Analysehaus steigende Kosten, unklaren Nutzen und unzureichende Risikokontrollen. Eine durchdachte Integration entscheidet daher oft über Erfolg oder Abbruch.
Warum KI-Agenten andere Sicherheitsfragen aufwerfen
Klassische Software folgt festgelegten Regeln. Ein Agent dagegen entscheidet auf Basis natürlicher Sprache, welche Werkzeuge er in welcher Reihenfolge nutzt. Dadurch entsteht ein Verhalten, das sich nicht vollständig vorhersagen lässt. Die OWASP Top 10 für LLM-Anwendungen in der Fassung von 2025 führen Prompt-Injection auf Platz eins. Unter dem Begriff „Excessive Agency“ beschreiben sie zudem das Risiko, dass ein Modell mit zu vielen Befugnissen, Funktionen oder zu viel Autonomie ausgestattet wird.
Hinzu kommt die technische Anbindung. Standards wie das Model Context Protocol (MCP), das Anthropic im November 2024 veröffentlicht hat, erleichtern es, Agenten mit Datenbanken, Dateisystemen und Geschäftsanwendungen zu verbinden. Jede dieser Verbindungen erweitert jedoch die Angriffsfläche. Ein einziger falsch konfigurierter Zugang kann ausreichen, damit ein Agent auf vertrauliche Kundendaten zugreift.
Minimale Rechte als Grundlage jeder Agenten-Integration
Das Prinzip der minimalen Rechtevergabe ist in der IT-Sicherheit nicht neu. Bei Agenten gewinnt es aber deutlich an Gewicht. Ein Agent sollte nur die Berechtigungen erhalten, die er für eine klar definierte Aufgabe braucht. Ein anschauliches Beispiel liefern Glücksspielplattformen in Deutschland: Ein Agent, der Nutzern Empfehlungen für beliebte Casino Spiele anzeigt, darf den Spielekatalog lesen. Er darf jedoch weder Einzahlungen auslösen noch das gesetzlich vorgeschriebene monatliche Einzahlungslimit nach dem Glücksspielstaatsvertrag 2021 verändern.
In der Praxis haben sich mehrere Maßnahmen bewährt:
- eigene Dienstkonten für jeden Agenten statt geteilter Administratorzugänge
- kurzlebige Zugriffstoken mit eng begrenztem Geltungsbereich
- reine Leserechte als Standard, Schreibrechte nur nach gesonderter Prüfung
- Ausführung von generiertem Code in isolierten Containern ohne Netzwerkzugang
- feste Obergrenzen für API-Aufrufe, Kosten und Transaktionswerte pro Sitzung
Schutz vor Prompt-Injection und unkontrollierten Aktionen
Prompt-Injection lässt sich nach heutigem Stand nicht vollständig verhindern. Präparierte Anweisungen können in E-Mails, Webseiten oder hochgeladenen Dokumenten versteckt sein, die der Agent verarbeitet. Das BSI weist in seinen Veröffentlichungen zu generativen KI-Modellen ausdrücklich auf solche indirekten Angriffe hin. Teams sollten deshalb davon ausgehen, dass jede externe Eingabe manipuliert sein kann. Sicherheitsmechanismen gehören daher außerhalb des Modells, also in die umgebende Architektur.
Je nach Kritikalität einer Aktion eignen sich unterschiedliche Kontrollstufen:
- Lesen: Eine Suche in der Wissensdatenbank kann automatisch erfolgen, sollte aber protokolliert werden.
- Entwurf: Bereitet der Agent etwa eine E-Mail an Kunden vor, geben Mitarbeitende sie vor dem Versand frei.
- Änderung: Aktualisiert der Agent einen Datensatz im CRM, wird die Eingabe gegen ein festes Schema validiert.
- Kritische Aktionen: Zahlungen oder Löschungen unterliegen dem Vier-Augen-Prinzip und laufen nie im Autopilot.
Ergänzend sollten alle Werkzeugaufrufe vollständig protokolliert werden. Nur so lässt sich im Nachhinein nachvollziehen, warum ein Agent eine bestimmte Entscheidung getroffen hat.
Regulatorische Vorgaben in Deutschland und der EU beachten
Die europäische KI-Verordnung ist am 1. August 2024 in Kraft getreten und wird stufenweise wirksam. Verbotene Praktiken gelten seit Februar 2025, Pflichten für KI-Modelle mit allgemeinem Verwendungszweck seit August 2025. Weite Teile der übrigen Vorschriften greifen ab dem 2. August 2026, darunter die Transparenzpflichten. Für Hochrisiko-Systeme wird auf EU-Ebene über eine Verschiebung einzelner Fristen beraten. Unternehmen sollten daher prüfen, in welche Risikoklasse ihr Agent fällt.
Transparenz gewinnt dabei auch über Unternehmensgrenzen hinaus an Bedeutung. Plattformen beginnen, KI-Inhalte sichtbar zu kennzeichnen. YouTube Music versieht etwa KI-generierte Songs mit einem entsprechenden Label. Für Teams bedeutet das: Kommunizieren Agenten direkt mit Kunden, muss erkennbar sein, dass eine Maschine antwortet. Parallel bleibt die DSGVO maßgeblich, insbesondere bei der Verarbeitung personenbezogener Daten durch externe Modellanbieter. Zudem erweitert das seit Ende 2025 geltende deutsche NIS2-Umsetzungsgesetz die Pflichten zum Risikomanagement für zahlreiche Unternehmen.
Schrittweise Einführung mit Tests und klarer Verantwortung
Erfolgreiche Teams führen Agenten nicht auf einen Schlag ein, sondern in Phasen. Zunächst läuft der Agent im Schattenbetrieb: Er schlägt Aktionen vor, ohne sie auszuführen, und Fachleute vergleichen seine Vorschläge mit realen Entscheidungen. Erst bei stabiler Qualität folgen begrenzte Schreibrechte für ausgewählte Prozesse. Gezielte Angriffstests, sogenanntes Red Teaming, sollten fester Bestandteil jeder Freigabe sein. Dazu gehören auch präparierte Dokumente mit versteckten Anweisungen.
Ebenso wichtig ist eine klare Zuständigkeit. Für jeden Agenten sollte eine verantwortliche Person benannt sein, die Berechtigungen überprüft und Vorfälle bewertet. Eine dokumentierte Notabschaltung ermöglicht es, den Agenten bei Auffälligkeiten sofort zu stoppen. Ändern sich zugrunde liegende Modelle oder angebundene Werkzeuge, ist eine erneute Prüfung notwendig.
Kontrollierte Autonomie als Schlüssel zum Agenten-Erfolg
Die sichere Einbindung von KI-Agenten beruht auf wenigen, aber konsequent umgesetzten Prinzipien. Minimale Rechte begrenzen den möglichen Schaden. Kontrollen außerhalb des Modells fangen Manipulationen ab, und lückenlose Protokolle schaffen Nachvollziehbarkeit. Die Vorgaben aus KI-Verordnung, DSGVO und NIS2 geben dafür den rechtlichen Rahmen vor. Eine schrittweise Einführung mit klaren Verantwortlichkeiten verbindet beides in der Praxis. Wer tiefer in das Thema einsteigen möchte, findet in den OWASP-Leitfäden für LLM-Anwendungen und den Veröffentlichungen des BSI fundierte Grundlagen für die eigene Sicherheitsarchitektur.