KI-Agenten werden im Unternehmensumfeld immer beliebter und zunehmend in Workflows und Prozesse integriert. Etwa in den Bereichen Softwareentwicklung, Kundenservice und -Support, Prozessautomatisierung oder Employee Experience. Für CISOs und ihre Teams stellen sich dabei zwei ganz wesentliche Fragen:

Welche neuen Security-Risiken werfen Agentic-AI-Systeme auf?

Wie viel Mehrarbeit wird erforderlich sein, um die Unternehmensziele zu unterstützen, wenn es um agentenbasierte KI geht?

Fest steht, dass Agentic AI in jedem Fall eine große Herausforderung für die Cybersecurity darstellen wird. Umso wichtiger wäre es, Sicherheitsentscheider in Entscheidungsprozesse in Zusammenhang mit der Technologie einzubinden. Auch weil viele Unternehmen im KI-Rausch bekanntermaßen weniger an die IT-Sicherheit gedacht haben. In diesem Artikel diskutieren wir mit Sicherheitsexperten einige der wichtigsten Problembereiche und Risiken in Zusammenhang mit Agentic AI.

Mangelnde Transparenz

Kaum ein CISO dürfte ein “Fan” von unzureichendem Einblick sein. Leider fördert Agentic AI genau das: Die Technologie lässt sich von einzelnen Benutzern oder auch ganzen Teams über eine Vielzahl von Applikationen hinweg autonom einsetzen – ohne angemessenes Monitoring durch die Security- oder IT-Abteilung.

“Unternehmen wissen oft nicht, wo diese Systeme implementiert sind, wer sie nutzt und wie autonom sie sind”, meint Pablo Riboldi, CISO beim Softwareanbieter BairesDev. Das sei Schatten-KI(-Agenten) zuträglich, was weitere Probleme nach sich ziehe: “Wenn Sicherheitsteams nicht wissen, dass KI-Agenten im Einsatz sind, die in Echtzeit Entscheidungen treffen oder auf sensible Systeme zugreifen, bleiben auch damit verbundene Sicherheitsrisiken oder Schwachstellen im Verborgenen.”

Auch Reena Richtermeyer, Partnerin bei der auf KI spezialisierten Anwaltskanzlei CM Law, hält mangelnde Transparenz in Zusammenhang mit Agentic AI für risikobehaftet: “Diese Risiken sind nicht nur im Security-Bereich zu verorten. Governance- und Compliance-Probleme sowie operative Risiken kommen noch hinzu. Das kann wiederum zu Vertrauensverlust bei Mitarbeitern oder Partner führen – und dann die KI-Einführung behindern.”

Risikobehaftete Autonomie

Viele Agentic-AI-Systeme sind in der Lage, ohne menschliche, beziehungsweise manuelle Eingriffe zu “handeln”. Diese Fähigkeit ist jedoch nicht nur innovativ, sondern stellt an sich auch ein Security-Risiko dar, wie Sean Joyce, beim Beratungsriesen PwC für die Bereiche Cybersecurity und Datenschutz zuständig, erklärt: “Wenn Zielsetzungen für KI-Agenten schlecht definiert oder mehrdeutig sind, können diese gegen die Sicherheits- oder Ethikstandards eines Unternehmens verstoßen.”

Werde ein Agent beispielsweise angewiesen, “Störungen” im Security Operations Center (SOC) zu minimieren, könne er das möglicherweise zu wörtlich nehmen – und valide Warnmeldungen unterdrücken, um die Abläufe zu rationalisieren, so Joyce.

“In einer agentenbasierten KI-Umgebung gibt es diverse autonome Aktionen ohne Aufsicht”, meint Wyatt Mayham, Chefberater bei Northwest AI. Er fügt hinzu: “Im Gegensatz zur traditionellen Automatisierung entscheiden KI-Agenten beispielsweise, auf Links zu klicken, E-Mails zu versenden oder bestimmte Workflows zu triggern. All das basiert allerdings auf probalistischen Abwägungen und birgt damit erhebliches Risikopotenzial.”

Data-Sharing-Konsequenzen

Besonders vielversprechend sind für Unternehmen auch Multi-Agenten-Systeme, bei denen mehrere unterschiedliche Agenten miteinander interagieren – und Daten austauschen. Wie Rechtsexpertin Richtermeyer darlegt, könne das unbeabsichtigte Folgen nach sich ziehen: “Die Risiken ergeben sich daraus, dass diese KI-Systeme in der Lage sind, auf riesige Datenmengen zuzugreifen, diese autonom zu verarbeiten und zu teilen. Dazu kommt, dass es sehr komplex ist, solche Multi-Agenten-Systeme zu managen.”

So könnten KI-Agenten etwa auf sensible Informationen zugreifen und diese widerrechtlich verarbeiten oder offenlegen. In der Folge könnten betroffenen Unternehmen rechtliche Konsequenzen drohen, warnt die Anwältin.

KI-Berater Mayham sieht das ganz ähnlich: “Durch eine Multi-Agenten-Konfiguration entsteht ein Koordinationsrisiko. Ein Agent könnte den Umfang einer Aufgabe auf eine Weise erweitern, für die ein anderer Agent nicht geschult wurde.”

Ohne Sandboxing könne das zu unvorhersehbarem Systemverhalten führen, insbesondere wenn die Agenten neue Daten aus der realen Welt aufnehmen, so der Experte.

Neue Drittanbieterrisiken

Agentic-AI-Systeme mit unterschiedlichen Services und Drittanbietern zu integrieren, ist ein weitere Herausforderung für Sicherheitsentscheider und ihre Teams.

“KI-Agenten sind stark von APIs und externen Integrationen abhängig”, erklärt Riboldi. “Je mehr Systeme einem Agenten zugänglich sind, desto komplexer und unvorhersehbarer wird sein Verhalten. Dieses Szenario birgt Risiken für die Lieferkette: Eine Schwachstelle in einem Drittanbieterservice könnte im Rahmen von agentenbasierten Interaktionen über verschiedene Plattformen hinweg ausgenutzt oder versehentlich ausgelöst werden.”

Und das ist nicht die einzige Problemstellung in diesem Bereich, wie Mayham anmerkt: “Viele Agenten sind gerade in der Startphase auf instabile oder undokumentierte APIs oder Browser-Automatisierungen angewiesen. Wir haben schon Fälle gesehen, in denen Agenten Token über schlecht konfigurierte Integrationen preisgegeben oder Daten über Plugin-Ketten exfiltriert haben. Je fragmentierter der Anbieter-Stack ist, desto größer ist die Angriffsfläche für solche Vorfälle.”

PwC-Experte Joyce sieht in diesem Zusammenhang noch ein weiteres Problem: “Viele Agentic-AI-Tools fußen auf quelloffenen Bibliotheken und Orchestrierungs-Frameworks. Diese können bislang unbekannte Schwachstellen beherbergen.”

Mehrstufige Cyberangriffe

Es besteht außerdem auch die Möglichkeit, dass Agentic-AI-Systeme für mehrstufige Cyberangriffe missbraucht werden – und dabei neue Wege eröffnen. “Agentenbasierte Systeme werden immer ausgefeilter und können unbeabsichtigt mehrstufige Verhaltensweisen entwickeln oder erlernen, die mehrstufige Cyberangriffe imitieren”, erklärt Riboldi. “Schlimmer noch, sie könnten unbeabsichtigt Wege finden, um herkömmliche Erkennungsmethoden zu umgehen – nicht, weil sie böswillig sind, sondern weil ihr zielorientiertes Verhalten das belohnt.”

Die Grenze zwischen Fehler und Breach verwische damit laut Riboldi – was es Sicherheitsteams erschwere, zu erkennen, ob es sich bei einem Vorfall um böswilliges oder spontanes KI-Verhalten handelt – oder beides. Dieses Phänomen kann auch Mayham bestätigen: “In Labortestes konnten wir bereits beobachten, wie KI-Agenten Tools auf unerwartete Weise miteinander verknüpft haben. Und zwar nicht auf eine schadhafte, sondern eine kreative Art und Weise. Und jetzt stellen Sie sich vor, was passiert, wenn dieselben Fähigkeiten ausgenutzt werden, um Systeme zu untersuchen, Endpunkte zu testen oder musterbasierte Detection-Tools zu umgehen.”

Weil agentenbasierte KI aus Feedback lernen könne, sei es auch möglich, ihr Verhalten zu beeinflussen, um zu vermeiden, dass Detection-Systeme ausgelöst werden, ergänzt Joyce.”„Das stellt eine ernsthafte Herausforderung für herkömmliche, regelbasierte Tools dar. KI-Agenten könnten feststellen, dass bestimmte Aktionen Warnmeldungen auslösen – und sich entsprechend anpassen, um unterhalb der Detection-Schwellen zu agieren – ähnlich wie sich Malware an Antivirus-Scans anpasst.”

Was CISOs tun können

Weil Agentic AI die Cybersicherheit vor radikale, neue Herausforderungen stelle, seien auch traditionelle Security-Modelle nicht mehr ausreichend, meint Joyce. Nach Meinung des PwC-Experten sollte eine robuste Agentic-AI-Verteidigungsstrategie folgende Basismaßnahmen umfassen:  

Echtzeit-Observability und -Telemetrie,

strikte Governance-Richtlinien,

Entwicklungspraktiken, die auf dem Secure-by-Design-Prinzip fußen, sowie

eine funktionsübergreifende Koordination zwischen Sicherheits-, IT-, Datenmanagement- und Compliance-Teams.

“Durch einen proaktiven, mehrschichtigen Sicherheitsansatz und indem sie Governance von Anfang an einbetten, können Unternehmen von den Agentic-AI-Vorteilen profitieren und parallel die damit verbundenen Risiken minimieren.” (fm)

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser Newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.