Summit Art Creations – Shutterstock.com
Laut einer Studie des Weltwirtschaftsforums, die in Zusammenarbeit mit Accenture durchgeführt wurde, versäumen es 63 Prozent der Unternehmen, die Sicherheit von KI-Tools vor deren Einsatz zu überprüfen. Dadurch gehen sie eine Reihe von Risiken für ihr Unternehmen ein.
Dies gilt sowohl für handelsübliche KI-Lösungen als auch für interne Implementierungen, die in Zusammenarbeit mit Softwareentwicklungsteams erstellt wurden. So zeigt der Tricentis 2025 Quality Transformation Report, dass Organisationen überwiegend auf die Verbesserung der Liefergeschwindigkeit (45 Prozent) und weniger auf die Verbesserung der Softwarequalität (13 Prozent) ausgerichtet sind. Ein Drittel (32 Prozent) der Befragten gibt allerdings zu, dass minderwertige Software wahrscheinlich zu häufigeren Sicherheitsverletzungen oder Compliance-Verstößen führen wird.
Doch diese Verstöße werden immer häufiger. Der kürzlich veröffentlichte Cybersecurity Readiness Index von Cisco ergab, dass 86 Prozent der Unternehmen im vergangenen Jahr einen KI-bezogenen Sicherheitsvorfall erlebt haben. Weniger als die Hälfte (45 Prozent) glauben, dass ihr Unternehmen über die internen Ressourcen und das Fachwissen verfügt, um umfassende KI-Sicherheitsbewertungen durchzuführen.
Die häufigsten KI-Sicherheitsrisiken
Wenn KI-Anwendungen vor ihrer Einführung nicht ausreichend getestet werden, sind Unternehmen einer Reihe von Schwachstellen ausgesetzt, die sich laut den von CSO befragten Experten erheblich von den Risiken herkömmlicher Software unterscheiden. Hier sind die häufigsten.
Datenoffenlegung
KI-Systeme verarbeiten oft große Mengen sensibler Informationen. Ohne robuste Tests können Unternehmen übersehen, wie leicht diese Daten durch ungesicherte Speicherung, zu großzügige API-Antworten oder schlechte Zugriffskontrollen verloren gehen können.
„Viele KI-Systeme nehmen während der Inferenz Benutzerdaten auf oder speichern Kontextinformationen für die Fortführung der Session“, erklärt Peter Garraghan, Geschäftsführer und Mitbegründer des KI-Sicherheitstesters Mindgard. „Wenn die Datenverarbeitung nicht überprüft wird, besteht ein hohes Risiko von Datenlecks durch Modellausgaben, Log-Exposure oder den Missbrauch fein abgestimmter Datensätze. Diese Risiken werden durch LLM-Speicherfunktionen (Large Language Model) oder Streaming-Ausgabemodi noch verstärkt.“
Lesetipp: Mit GenAI zum Insider-Threat
Schwachstellen auf Modellebene
Dazu gehören Prompt-Injection, Jailbreaks und Adversarial Prompt Chaining. Ohne strenge Tests können Modelle manipuliert werden, um Ausgabebeschränkungen zu umgehen, sensible Daten preiszugeben oder unbeabsichtigte Aufgaben auszuführen.
„Diese Angriffe nutzen häufig Schwachstellen in den Justiermechanismen des Modells oder dessen Abhängigkeit von Reasoning auf Token-Ebene“, führt der Experte für KI-Sicherheit aus.
Modellintegrität und gegnerische Angriffe
Ohne Tests auf gegnerische Manipulationen oder vergiftete Trainingsdaten können Angreifer leicht das Verhalten eines KI-Modells beeinflussen, insbesondere wenn es zur Unterstützung von Geschäftsentscheidungen oder zur Automatisierung sensibler Aufgaben eingesetzt wird.
„Angreifer können Eingabedaten manipulieren, um KI-Modelle zu täuschen und sie zu falschen Entscheidungen zu verleiten. Dazu gehören Umgehungsangriffe und Data Poisoning“, erläutert Jano Bermudes, COO des globalen Cyberberatungsunternehmens CyXcel.
Systemische Integrationsrisiken
KI-Modelle werden häufig als Teil größerer Anwendungspipelines eingesetzt, beispielsweise über APIs, Plugins oder Retrieval-Augmented Generation (RAG)-Architekturen. „Unzureichende Tests auf dieser Ebene können zu einer unsicheren Verarbeitung von Modelleingaben und -ausgaben, Injektionspfaden über serialisierte Datenformate und einer Ausweitung von Berechtigungen innerhalb der Hosting-Umgebung führen“, mahnt Garraghan von Mindgard. “Diese Integrationspunkte werden in herkömmlichen AppSec-Workflows (Application Security) häufig übersehen.“
Fehler bei der Zugriffskontrolle
KI-Tools werden oft in größere Systeme eingebunden und können bei falscher Konfiguration Benutzern oder Angreifern mehr Zugriff gewähren als beabsichtigt. Dazu können offengelegte API-Schlüssel, mangelhafte Authentifizierung oder unzureichende Protokollierung gehören, die es schwierig machen, Missbrauch zu erkennen.
Sicherheitslücken in der Laufzeit
Manche KI-Systeme können nur während der Bereitstellung unerwartete Verhaltensweisen zeigen, insbesondere wenn sie unter dynamischen Eingabebedingungen arbeiten oder mit anderen Diensten interagieren.
„Schwachstellen wie Logikfehler, Kontextüberläufe oder Output-Reflection treten oft erst während der Laufzeit auf und erfordern operative Red-Teaming-Maßnahmen oder Live-Traffic-Simulationen, um sie zu erkennen“, so Garraghan.
Verstöße gegen Compliance
Wenn nicht sichergestellt wird, dass KI-Tools die gesetzlichen Standards erfüllen, kann dies rechtliche Konsequenzen haben. Beispielsweise können Verstöße gegen Vorschriften durch unbefugte Datenverarbeitung durch KI-Tools oder Ausfälle aufgrund von ungetesteten Modellverhalten bei großem Umfang auftreten.
Lesetipp: 10 Essentials für die KI-Richtlinie in Unternehmen
Weiterreichende betriebliche Auswirkungen
„Diese technischen Schwachstellen existieren nicht isoliert, wenn sie nicht getestet werden“, betont der Mindgard-Experte. “Sie manifestieren sich als umfassendere organisatorische Risiken, die über den Bereich der Technik hinausgehen. Aus Sicht der betrieblichen Auswirkungen lassen sich die Folgen unzureichender KI-Sicherheitstests direkt auf Mängel in den Bereichen Sicherheit, Schutz und Geschäftssicherheit zurückführen.“
Auch Sam Peters, Chief Product Officer beim Compliance-Experten ISMS.online, sieht weitreichende betriebliche Folgen, wenn angemessene KI-Sicherheitsprüfungen vernachlässigt werden. „Wenn KI-Systeme überstürzt in die Produktion gehen, sehen wir wiederkehrende Schwachstellen in den drei Schlüsselbereichen: Modellintegrität (einschließlich Poisoning- und Evasion-Angriffen), Datenschutz (z. B. Verlust von Trainingsdaten oder unsachgemäßer Umgang mit sensiblen Daten) und Governance-Lücken (von mangelnder Transparenz bis hin zu unzureichender Zugriffskontrolle).“
Peters fügt hinzu: „Diese Probleme sind nicht hypothetisch, sie werden bereits in der Praxis ausgenutzt.“
Testen vor der Auslieferung
James Lei, Chief Operating Officer beim Anwendungssicherheitstester Sparrow, rät CISOs, den ungebremsten Enthusiasmus bei der KI-Einführung zu Gunsten grundlegender Sicherheitspraktiken zu dämpfen.
„Um diese Risiken zu reduzieren, sollten Unternehmen KI-Tools genauso testen wie jede andere risikoreiche Software: Sie sollten simulierte Angriffe durchführen, Missbrauchsszenarien überprüfen, Eingabe- und Ausgabeströme validieren und sicherstellen, dass alle verarbeiteten Daten angemessen geschützt sind“, sagt er.
Um diese Risiken zu mindern, sollten Unternehmen umfassende Teststrategien implementieren, darunter:
Penetrationstests: Simulation von Angriffen zur Identifizierung von Schwachstellen
Bias- und Fairness-Audits: Sicherstellen, dass KI-Entscheidungen gerecht und nicht diskriminierend sind
Compliance-Prüfungen: Überprüfen der Einhaltung relevanter Vorschriften und Standards
Durch die Integration von Sicherheitstests in den KI-Entwicklungszyklus können Unternehmen die Vorteile der KI nutzen und sich gleichzeitig vor potenziellen Bedrohungen schützen.
„Vor dem Einsatz von KI-Tools sollten Unternehmen eine für KI-Systeme spezifische Bedrohungsmodellierung durchführen, Red-Teaming für feindliche Eingaben durchführen und robuste Tests auf Modellabweichungen und Datenlecks durchführen“, empfiehlt Peters von ISMS.online. “Gleichzeitig sollten sie KI-spezifische Kontrollen in ihre Risikomanagement- und Compliance-Programme integrieren.“
Peters fügt hinzu: „Hier kann die neue ISO/IEC 42001-Norm wirklich helfen. Sie bietet einen Rahmen für den verantwortungsvollen Umgang mit KI, einschließlich Leitlinien zur Risikobewertung, Datenverarbeitung, Sicherheitskontrollen und kontinuierlichen Überwachung.“
Andere Experten bestätigten zwar die Notwendigkeit von Sicherheitstests, argumentierten jedoch, dass bei der Prüfung der Sicherheit KI-basierter Systeme ein anderer Ansatz verfolgt werden müsse.
„Im Gegensatz zu regulären Softwaretests kann man nicht einfach den Code eines neuronalen Netzwerks überprüfen, um festzustellen, ob es sicher ist“, erklärt Inti De Ceukelaire, Chief Hacker Officer beim Crowdsourcing-Sicherheitsanbieter Intigriti, gegenüber CSO. “Selbst wenn es mit sauberen, hochwertigen Daten trainiert wurde, kann es sich dennoch seltsam verhalten. Das macht es schwierig zu wissen, wann man genug getestet hat.“
KI-Tools bieten oft eine komplexe Lösung für ein einfaches Problem. Tester konzentrieren sich möglicherweise nur auf das, was das Tool tun soll, und übersehen andere Funktionen. „Ein Übersetzungs-Tool könnte beispielsweise dazu gebracht werden, eine PDF-Datei mit bösartigem Code zu öffnen oder auf interne Dateien zuzugreifen und diese für jemanden außerhalb des Unternehmens zu übersetzen“, so De Ceukelaire.
Unternehmen sollten die Implementierung von speziell für KI entwickelten Adversarial-Test-Frameworks in Betracht ziehen.
„Dazu gehören statische Modellanalysen, dynamisches Prompt-Fuzzing, Simulationen von Angriffen auf die Integrationsebene und die Überwachung des Laufzeitverhaltens“, ergänzt Garraghan von Mindgard. “Diese Praktiken sollten genauso in den Lebenszyklus der KI-Bereitstellung integriert werden wie DevSecOps-Praktiken in Software-CI/CD-Pipelines.“ (jm)
No Responses