KI-Gefahren rücken Integritätsschutz in den Mittelpunkt

Für CISOs reduziert KI selten die Komplexität, sondern füllt vielmehr ihre ohnehin schon volle Agenda. Neben den traditionellen Sicherheitsprioritäten müssen sie sich nun auch mit neuen KI-bedingten Risiken auseinandersetzen, etwa wenn KI-Lösungen unkontrolliert für geschäftliche Zwecke genutzt, Modelle manipuliert und neue Vorschriften nicht eingehalten werden.

Schatten-KI birgt Risiken

Eine der drängendsten Herausforderungen ist Schatten KI: die Nutzung von KI-Tools und -Modellen ohne IT- oder Sicherheitsüberwachung. Genauso wie Schatten-IT blinde Flecken in Unternehmensumgebungen schafft, bringt Schatten KI unüberwachte Risiken wie Datenlecks, unsichere Integrationen und die Gefährdung durch nicht überprüfte Drittanbieter und -dienste mit sich.

Selbst wenn CISOs Transparenz über den Einsatz der KI besitzen und wissen, welche Daten von der KI verwendet, welche KI-Modelle für welchen Zweck eingesetzt werden, sind sie immer noch mit einem breiten Spektrum an KI-bezogenen Bedrohungen konfrontiert. Ein zentrales Anliegen ist die Frage, wo diese Modelle gehostet werden. Die meisten sind Cloud-basiert und oft öffentlich zugänglich.

Dadurch entstehen neue Angriffsflächen wie Prompt-Injection, Data Poisoning und Adversarial Attacks. Selbst ohne direkte Manipulation sind LLMs (Large Language Models) anfällig für Halluzinationen und generieren oft ungenaue oder irreführende Ergebnisse.

Data Poisoning – sowohl bei Trainingsdaten als auch bei KI-Modellen selbst – hat immer mehr zugenommen. Viele Menschen haben jedoch noch immer kein klares Verständnis für die Auswirkungen dieses Problems. Vergleichen lässt sich dies mit einem selbstfahrenden Auto, das mit vergifteten Daten trainiert wurde und deshalb ein Stoppschild fälschlicherweise als Geschwindigkeitsbegrenzungsschild interpretiert. Dies könnte dazu führen, dass das Fahrzeug beschleunigt, anstatt anzuhalten und somit die Insassen, Fußgänger und andere Verkehrsteilnehmer in Lebensgefahr bringt.

Dieses kritische Risiko ist lange Zeit weitgehend unbemerkt geblieben, könnte jedoch eine der gefährlichsten Bedrohungen in der KI-Landschaft darstellen. In einer Welt, in der KI zunehmend Entscheidungen beeinflusst, die sich auf das Leben von Menschen auswirken, ist die mangelnde Aufmerksamkeit für dieses Thema äußerst besorgniserregend.

Was bedeutet Bedrohung der Integrität?

Der Experte William L. Scherlis von der Carnegie Mellon University definiert die Bedrohung der Integrität im Kontext von KI wie folgt: „Im Zusammenhang mit moderner, auf neuronalen Netzen basierender KI, einschließlich ML (Machine Learning) und generativer KI, beziehen sich Integritätsrisiken auf das Potenzial für Angriffe, die zu falschen Ergebnissen führen.“

Oder einfacher ausgedrückt: Selbst ein kleines Loch kann ein ganzes Schiff zum Sinken bringen. Manipulierte KI-Modelle können zu falschen Annahmen und Entscheidungen führen, bis hin zu einer Beeinträchtigung der geistigen Gesundheit ihrer Nutzer. Ein Beispiel ist, wenn ein solches kompromittiertes Modell um einen Gesundheitsratschlag gebeten wird: Eine vergiftete KI könnte dann das falsche Medikament oder ein gefährliches Hausmittel empfehlen, was für den Nutzer möglicherweise tödliche Folgen haben könnte.

Falsche Ergebnisse von LLMs und maschinellem Lernen können ebenfalls zu finanziellen Verlusten führen. Ein Bericht von KPMG beschreibt genau diese Risiken. Sie alle hängen stark von der Qualität der Daten ab. Um ein Modell richtig zu trainieren, sind Unmengen an Daten erforderlich. Andererseits reichen schon wenige Datensätze aus, um große Sprachmodelle zu manipulieren. Untersuchungen zeigen, dass bereits 0,001 Prozent korrumpierte Daten, die in die Trainingsdaten für ein KI-Modell eingebracht wurden, ausreichten, um anomale Ergebnisse zu verursachen.

Angriffstechniken zur KI-Manipulation

Eine der gängigsten Techniken der Modellmanipulation ist die Gradientenvergiftung. Dabei manipuliert ein unbekannter Angreifer das Modell während der Trainingsphase. In ihrer Arbeit beschreiben die Forscher Wassim Bouaziz, El-Mahdi El-Mhamdi und Nicolas Usunier, wie solche Angriffe das Training von Algorithmen für maschinelles Lernen manipulieren können, um sie böswillig zu verändern. Zwar betreffen Gradientenvergiftungen weniger Systeme als andere, umfassendere Techniken des Data Poisonings. Sie können jedoch weitaus schädlicher sein. Angreifer sind damit beispielsweise in der Lage, das Verhalten eines Modells willkürlich zu verzerren.

Labeling-Angriffe können versehentlich, durch menschliches Versagen oder absichtlich erfolgen. Ein typisches Beispiel hierfür ist das sogenannte Label-Flipping: Ein Bild einer Katze wird fälschlicherweise als Hund gekennzeichnet. Dadurch lernt das KI-Modell falsche Assoziationen. Werden solche Fehlkennzeichnungen in großem Umfang wiederholt, kann dies die Leistung und Zuverlässigkeit des Modells erheblich beeinträchtigen.

Darüber hinaus gibt es auch weitere versteckte oder eingebettete Angriffsmethoden, bei denen kleine Code-Schnipsel oder geringfügige Datenmanipulationen in Trainings- oder Eingabedaten eingeschleust werden. Diese können Muster im Modell verändern oder die Tür für nachgelagerte Exploits wie Prompt Injection öffnen.

Bei der Adversarial Attacke, beziehungsweise dem Adversarial Patching werden Eingaben manipuliert. Dabei nehmen die Angreifer kleine Änderungen an dem vor, was die KI wahrnimmt. Beispielsweise verändern sie einige Pixel im Bild (für das menschliche Auge unsichtbar), sodass das KI-Modell es falsch interpretiert. Diese Methode verändert das KI-Modell selbst nicht, sondern täuscht ihm eine falsche Wahrnehmung der realen Welt vor.

Unabhängig von der verwendeten Methode ist das Ergebnis dasselbe: Die Integrität des Modells ist beeinträchtigt. In einer Welt, die bei kritischen Entscheidungen zunehmend auf KI angewiesen ist, sind solche Manipulationen nicht nur technische Störungen, sondern auch eine ernsthafte Bedrohung für die Sicherheit und das Vertrauen innerhalb der Gesellschaft.

Die Integrität der KI-Modelle absichern

Um Angriffe auf die Integrität zu verhindern, müssen CISOs die Prinzipien von Secure Coding (Sichere Programmierung) und Security by Design frühzeitig in KI-Softwareentwicklungsprojekte integrieren.

Eine KI Governance mit starkem Fokus auf Integritätsschutz muss ein Kernelement der gesamten Sicherheitsstrategie sein. Dazu gehören nicht nur Kontrollen zur Gewährleistung der Einhaltung der DSGVO, des EU-KI-Gesetzes und der ISO/IEC 42001. Es müssen auch Maßnahmen getroffen werden, um Modellabweichungen zu verhindern und die Modellzuverlässigkeit über einen längeren Zeitraum aufrecht zu erhalten. Ebenso wichtig sind Anforderungen an die Transparenz, Erklärbarkeit und Interpretierbarkeit von KI-Modellen. Nur so ist sichergestellt, dass die Entscheidungen von KI-Systemen nachvollziehbar und begründbar sind.

Dies ist nicht nur eine technologische Herausforderung. Es erfordert auch eine Änderung der Denkweise. In der Organisation muss das Sicherheitsbewusstsein von oben nach unten gefördert werden. Dabei leitet der CISO die Diskussionen auf Managementebene. Alle Mitarbeiter und Nutzer, die mit den KI-Systemen der Organisation interagieren, müssen über die mit deren Einsatz verbundenen Risiken, Sicherheitsvorkehrungen und Verantwortlichkeiten aufgeklärt werden.

Fazit: Katz-und-Maus-Spiel zwischen Verteidigern und Angreifern bleibt

CISOs haben Angriffe auf die Integrität von KI-Systemen nicht immer die Aufmerksamkeit geschenkt, die sie verdienen. Das liegt unter anderem daran, dass der Fokus lange Zeit stark auf dem Versprechen und Potenzial der KI lag. Doch wo Licht ist, ist auch Schatten: Jedes KI-Modell bleibt anfällig für Manipulationen – egal, wie gut es trainiert, getestet oder auf Compliance geprüft wurde. Je mehr Modelle Unternehmen einsetzen und je mehr Nutzer mit ihnen interagieren, desto größer wird das Gesamtrisiko.

Dennoch gibt es Grund zum Optimismus. Die weltweite Security Community – CISOs, Forscher und Praktiker – arbeitet bereits an Lösungen. Mit der Zeit werden wir stärkere technische Abwehrmaßnahmen, bessere organisatorische Praktiken und robustere Governance-Rahmenbedingungen sehen. Diese Sicherheitsvorkehrungen werden sich mit der Weiterentwicklung des Fachgebiets allmählich verbessern. Letztendlich wird die KI-Sicherheit ein weiteres Kapitel im andauernden Katz-und-Maus-Spiel zwischen Verteidigern und Angreifern sein – allerdings in viel stärkerem Maße. (jm)