{"id":5113,"date":"2025-09-30T04:00:00","date_gmt":"2025-09-30T04:00:00","guid":{"rendered":"https:\/\/cybersecurityinfocus.com\/?p=5113"},"modified":"2025-09-30T04:00:00","modified_gmt":"2025-09-30T04:00:00","slug":"ki-gefahren-rucken-integritatsschutz-in-den-mittelpunkt","status":"publish","type":"post","link":"https:\/\/cybersecurityinfocus.com\/?p=5113","title":{"rendered":"KI-Gefahren r\u00fccken Integrit\u00e4tsschutz in den Mittelpunkt"},"content":{"rendered":"
\n
\n
\n
\n
<\/div>\n
Data Poisoning gef\u00e4hrdet die Integrit\u00e4t von KI-Modellen.\n

pixadot.studio \u2013 shutterstock.com<\/p>\n<\/div>\n

F\u00fcr CISOs reduziert KI selten die Komplexit\u00e4t, sondern f\u00fcllt vielmehr ihre ohnehin schon volle Agenda. Neben den traditionellen Sicherheitspriorit\u00e4ten m\u00fcssen sie sich nun auch mit neuen KI-bedingten Risiken auseinandersetzen, etwa wenn KI-L\u00f6sungen unkontrolliert f\u00fcr gesch\u00e4ftliche Zwecke genutzt, Modelle manipuliert und neue Vorschriften nicht eingehalten werden.<\/p>\n

Schatten-KI birgt Risiken<\/h2>\n

Eine der dr\u00e4ngendsten Herausforderungen ist Schatten KI: die Nutzung von KI-Tools und -Modellen ohne IT- oder Sicherheits\u00fcberwachung. Genauso wie Schatten-IT blinde Flecken in Unternehmensumgebungen schafft, bringt Schatten KI un\u00fcberwachte Risiken wie Datenlecks, unsichere Integrationen und die Gef\u00e4hrdung durch nicht \u00fcberpr\u00fcfte Drittanbieter und -dienste mit sich.<\/p>\n

Selbst wenn CISOs Transparenz \u00fcber den Einsatz der KI besitzen und wissen, welche Daten von der KI verwendet, welche KI-Modelle f\u00fcr welchen Zweck eingesetzt werden, sind sie immer noch mit einem breiten Spektrum an KI-bezogenen Bedrohungen konfrontiert. Ein zentrales Anliegen ist die Frage, wo diese Modelle gehostet werden. Die meisten sind Cloud-basiert und oft \u00f6ffentlich zug\u00e4nglich.<\/p>\n

Dadurch entstehen neue Angriffsfl\u00e4chen wie Prompt-Injection<\/a>, Data Poisoning<\/a> und Adversarial Attacks<\/a>. Selbst ohne direkte Manipulation sind LLMs (Large Language Models) anf\u00e4llig f\u00fcr Halluzinationen und generieren oft ungenaue oder irref\u00fchrende Ergebnisse.<\/p>\n

Data Poisoning \u2013 sowohl bei Trainingsdaten als auch bei KI-Modellen selbst \u2013 hat immer mehr zugenommen. Viele Menschen haben jedoch noch immer kein klares Verst\u00e4ndnis f\u00fcr die Auswirkungen dieses Problems. Vergleichen l\u00e4sst sich dies mit einem selbstfahrenden Auto, das mit vergifteten Daten trainiert wurde und deshalb ein Stoppschild f\u00e4lschlicherweise als Geschwindigkeitsbegrenzungsschild interpretiert. Dies k\u00f6nnte dazu f\u00fchren, dass das Fahrzeug beschleunigt, anstatt anzuhalten und somit die Insassen, Fu\u00dfg\u00e4nger und andere Verkehrsteilnehmer in Lebensgefahr bringt.<\/p>\n

Dieses kritische Risiko ist lange Zeit weitgehend unbemerkt geblieben, k\u00f6nnte jedoch eine der gef\u00e4hrlichsten Bedrohungen in der KI-Landschaft darstellen. In einer Welt, in der KI zunehmend Entscheidungen beeinflusst, die sich auf das Leben von Menschen auswirken, ist die mangelnde Aufmerksamkeit f\u00fcr dieses Thema \u00e4u\u00dferst besorgniserregend.<\/p>\n

Was bedeutet Bedrohung der Integrit\u00e4t?<\/h2>\n

Der Experte William L. Scherlis von der Carnegie Mellon University definiert die Bedrohung der Integrit\u00e4t im Kontext von KI wie folgt: \u201eIm Zusammenhang mit moderner, auf neuronalen Netzen basierender KI, einschlie\u00dflich ML (Machine Learning) und generativer KI, beziehen sich Integrit\u00e4tsrisiken auf das Potenzial f\u00fcr Angriffe, die zu falschen Ergebnissen f\u00fchren.\u201c<\/p>\n

Oder einfacher ausgedr\u00fcckt: Selbst ein kleines Loch kann ein ganzes Schiff zum Sinken bringen. Manipulierte KI-Modelle k\u00f6nnen zu falschen Annahmen und Entscheidungen f\u00fchren, bis hin zu einer Beeintr\u00e4chtigung der geistigen Gesundheit ihrer Nutzer. Ein Beispiel ist, wenn ein solches kompromittiertes Modell um einen Gesundheitsratschlag gebeten wird: Eine vergiftete KI k\u00f6nnte dann das falsche Medikament oder ein gef\u00e4hrliches Hausmittel empfehlen, was f\u00fcr den Nutzer m\u00f6glicherweise t\u00f6dliche Folgen haben k\u00f6nnte.<\/p>\n

Falsche Ergebnisse von LLMs und maschinellem Lernen k\u00f6nnen ebenfalls zu finanziellen Verlusten f\u00fchren. Ein Bericht von KPMG beschreibt genau diese Risiken. Sie alle h\u00e4ngen stark von der Qualit\u00e4t der Daten ab. Um ein Modell richtig zu trainieren, sind Unmengen an Daten erforderlich. Andererseits reichen schon wenige Datens\u00e4tze aus, um gro\u00dfe Sprachmodelle zu manipulieren. Untersuchungen zeigen, dass bereits 0,001 Prozent korrumpierte Daten, die in die Trainingsdaten f\u00fcr ein KI-Modell eingebracht wurden, ausreichten, um anomale Ergebnisse zu verursachen.<\/p>\n

Angriffstechniken zur KI-Manipulation<\/h2>\n

Eine der g\u00e4ngigsten Techniken der Modellmanipulation ist die Gradientenvergiftung<\/strong><\/a>. Dabei manipuliert ein unbekannter Angreifer das Modell w\u00e4hrend der Trainingsphase. In ihrer Arbeit beschreiben die Forscher Wassim Bouaziz, El-Mahdi El-Mhamdi und Nicolas Usunier, wie solche Angriffe das Training von Algorithmen f\u00fcr maschinelles Lernen manipulieren k\u00f6nnen, um sie b\u00f6swillig zu ver\u00e4ndern. Zwar betreffen Gradientenvergiftungen weniger Systeme als andere, umfassendere Techniken des Data Poisonings. Sie k\u00f6nnen jedoch weitaus sch\u00e4dlicher sein. Angreifer sind damit beispielsweise in der Lage, das Verhalten eines Modells willk\u00fcrlich zu verzerren.<\/p>\n

Labeling-Angriffe k\u00f6nnen versehentlich, durch menschliches Versagen oder absichtlich erfolgen. Ein typisches Beispiel hierf\u00fcr ist das sogenannte Label-Flipping<\/strong><\/a>: Ein Bild einer Katze wird f\u00e4lschlicherweise als Hund gekennzeichnet. Dadurch lernt das KI-Modell falsche Assoziationen. Werden solche Fehlkennzeichnungen in gro\u00dfem Umfang wiederholt, kann dies die Leistung und Zuverl\u00e4ssigkeit des Modells erheblich beeintr\u00e4chtigen.<\/p>\n

Dar\u00fcber hinaus gibt es auch weitere versteckte oder eingebettete Angriffsmethoden, bei denen kleine Code-Schnipsel oder geringf\u00fcgige Datenmanipulationen in Trainings- oder Eingabedaten eingeschleust werden. Diese k\u00f6nnen Muster im Modell ver\u00e4ndern oder die T\u00fcr f\u00fcr nachgelagerte Exploits wie Prompt Injection \u00f6ffnen.<\/p>\n

Bei der Adversarial Attacke, beziehungsweise dem Adversarial Patching<\/strong> werden Eingaben manipuliert. Dabei nehmen die Angreifer kleine \u00c4nderungen an dem vor, was die KI wahrnimmt. Beispielsweise ver\u00e4ndern sie einige Pixel im Bild (f\u00fcr das menschliche Auge unsichtbar), sodass das KI-Modell es falsch interpretiert. Diese Methode ver\u00e4ndert das KI-Modell selbst nicht, sondern t\u00e4uscht ihm eine falsche Wahrnehmung der realen Welt vor.<\/p>\n

Unabh\u00e4ngig von der verwendeten Methode ist das Ergebnis dasselbe: Die Integrit\u00e4t des Modells ist beeintr\u00e4chtigt. In einer Welt, die bei kritischen Entscheidungen zunehmend auf KI angewiesen ist, sind solche Manipulationen nicht nur technische St\u00f6rungen, sondern auch eine ernsthafte Bedrohung f\u00fcr die Sicherheit und das Vertrauen innerhalb der Gesellschaft.<\/p>\n

Die Integrit\u00e4t der KI-Modelle absichern<\/h2>\n

Um Angriffe auf die Integrit\u00e4t zu verhindern, m\u00fcssen CISOs die Prinzipien von Secure Coding (Sichere Programmierung) und Security by Design<\/a> fr\u00fchzeitig in KI-Softwareentwicklungsprojekte integrieren.<\/p>\n

Eine KI Governance<\/a> mit starkem Fokus auf Integrit\u00e4tsschutz muss ein Kernelement der gesamten Sicherheitsstrategie sein. Dazu geh\u00f6ren nicht nur Kontrollen zur Gew\u00e4hrleistung der Einhaltung der DSGVO, des EU-KI-Gesetzes und der ISO\/IEC 42001. Es m\u00fcssen auch Ma\u00dfnahmen getroffen werden, um Modellabweichungen zu verhindern und die Modellzuverl\u00e4ssigkeit \u00fcber einen l\u00e4ngeren Zeitraum aufrecht zu erhalten. Ebenso wichtig sind Anforderungen an die Transparenz, Erkl\u00e4rbarkeit und Interpretierbarkeit von KI-Modellen. Nur so ist sichergestellt, dass die Entscheidungen von KI-Systemen nachvollziehbar und begr\u00fcndbar sind.<\/p>\n

Dies ist nicht nur eine technologische Herausforderung. Es erfordert auch eine \u00c4nderung der Denkweise. In der Organisation muss das Sicherheitsbewusstsein von oben nach unten gef\u00f6rdert werden. Dabei leitet der CISO die Diskussionen auf Managementebene. Alle Mitarbeiter und Nutzer, die mit den KI-Systemen der Organisation interagieren, m\u00fcssen \u00fcber die mit deren Einsatz verbundenen Risiken, Sicherheitsvorkehrungen und Verantwortlichkeiten aufgekl\u00e4rt werden.<\/p>\n

Fazit: Katz-und-Maus-Spiel zwischen Verteidigern und Angreifern bleibt<\/h2>\n

CISOs haben Angriffe auf die Integrit\u00e4t von KI-Systemen nicht immer die Aufmerksamkeit geschenkt, die sie verdienen. Das liegt unter anderem daran, dass der Fokus lange Zeit stark auf dem Versprechen und Potenzial der KI lag. Doch wo Licht ist, ist auch Schatten: Jedes KI-Modell bleibt anf\u00e4llig f\u00fcr Manipulationen \u2013 egal, wie gut es trainiert, getestet oder auf Compliance gepr\u00fcft wurde. Je mehr Modelle Unternehmen einsetzen und je mehr Nutzer mit ihnen interagieren, desto gr\u00f6\u00dfer wird das Gesamtrisiko.<\/p>\n

Dennoch gibt es Grund zum Optimismus. Die weltweite Security Community \u2013 CISOs, Forscher und Praktiker \u2013 arbeitet bereits an L\u00f6sungen. Mit der Zeit werden wir st\u00e4rkere technische Abwehrma\u00dfnahmen, bessere organisatorische Praktiken und robustere Governance-Rahmenbedingungen sehen. Diese Sicherheitsvorkehrungen werden sich mit der Weiterentwicklung des Fachgebiets allm\u00e4hlich verbessern. Letztendlich wird die KI-Sicherheit ein weiteres Kapitel im andauernden Katz-und-Maus-Spiel zwischen Verteidigern und Angreifern sein \u2013 allerdings in viel st\u00e4rkerem Ma\u00dfe. (jm)<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

Data Poisoning gef\u00e4hrdet die Integrit\u00e4t von KI-Modellen. pixadot.studio \u2013 shutterstock.com F\u00fcr CISOs reduziert KI selten die Komplexit\u00e4t, sondern f\u00fcllt vielmehr ihre ohnehin schon volle Agenda. Neben den traditionellen Sicherheitspriorit\u00e4ten m\u00fcssen sie sich nun auch mit neuen KI-bedingten Risiken auseinandersetzen, etwa wenn KI-L\u00f6sungen unkontrolliert f\u00fcr gesch\u00e4ftliche Zwecke genutzt, Modelle manipuliert und neue Vorschriften nicht eingehalten werden. […]<\/p>\n","protected":false},"author":0,"featured_media":5114,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-5113","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-education"],"_links":{"self":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/5113"}],"collection":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5113"}],"version-history":[{"count":0,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/5113\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/media\/5114"}],"wp:attachment":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5113"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5113"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5113"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}