{"id":1305,"date":"2024-12-19T04:15:00","date_gmt":"2024-12-19T04:15:00","guid":{"rendered":"https:\/\/cybersecurityinfocus.com\/?p=1305"},"modified":"2024-12-19T04:15:00","modified_gmt":"2024-12-19T04:15:00","slug":"die-10-haufigsten-llm-schwachstellen","status":"publish","type":"post","link":"https:\/\/cybersecurityinfocus.com\/?p=1305","title":{"rendered":"Die 10 h\u00e4ufigsten LLM-Schwachstellen"},"content":{"rendered":"
\n
\n
\n
\n
<\/div>\n
\n

Diese Schwachstellen sollten Sie kennen, damit Ihnen Ihr Large Language Model nicht um die Ohren fliegt.<\/p>\n

VectorMine | shutterstock.com<\/p>\n<\/div>\n

Das Open Worldwide Application Security Project (OWASP) hat seine Top Ten der kritischsten Schwachstellen bei Large Language Models (LLMs<\/a>) aktualisiert.<\/p>\n

Mit ihrer Top-Ten-Liste<\/a> (PDF) wollen die OWASP-Security-Experten Unternehmen(sanwender) \u00fcber die potenziellen Risiken<\/a> beim Einsatz von gro\u00dfen Sprachmodellen aufkl\u00e4ren, Awareness schaffen und mit Abhilfestrategien dabei unterst\u00fctzen, das Sicherheitsniveau von (Generative-)AI-Anwendungen zu optimieren.<\/p>\n

Top 10: LLM-Schwachstellen 2025<\/h2>\n

Im Folgenden haben wir die aus OWASP-Perspektive zehn kritischsten LLM-Schwachstellen in aller K\u00fcrze zusammengefasst. Weiterf\u00fchrende Informationen, Links und detailreiche Angriffsbeispiele entnehmen Sie dem oben verlinkten PDF.<\/p>\n

1. Prompt Injection<\/strong><\/p>\n

Mit Prompt-Injection-Angriffen<\/a> wollen Cyberkriminelle Filterfunktionen umgehen oder das Large Language Model mit sorgf\u00e4ltig ausgearbeiteten Prompts manipulieren. Das kann laut den OWASP-Experten unter anderem dazu f\u00fchren, dass:<\/p>\n

sensible Informationen offengelegt werden,<\/p>\n

nicht korrekte oder Bias-intensive Outputs generiert werden,<\/p>\n

nicht autorisierter Zugriff auf LLM-Funktionen erfolgt,<\/p>\n

willk\u00fcrliche Befehle auf verbundenen Systemen ausgef\u00fchrt werden.<\/p>\n

\u201eMultimodalen KI-Systemen, die mehrere Datentypen parallel verarbeiten, sind einzigartige Prompt-Injection-Risiken inh\u00e4rent\u201c, schreiben die OWASP-Experten und f\u00fcgen mahnend hinzu: \u201eDie Komplexit\u00e4t dieser Systeme vergr\u00f6\u00dfert die Angriffsfl\u00e4che. Spezifische Abwehrma\u00dfnahmen f\u00fcr multimodale Systeme zu entwickeln, ist ein wichtiger Bereich f\u00fcr k\u00fcnftige Forschungsbem\u00fchungen.\u201c<\/p>\n

Um sich gegen Prompt Injections zu sch\u00fctzen, empfiehlt OWASP:<\/p>\n

das Model Behavior einzugrenzen;<\/p>\n

erwartete Output-Formate zu definieren und zu validieren;<\/p>\n

Input- und Output-Filtering zu implementieren;<\/p>\n

Privilege Control und Least Privilege Access durchzusetzen;<\/p>\n

manuelle Best\u00e4tigungsprozesse f\u00fcr risikobehaftete Tasks einzusetzen;<\/p>\n

externen Content zu identifizieren und zu separieren;<\/p>\n

Adversarial Testing und Angriffssimulationen zu nutzen.<\/p>\n

2. Offenlegung sensibler Informationen<\/strong><\/p>\n

Wenn ein LLM mit seinen Antworten versehentlich sensible Informationen preisgibt, ist die Schadensbandbreite potenziell hoch, wie die OWASP-Experten festhalten: \u201eBesonders LLMs, die in Applikationen eingebettet sind, laufen Gefahr, sensible Daten, propriet\u00e4re Algorithmen oder vertrauliche Informationen \u00fcber ihren Output preiszugeben. Das kann zu nicht autorisiertem Datenzugriff und Datenschutzverst\u00f6\u00dfen f\u00fchren und gef\u00e4hrdet potenziell geistiges Eigentum<\/a>.\u201c<\/p>\n

Um solchen Kompromittierungen vorzubeugen, empfiehlt OWASP:<\/p>\n

Data-Sanitization-Techniken zu implementieren;<\/p>\n

strikte Methoden zur Validierung von Inputs anzuwenden;<\/p>\n

Access-Control-Ma\u00dfnahmen zu etablieren;<\/p>\n

den Modellzugriff auf externe Datenquellen zu begrenzen;<\/p>\n

Federated Learning f\u00fcr das Modelltraining einzusetzen;<\/p>\n

den Differential-Privacy-Ansatz umzusetzen;<\/p>\n

Benutzer im Umgang mit LLMs und Daten zu schulen;<\/p>\n

Systemkonfigurationen anzupassen;<\/p>\n

Homomorphic Encryption zu nutzen;<\/p>\n

Tokenization zu implementieren.<\/p>\n

3. Supply Chain<\/strong><\/p>\n

Laut den OWASP-Experten sind die Lieferketten von Large Language Models an mehreren Stellen<\/a> anf\u00e4llig f\u00fcr Manipulationen: \u201eDas kann in Bias-behafteten Outputs, Security Breaches oder Systemfehlern resultieren. W\u00e4hrend bei traditionellen Softwareschwachstellen der Fokus auf Unzul\u00e4nglichkeiten und Abh\u00e4ngigkeiten innerhalb des Codes liegt, beziehen sich die Risiken von Machine Learning auch auf vortrainierte Modelle und Trainingsdaten von Drittanbietern.\u201c<\/p>\n

Diese externen Elemente lie\u00dfen sich zum Beispiel durch Poisoning-Angriffe manipulieren, warnen die Sicherheitsexperten. \u00a0Zur Vorbeugung empfehlen sie:<\/p>\n

Datenquellen und Drittanbieter (sowie deren Datenschutzrichtlinien und Partner) im Rahmen von Reviews und Audits genau unter die Lupe zu nehmen;\u00a0<\/p>\n

Vulnerability Scanning und Patch Management zu fokussieren;<\/p>\n

AI Red Teaming und Evaluierung bei Drittanbieter-Modellen einzusetzen;<\/p>\n

SBOMs<\/a> zu nutzen;<\/p>\n

Tools f\u00fcr automatisiertes Lizenzmanagement einzusetzen;<\/p>\n

Integrit\u00e4tschecks \u00fcber Hash Files einzuziehen und Code Signing zu nutzen;<\/p>\n

strikte Monitoring- und Audit-Guidelines bei kollaborativer Modellentwicklung anzuwenden;<\/p>\n

Anomaly Detection und Adversarial Testing einzusetzen. \u00a0<\/p>\n

4. Data und Model Poisoning<\/strong><\/p>\n

Werden Daten f\u00fcr Pretraining, Feintuning oder Embedding manipuliert, um Schwachstellen, Hintert\u00fcren oder Bias zu erzeugen, spricht man von Data Poisoning<\/a>. \u201eDiese Art der Manipulation kann die Modellsicherheit und -Performance kompromittieren und zu schadhaften Outputs oder eingeschr\u00e4nkten F\u00e4higkeiten f\u00fchren\u201c, erl\u00e4utern die OWASP-Experten. \u00a0\u00a0<\/p>\n

Um Angriffe dieser Art zu verhindern, empfehlen sie:<\/p>\n

Daten und m\u00f6gliche Transformationen mit entsprechenden Tools zu tracken;<\/p>\n

Daten-Vendoren ausgiebig zu \u00fcberpr\u00fcfen und Modell-Outputs zu validieren;<\/p>\n

striktes Sandboxing zu implementieren und Techniken zur Anomalieerkennung zu nutzen;<\/p>\n

Modelle mit spezifischen Datens\u00e4tzen feinabzustimmen;<\/p>\n

Infrastruktur-Kontrollma\u00dfnahmen einzuziehen, um zu verhindern, dass Modelle auf nicht erw\u00fcnschte Datenquellen zugreifen;<\/p>\n

Data Version Control einzusetzen, um Ver\u00e4nderungen an Datens\u00e4tzen zu erkennen;<\/p>\n

Informationen von Benutzern in Vektordatenbanken zu speichern, um Anpassungen ohne Retraining vornehmen zu k\u00f6nnen;<\/p>\n

Modelle mit Red Teaming und Adversarial Testing zu \u00fcberpr\u00fcfen;<\/p>\n

den Verlust von Trainingsdaten zu \u00fcberwachen und das Modellverhalten auf Anhaltspunkte f\u00fcr Poisoning zu analysieren;<\/p>\n

Modellhalluzinationen mit Retrieval Augmented Generation (RAG) und Grounding-Techniken zu reduzieren. \u00a0<\/p>\n

5. Improper Output Handling<\/strong><\/p>\n

\u201eImproper Output Handling bezieht sich darauf, dass die von gro\u00dfen Sprachmodellen generierten Outputs unzureichend validiert, bereinigt und gehandhabt werden, bevor sie an andere Komponenten und Systeme weitergeleitet werden\u201c, erl\u00e4utert OWASP. Falls Angreifer solche Improper-Output-Handling-Schwachstellen ausnutzten, k\u00f6nne das zu Cross-Site-Scripting<\/a>\u2013 und Server-side Request-Forgery-Angriffen, Privilege Escalation<\/a> oder Remote Code Execution f\u00fchren.<\/p>\n

Pr\u00e4ventive Ma\u00dfnahmen, um das zu verhindern, sind laut OWASP:<\/p>\n

einen Zero-Trust-Ansatz zu verfolgen und Modelle wie User zu behandeln;<\/p>\n

effektive Ma\u00dfnahmen einzusetzen, um Inputs zu validieren und zu bereinigen;<\/p>\n

(kontextsensitives) Output Encoding einzusetzen;<\/p>\n

parametrisierte Queries oder vorbereitete Statements f\u00fcr s\u00e4mtliche Datenbank-Prozesse mit LLM-Beteiligung zu nutzen;<\/p>\n

strikte Content-Security-Richtlinien einzuziehen;<\/p>\n

robuste Logging- und Monitoring-Systeme zu implementieren, um verd\u00e4chtige Muster in Outputs zu identifizieren.<\/p>\n

6. Excessive Agency<\/strong><\/p>\n

Laut den OWASP-Experten beschreibt Excessive Agency eine Schwachstelle, die schadhafte Aktionen auf der Grundlage von unerwarteten, mehrdeutigen oder manipulierten LLM-Outputs erm\u00f6glicht \u2013 unabh\u00e4ngig davon, was der Grund f\u00fcr die Fehlfunktion ist. \u201eExcessive Agency kann diverse Auswirkungen auf das gesamte Spektrum von Vertraulichkeit, Integrit\u00e4t und Verf\u00fcgbarkeit nach sich ziehen und h\u00e4ngt im Wesentlichen davon ab, mit welchen Systemen eine LLM-basierte App interagieren kann\u201c, konkretisiert OWASP.<\/p>\n

Um diesen Risiken den Wind aus den Segeln zu nehmen, empfehlen die Spezialisten: \u00a0\u00a0<\/p>\n

Extensions und ihre Funktionalit\u00e4ten zu minimieren;<\/p>\n

\u201eOpen ended\u201c Extensions wo m\u00f6glich zu vermeiden;<\/p>\n

Extensions nur im User-Kontext auszuf\u00fchren;<\/p>\n

Best\u00e4tigungen von Benutzern einzufordern;<\/p>\n

Autorisierung in Downstream-Systemen zu implementieren;<\/p>\n

LLM-Inputs und -Outputs zu bereinigen.<\/p>\n

7. System Prompt Leakage<\/strong><\/p>\n

\u201eSystem-Prompts sind darauf konzipiert, die Outputs von LLMs auf der Grundlage der Applikationsanforderungen zu steuern \u2013 k\u00f6nnen jedoch auch unbeabsichtigt Geheimnisse enthalten. Werden diese entdeckt, k\u00f6nnen sie f\u00fcr weitere Attacken genutzt werden\u201c, warnt OWASP. Dabei stelle die Offenlegung eines System Prompts an sich nicht das eigentliche Risiko dar, so die Experten. Das liege vielmehr in den zugrundeliegenden Elementen wie den Guardrails und Formatierungsrestriktionen, \u00fcber die Angreifer R\u00fcckschl\u00fcsse ziehen k\u00f6nnten, wenn sie mit den System interagierten.<\/p>\n

Um offengelegte System-Prompts zu verhindern, sieht OWASP folgende Ma\u00dfnahemn als hilfreich an:<\/p>\n

sensible Daten von System-Prompts zu trennen;<\/p>\n

System Prompts wenn m\u00f6glich nicht dazu zu nutzen, um das Modellverhalten zu beeinflussen;<\/p>\n

Guardrails zu implementieren;<\/p>\n

Sicherheitskontrollen nicht an LLMs zu delegieren. \u00a0\u00a0<\/p>\n

8. Vector- und Embedding-Schwachstellen<\/strong><\/p>\n

Mit Retrieval Augmented Generation (RAG<\/a>) lassen sich Leistung und Relevanz von LLMs optimieren. Allerdings k\u00f6nnen solche Systeme auch schwerwiegende Sicherheitsl\u00fccken aufweisen, wie die OWASP-Spezialisten konstatieren: \u201eWenn der Prozess, bei dem Vektoren und Embeddings generiert, gespeichert oder angerufen werden, Schwachstellen-behaftet ist, kann das von Bedrohungsakteuren ausgenutzt werden, um anst\u00f6\u00dfige Inhalte zu integrieren, Modell-Outputs zu manipulieren oder auf sensible Informationen zuzugreifen.\u201c<\/p>\n

Dagegen hilft laut den Experten:<\/p>\n

granulare Zugriffskontrollma\u00dfnahmen durchzusetzen;<\/p>\n

Daten zu validieren und Quellen zu authentifizieren;<\/p>\n

kombinierte Datens\u00e4tze einem Review zu unterziehen;<\/p>\n

umfassendes Monitoring und Logging.<\/p>\n

9. Desinformation<\/strong><\/p>\n

Wenn gro\u00dfe Sprachmodelle Informationen liefern, die zwar auf den ersten Blick glaubw\u00fcrdig erscheinen, aber falsch sind, ist Desinformation die Folge. Diese Schwachstelle kann laut OWASP unter anderem zu Breaches, Reputationssch\u00e4den und rechtlichen Problemen f\u00fchren.<\/p>\n

\u201eEiner der Hauptgr\u00fcnde f\u00fcr Desinformation sind LLM-Halluzinationen\u201c, schreiben die Experten und f\u00fcgen hinzu: \u201eSie entstehen, wenn LLMs L\u00fccken in ihren Trainingsdaten mit statistischen Mustern f\u00fcllen, ohne den Inhalt wirklich zu verstehen.\u201c<\/p>\n

Als Abhilfema\u00dfnahmen identifizieren die Security-Experten:<\/p>\n

RAG einzusetzen;<\/p>\n

Modelle feinabzustimmen;<\/p>\n

LLM-Outputs manuell zu \u00fcberpr\u00fcfen;<\/p>\n

Tools und Prozesse f\u00fcr automatisierte Validierung einzuf\u00fchren;<\/p>\n

Risiko-Kommunikation zu betreiben;<\/p>\n

auf sichere Coding-Praktiken zu setzen;<\/p>\n

User Interface und APIs mit Content-Filtern und Labels auszustatten;<\/p>\n

Trainings- und Schulungsma\u00dfnahmen anzuberaumen.<\/p>\n

10. Unbounded Consumption<\/strong><\/p>\n

\u201eUnbounded Consumption tritt auf, wenn eine LLM-Anwendung Benutzern eine \u00fcberm\u00e4\u00dfige, unkontrollierte Nutzung erm\u00f6glicht. Das kann zu DoS-Angriffen, wirtschaftlichen Sch\u00e4den, Modell-Diebstahl und eingeschr\u00e4nkten Services f\u00fchren\u201c, erkl\u00e4rt OWASP. Insbesondere in Cloud-Umgebungen seien gro\u00dfe Sprachmodelle wegen ihrer hohen Leistungsanforderungen anf\u00e4llig f\u00fcr Ressourcenausbeutung und nicht-autorisierte Nutzung.<\/p>\n

Um diese Risiken zu minimieren, empfehlen die Experten:<\/p>\n

Inputs zu validieren;<\/p>\n

Rate Limiting einzusetzen;<\/p>\n

die Ressourcenzuweisung dynamisch zu \u00fcberwachen und zu managen;<\/p>\n

Timeouts und Throttling einzusetzen;<\/p>\n

Sandboxing-Techniken zu implementieren;<\/p>\n

umfassende Logging-, Monitoring- und Anomaliedetektions-Aktivit\u00e4ten einzuplanen;<\/p>\n

Watermarking zu nutzen;<\/p>\n

ein zentralisiertes ML-Modell-Inventar zu nutzen;<\/p>\n

MLOps Deployment zu automatisieren.<\/p>\n

Sie wollen weitere interessante Beitr\u00e4ge rund um das Thema IT-Sicherheit lesen? <\/strong>Unser kostenloser Newsletter<\/strong><\/a> liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.<\/strong><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

Diese Schwachstellen sollten Sie kennen, damit Ihnen Ihr Large Language Model nicht um die Ohren fliegt. VectorMine | shutterstock.com Das Open Worldwide Application Security Project (OWASP) hat seine Top Ten der kritischsten Schwachstellen bei Large Language Models (LLMs) aktualisiert. Mit ihrer Top-Ten-Liste (PDF) wollen die OWASP-Security-Experten Unternehmen(sanwender) \u00fcber die potenziellen Risiken beim Einsatz von gro\u00dfen […]<\/p>\n","protected":false},"author":0,"featured_media":1306,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1305","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-education"],"_links":{"self":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/1305"}],"collection":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1305"}],"version-history":[{"count":0,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/1305\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/media\/1306"}],"wp:attachment":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1305"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1305"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1305"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}