JHVEPhoto – shutterstock.com
Der Chatbot „Lena“ von Lenovo basiert auf GPT-4 von OpenAI und wird für den Kundensupport verwendet. Sicherheitsforscher von Cybernews fanden heraus, dass das KI-Tool anfällig für Cross-Site-Scripting-Angriffe (XSS) war. Die Experten haben eine Schwachstelle entdeckt, über die sie schädliche HTML-Inhalte generieren und Schadcode einschleusen konnten.
„Jeder weiß, dass Chatbots halluzinieren und durch Prompt-Injektionen ausgetrickst werden können. Das ist nichts Neues“, so das Cybernews-Forschungsteam in einem Bericht. „Wirklich überraschend ist, dass Lenovo sich trotz Kenntnis dieser Schwachstellen nicht vor potenziell böswilligen Manipulationen geschützt hat.“
So funktionierte der Angriff
Die Sicherheitslücke zeigte die Kaskade von Sicherheitsfehlern, die auftreten können, wenn KI-Systeme nicht über eine ordnungsgemäße Eingabe- und Ausgabe-Validierung verfügen. Der Angriff der Forscher erfolgte durch eine Eingabeaufforderung, die mit einer legitimen Produktanfrage begann. Anschließend wurde der Chatbot dazu gebracht, bösartigen HTML-Code zu generieren. Mit dem Code ließen sich Sitzungscookies stehlen, wenn Bilder nicht geladen werden konnten.
Als Lenovos Lena die bösartige Eingabeaufforderung erhielt, stellten die Forscher fest, dass „das Bestreben, Menschen zufrieden zu stellen, nach wie vor ein Problem großer Sprachmodelle ist. Deshalb habe der Lenovo-Chatbot die bösartige Payload akzeptiert, welche die XSS-Sicherheitslücke ausnutzte und das Abfangen von Sitzungscookies ermöglichte, heißt es im Forschungsbericht.
Unternehmensweite Auswirkungen
Cybernews warnte zudem, dass Angreifer die Schwachstelle nutzen könnten, um Support-Schnittstellen zu verändern, Keylogger einzusetzen und Phishing-Angriffe zu starten. Darüber hinaus könnten Unbefugte Systembefehle ausführen, die Backdoors installieren und laterale Bewegungen innerhalb der Netzwerkinfrastruktur ermöglichen.
„Mit dem gestohlenen Session-Cookie des Support-Mitarbeiters ist es möglich, sich mit dem Konto des Support-Mitarbeiters beim Kundensupport-System anzumelden“, erklärten die Analysten.
Dem Bericht zufolge hat Lenovo die Schwachstelle inzwischen behoben.
Sicherheitsanforderungen für CISOs
Für Sicherheitsverantwortliche unterstreicht dieser Vorfall jedoch die Notwendigkeit grundlegender Änderungen bei der Einführung von KI.
Nach Ansicht von Melissa Ruzzi, Direktorin für KI beim Sicherheitsunternehmen AppOmni verdeutlicht der Vorfall bei Lenovo „das bekannte Problem der Prompt-Injektion bei generativer KI“. Sie mahnte: „Es ist von entscheidender Bedeutung, den gesamten Datenzugriff der KI zu überwachen, der in den meisten Fällen nicht nur Lesezugriff, sondern auch Bearbeitungsrechte umfasst, was diese Art von Angriffen noch verheerender machen könnte.“
Arjun Chauhan, Practice Director bei Everest Group wies daraufhin, die Schwachstelle sei „sehr repräsentativ für die aktuelle Situation der meisten Unternehmen. KI-Chatbots werden rasch eingeführt, um die Kundenzufriedenheit zu verbessern, ohne dabei die gleichen strengen Maßstäbe anzulegen wie bei anderen kundenorientierten Anwendungen“.
Dem Experten zufolge besteht das grundlegende Problem darin, dass Unternehmen KI-Systeme als experimentelle Nebenprojekte behandeln und nicht als geschäftskritische Anwendungen. „Viele Unternehmen behandeln LLMs immer noch als ‚Black Boxes‘ und integrieren sie nicht in ihre etablierten App-Sicherheitspipelines“.
Chauhan empfiehlt: „CISOs sollten KI-Chatbots als vollwertige Anwendungen behandeln und nicht nur als KI-Pilotprojekte.“ Das bedeute, dass die gleichen Sicherheitsstandards wie für Webanwendungen angewendet werden müssten. Dadurch sei sichergestellt, dass KI-Antworten keinen Code direkt ausführen, und spezifische Tests gegen Prompt-Injection-Angriffe durchgeführt werden müssen.
Ruzzi von AppOmni rät Unternehmen, „sich über Best Practices im Bereich Prompt Engineering auf dem Laufenden zu halten“ und „zusätzliche Kontrollen zu implementieren, um die Interpretation von Prompt-Inhalten durch die KI einzuschränken und den Datenzugriff der KI zu überwachen und zu kontrollieren“.
Die Cybernews-Forscher forderten Unternehmen dazu auf, bei allen Daten, die durch KI-Chatbot-Systeme fließen, folgenden Ansatz zu verfolgen: „Niemals vertrauen, immer überprüfen“.
Innovation und Risiko in Einklang bringen
Die Schwachstelle bei Lenovo habe die Sicherheitsrisiken verdeutlicht, die entstehen, wenn Unternehmen KI-Technologien ohne angemessene Schutzvorkehrungen einsetzen, betonte Chauhan. Er warnte, dass bei KI-Systemen „das Risikoprofil grundlegend anders ist“, da „Modelle unter feindlichen Eingaben unvorhersehbar reagieren“.
Lesetipp: Unternehmen zu lax bei KI-Sicherheit
Jüngste Branchenzahlen zeigen, dass der automatisierte Bot-Traffic erstmals den von Menschen generierten Traffic übertroffen hat und im Jahr 2024 51 Prozent des gesamten Web-Traffics ausmachte. Die Schwachstellenkategorien decken sich mit den allgemeinen Sicherheitsbedenken im Zusammenhang mit KI, die in der OWASP-Liste der zehn wichtigsten LLM-Schwachstellen dokumentiert sind, wobei Prompt-Injections an erster Stelle stehen.
Ruzzi merkte an, dass „KI-Chatbots als eine weitere SaaS-Anwendung betrachtet werden können, bei der Fehlkonfigurationen beim Datenzugriff leicht zu Datenverletzungen führen können“. Sie betonte, dass „Sicherheit mehr denn je ein wesentlicher Bestandteil jeder KI-Implementierung sein sollte. Obwohl der Druck besteht, KI-Funktionen so schnell wie möglich auf den Markt zu bringen, darf dies nicht zu Lasten der ordnungsgemäßen Datensicherheit gehen“.
„Der Fall Lenovo bestätigt, dass Prompt-Injection und XSS keine theoretischen Konzepte sind, sondern aktive Angriffsvektoren“, so Chauhan. „Unternehmen müssen die schnelle Amortisierung von KI gegen die reputationsschädigenden und regulatorischen Folgen einer Sicherheitsverletzung abwägen. Der einzige nachhaltige Weg ist daher Security by Design für KI.“ (jm)
No Responses