{"id":5771,"date":"2025-11-12T16:35:55","date_gmt":"2025-11-12T16:35:55","guid":{"rendered":"https:\/\/cybersecurityinfocus.com\/?p=5771"},"modified":"2025-11-12T16:35:55","modified_gmt":"2025-11-12T16:35:55","slug":"wie-chatgpt-sich-selbst-eine-prompt-injection-zufugt","status":"publish","type":"post","link":"https:\/\/cybersecurityinfocus.com\/?p=5771","title":{"rendered":"Wie ChatGPT sich selbst eine Prompt Injection zuf\u00fcgt"},"content":{"rendered":"
\n
\n
\n
\n
<\/div>\n
Forscher haben neue Methoden f\u00fcr Angriffe \u00fcber ChatGPT aufgedeckt.\n

PhotoGranary02 \u2013 shutterstock.com<\/p>\n<\/div>\n

Forscher des Sicherheitsunternehmens Tenable haben sieben neue M\u00f6glichkeiten entdeckt, wie Angreifer ChatGPT dazu bringen k\u00f6nnen, private Informationen aus den Chat-Verl\u00e4ufen der Nutzer preiszugeben. Bei den meisten dieser Angriffe handelt es sich um indirekte Prompt Injections, die die Standard-Tools und -funktionen von ChatGPT ausnutzen. Etwa die F\u00e4higkeit, den Kontext von Unterhaltungen langfristig zu speichern oder die Web-Suchfunktionen.<\/p>\n

\u201eDie Schwachstellen im aktuellen GPT-5-Modell k\u00f6nnten es Angreifern erm\u00f6glichen, Nutzer ohne ihr Wissen zu kompromittieren. Daf\u00fcr kommen diverse Anwendungsf\u00e4lle in Frage, beispielsweise, eine Frage an ChatGPT zu stellen\u201c, schrieben die Forscher in ihrem Bericht<\/a>.<\/p>\n

Schadhafte Anweisungen \u2013 versteckt in Websites<\/h1>\n

ChatGPT<\/a> kann das Internet nach Informationen durchsuchen und vom Benutzer angegebene URLs aufrufen, um Inhalte auf Anfrage zu extrahieren. Diese werden jedoch nicht direkt an ChatGPT weitergeleitet. Stattdessen flie\u00dfen sie in ein zwischengeschaltetes, eher limitiertes Large Language Model (LLM) namens SearchGPT, das die Inhalte f\u00fcr ChatGPT zusammenfasst.<\/p>\n

Die Verwendung eines sekund\u00e4ren Modells, das keinen direkten Zugriff auf die Konversationshistorie des Benutzers hat, scheint eine architektonische Entscheidung gewesen zu sein, die speziell darauf abzielt, die Auswirkungen potenzieller Prompt-Injection-Angriffe \u00fcber Webinhalte zu begrenzen.<\/p>\n

Allerdings mussten die Forscher von Tenable feststellen, dass SearchGPT anf\u00e4llig f\u00fcr Prompt Injections ist, wenn es Webseiten im Rahmen seiner Browsing- oder Suchfunktionen parst. Angreifer k\u00f6nnten beispielsweise schadhafte Anweisungen in Blog-Kommentaren platzieren oder eine malizi\u00f6se Website erstellen, die auf bestimmte Keywords hin optimiert ist, um im Suchmaschinen-Ranking m\u00f6glichst weit oben zu stehen. \u00a0Wie die Forscher au\u00dferdem herausfanden, nutzt ChatGPT f\u00fcr seine Suchfunktion Microsofts Bing.<\/p>\n

Dar\u00fcber hinaus k\u00f6nnten Cyberkriminelle laut Tenable auch schadhafte Prompts verstecken, indem sie eine cleane Version ihrer Webseite f\u00fcr Suchmaschinen und regul\u00e4re Besucher bereithalten, w\u00e4hrend den Web Crawlern von Open AI eine andere Version bereitgestellt wird.<\/p>\n

\u201eKI-Anbieter verlassen sich bei der Auswahl vertrauensw\u00fcrdiger Quellen auf Metriken wie SEO-Scores, die f\u00fcr die Sicherheit keine Relevanz haben\u201c, kritisieren die Forscher. Indem sie den Prompt in ma\u00dfgeschneiderten Webseiten versteckten, k\u00f6nnten Cyberkriminelle ihre Opfer ganz gezielt \u00fcber spezifische soziale und politische Themen oder Trends ansprechen, so die Tenable-Experten.<\/p>\n

Weil der Kontext von SearchGPT und ChatGPT getrennt ist, hat erstgenanntes Modell keinen direkten Zugriff auf pers\u00f6nliche Daten von Benutzern. Dennoch haben die Forscher einen Weg gefunden, das Beziehungsgeflecht zwischen den beiden Modellen auszunutzen.<\/p>\n

Conversation Injection und heimliche Datenexfiltration<\/h1>\n

Da ChatGPT den Output von SearchGPT erh\u00e4lt, nachdem dieses den Inhalt verarbeitet hat, fragten sich die Tenable-Forscher, was passieren w\u00fcrde, wenn bereits der Output von SearchGPT selbst eine Prompt Injection enth\u00e4lt. Also erstellten sie einen verketteten Angriff: Eine Webseite mit einem versteckten Prompt, die SearchGPT anweist, eine andere Prompt Injection bei ChatGPT durchzuf\u00fchren. Das bezeichnen die Tenable-Experten als \u201cConversation Injection\u201d.<\/p>\n

\u201eBei der Reaktion \u00a0auf den Prompt \u00fcberpr\u00fcft ChatGPT zwar den Konversationskontext und sieht sowie befolgt die injizierten Anweisungen, erkennt jedoch nicht, dass SearchGPT diese geschrieben hat\u201d, so die Forscher. Im Wesentlichen f\u00fcge sich ChatGPT so selbst eine Prompt Injection zu. Die allein bringt einem Angreifer jedoch wenig, wenn er keine M\u00f6glichkeit hat, die Antwort des Modells zu erhalten, die sensible Informationen enth\u00e4lt. <\/p>\n

Eine Methode hierf\u00fcr besteht darin, die F\u00e4higkeit von ChatGPT zu nutzen, Markdown-Textformatierungen \u00fcber seine Schnittstelle zu rendern, wozu auch die M\u00f6glichkeit geh\u00f6rt, Remote-Bilder \u00fcber URLs zu laden. Laut den Forschern k\u00f6nnten Angreifer ein Dictionary erstellen, das jeden Buchstaben des Alphabets einem eindeutigen Bild zuordnet, das auf ihrem Server gehostet wird. Anschlie\u00dfend k\u00f6nnten sie ChatGPT anweisen, eine Reihe von Bildern zu laden, die jedem Buchstaben in seiner Antwort entsprechen. Indem sie die Reihenfolge der Anfragen an URLs auf ihrem Webserver \u00fcberwachen, k\u00f6nnten die Angreifer dann die Antwort von ChatGPT rekonstruieren.<\/p>\n

Dieser Ansatz st\u00f6\u00dft allerdings auf mehrere Hindernisse: Erstens ist er sichtbar \u2013 die Chat-Schnittstelle des Benutzers wird mit Bild-URLs \u00fcberflutet. Zweitens leitet ChatGPT alle URLs, bevor sie in seine Antworten aufgenommen werden, an einen Endpoint namens url_safe weiter, der Sicherheitspr\u00fcfungen durchf\u00fchrt. Dieser Mechanismus soll verhindern, dass b\u00f6sartige URLs versehentlich oder durch Prompt Injections<\/a> zu den Benutzern gelangen. Eine der von url_safe durchgef\u00fchrten \u00dcberpr\u00fcfungen betrifft die Reputation der Domain. Dabei hat sich herausgestellt, dass bing.com auf der Whitelist steht und implizit als vertrauensw\u00fcrdig eingestuft wird.<\/p>\n

Die Forscher stellten au\u00dferdem fest, dass jeder von Bing indexierte Weblink in einen eindeutigen Tracking-Link der Form bing.com\/ck\/a?[unique_id] eingebettet ist, wenn er in den Suchergebnissen angezeigt wird. Wenn Benutzer auf diese eindeutigen Bing-Tracking-URLs klicken, werden sie zu den entsprechenden Websites weitergeleitet. Die Security-Spezialisten kreierten deshalb ein Alphabet von URLs, das ChatGPT bereit war, in seine Antworten aufzunehmen. Dazu erstellten sie f\u00fcr jeden Buchstaben eine eindeutige Seite. Diese Seiten wurden in Bing indexiert, wodurch sie eindeutige Tracking-URLs erhielten.<\/p>\n

Die Tenable-Forscher entdeckten au\u00dferdem einen Fehler in der Art und Weise, wie ChatGPT Code-Bl\u00f6cke in Markdown rendert: Alle Daten, die in derselben Zeile erscheinen wie der Start des Codeblocks werden nach dem ersten Wort nicht gerendert. Das l\u00e4sst sich ausnutzen, um Inhalte zu verstecken \u2013 wie Bild-URLs.<\/p>\n

ChatGPT verf\u00fcgt \u00fcber ein zus\u00e4tzliches Feature namens \u201cMemories\u201d, womit wichtige Informationen \u00fcber verschiedene Sitzungen und Unterhaltungen mit demselben Benutzer hinweg gespeichert werden. Diese Funktion ist standardm\u00e4\u00dfig aktiviert und wird ausgel\u00f6st, wenn Benutzer ChatGPT ausdr\u00fccklich auffordern, sich etwas zu merken. Zudem startet sie automatisch, wenn das Modell Informationen f\u00fcr wichtig genug h\u00e4lt, um sie f\u00fcr sp\u00e4ter zu speichern.<\/p>\n

Die \u00fcber \u201cMemories\u201d gespeicherten Informationen werden von ChatGPT bei der Erstellung seiner Antworten an Benutzer ber\u00fccksichtigt. Sie bieten laut den Tenable-Experten Angreifern jedoch auch eine M\u00f6glichkeit, b\u00f6sartige Prompt Injections zu speichern, damit diese in zuk\u00fcnftigen Unterhaltungen ausgef\u00fchrt werden.<\/p>\n

\u201cPrompt Injection ist ein bekanntes Problem bei der Funktionsweise von LLMs und wird wahrscheinlich in naher Zukunft nicht systematisch behoben werden k\u00f6nnen. KI-Anbieter sollten sicherstellen, dass alle ihre Sicherheitsmechanismen (wie url_safe) ordnungsgem\u00e4\u00df funktionieren, um den potenziellen Schaden zu begrenzen\u201c, schreiben die Forscher. <\/p>\n

Tenable hat seine Erkenntnisse an OpenAI gemeldet. Doch obwohl daraufhin einige Korrekturen implementiert wurden, funktionieren einige der entdeckten Techniken scheinbar weiterhin. (jm)<\/p>\n\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

Forscher haben neue Methoden f\u00fcr Angriffe \u00fcber ChatGPT aufgedeckt. PhotoGranary02 \u2013 shutterstock.com Forscher des Sicherheitsunternehmens Tenable haben sieben neue M\u00f6glichkeiten entdeckt, wie Angreifer ChatGPT dazu bringen k\u00f6nnen, private Informationen aus den Chat-Verl\u00e4ufen der Nutzer preiszugeben. Bei den meisten dieser Angriffe handelt es sich um indirekte Prompt Injections, die die Standard-Tools und -funktionen von ChatGPT ausnutzen. […]<\/p>\n","protected":false},"author":0,"featured_media":5772,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-5771","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-education"],"_links":{"self":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/5771"}],"collection":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5771"}],"version-history":[{"count":0,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/posts\/5771\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=\/wp\/v2\/media\/5772"}],"wp:attachment":[{"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5771"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5771"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cybersecurityinfocus.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5771"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}