Kritik an OpenAI: Experten warnen vor verkürzten Sicherheitstests

OpenAI ist bekannt für seine KI-Projekte wie der GPT-Reihe, Codec, DALL-E und Whisper. Experten befürchten nun, dass das KI-Forschungsunternehmen seine KI-Angebote ohne angemessenen Schutz bereitstellen könnte.

Laut einem Bericht der Financial Times (FT) gibt der Hersteller von ChatGPT seinen Mitarbeitenden und externen Gruppen nur noch wenige Tage Zeit, um die Risiken sowie die Leistung seiner neuesten Large Language Models (LLMs) zu bewerten. Zuvor standen ihnen noch mehrere Monate zur Verfügung.

Dies könnte möglicherweise damit zusammenhängen, dass OpenAI Modelle schneller veröffentlichen will und den Schwerpunkt weg von Trainingsmodellen und hin zu Inferenz (Generierung neuer Daten) verlagern will.

„KI wird zu einem sehr wettbewerbsintensiven Feld, da alle Technologieunternehmen ihre Modelle mit einer atemberaubenden Geschwindigkeit auf den Markt bringen“, erklärt Pareekh Jain, CEO und leitender Analyst bei Parekh Consulting.

Tester sagen, dass sie jetzt weniger Zeit haben

In dem FT-Bericht werden acht Personen zitiert, die mit dem Testverfahren von OpenAI vertraut sind. Demnach hat das Unternehmen seine Bemühungen bei den Sicherheitstests zurückgefahren sowie weniger Ressourcen und Zeit für Risikobewertungen aufgewendet.

OpenAI hat seinen Sicherheitsansatz für seine GPT-Modelle offenbar im Laufe der Zeit verändert. Für GPT-4 widmete das Unternehmen über sechs Monate Sicherheitsbewertungen, bevor es offiziell an den Start ging. Für das GPT-4-Omni-Modell verkürzte OpenAI die Testphase jedoch auf nur eine Woche, um den Starttermin im Mai 2024 einzuhalten.

Weniger Tests könnten die Modellintegrität beeinträchtigen

„Die Verkürzung der Zeit für Sicherheitstests könnte die Qualität des Startmodells erheblich beeinträchtigen“, mahnen Experten. „Wenn es Fälle von Halluzinationen oder Schäden aufgrund von Modellausgaben gibt, wird OpenAI das Vertrauen der Menschen verlieren und damit zurecht kommen müssen, dass die Einführung strauchelt“, betont Jain.

“Das kann auf die Verkürzung der Testzeit zurückgeführt werden. OpenAI hat bereits ein Imageproblem, weil es von einem gemeinnützigen zu einem gewinnorientierten Unternehmen geworden ist. Jeder Vorfall kann das angeschlagene Image weiter schädigen, dass sie aus Profitgründen auf angemessene Tests verzichten“, fügt der Parekh Consulting-Analyst hinzu.

Eine der Quellen bezeichnete die Verkürzung der Testzeit als „leichtsinnig“ und als „Rezept für eine Katastrophe“. Eine andere Person, die an den GPT-4-Tests beteiligt war, sagte, dass einige mögliche Gefahren erst zwei Monate nach Beginn der Tests entdeckt wurden.

OpenAI reagierte zwar nicht sofort auf Anfragen, aber der LLM-Riese hat in der Vergangenheit bereits Erfahrung im Umgang mit solchen Vorwürfen gesammelt.

Als Reaktion auf eine ähnliche Kritik wandelte OpenAI im September 2024 seinen Sicherheitsausschuss in einen unabhängigen „Aufsichtsausschuss des Vorstands“ um. Dieser ist befugt, die Einführung von Modellen aus Sicherheitsgründen zu verzögern.

Verbesserte KI könnte schnellere Tests vorantreiben

Jain deutete an, dass OpenAI tatsächlich in der Lage sein könnte, Tests zu beschleunigen, ohne die Sicherheit zu gefährden: „OpenAI muss auch in seinen internen Prozessen viel KI einsetzen. Sie könnten versuchen, die Einführung ihres Modells durch mehr KI-Einsatz zu beschleunigen.“ Dieser Gedanke wird durch eine Behauptung von OpenAI im Dezember 2024 gestützt, in der sie sagten, dass ihre Testmodelle mit KI schnell leistungsfähiger werden. (jm)