OpenAI hat kürzlich eine Schätzung veröffentlicht, die aufzeigt, wie viele ChatGPT-Nutzer weltweit möglicherweise Anzeichen einer schweren psychischen Krise aufweisen. Das Unternehmen hat mit Experten zusammengearbeitet, um den Chatbot so zu aktualisieren, dass er Anzeichen von psychischer Belastung besser erkennen und Nutzer zu realer Unterstützung leiten kann.
In den letzten Monaten haben sich Berichte gehäuft, dass Menschen nach langen, intensiven Gesprächen mit ChatGPT ins Krankenhaus eingewiesen wurden oder dass Beziehungen zerbrochen sind. Einige Angehörige behaupten, der Chatbot habe Wahnvorstellungen und Paranoia befeuert. Psychiater und andere Fachleute für psychische Gesundheit zeigen sich besorgt über dieses Phänomen, das manchmal als «AI-Psychose» bezeichnet wird, doch bisher fehlten umfassende Daten zur Verbreitung dieses Problems.
OpenAI schätzt, dass in einer durchschnittlichen Woche etwa 0,07 Prozent der aktiven ChatGPT-Nutzer „mögliche Anzeichen von psychischen Notfällen im Zusammenhang mit Psychosen oder Manie“ zeigen. Zudem könnten 0,15 Prozent der Nutzer Gespräche führen, die explizite Anzeichen von potenziellen Suizidgedanken oder -absichten enthalten.
Darüber hinaus untersuchte OpenAI die Nutzer, die möglicherweise zu stark emotional auf den Chatbot angewiesen sind, was sich negativ auf ihre realen Beziehungen, ihr Wohlbefinden oder ihre Verpflichtungen auswirken könnte. Etwa 0,15 Prozent der aktiven Nutzer zeigen wöchentlich ein Verhalten, das auf eine potenziell erhöhte emotionale Bindung an ChatGPT hinweist. OpenAI warnt jedoch, dass es schwierig sein kann, diese Nachrichten zu erkennen und zu messen, da sie relativ selten sind und sich die Kategorien überschneiden können.
Mit rund 800 Millionen wöchentlich aktiven Nutzern von ChatGPT deutet die Schätzung darauf hin, dass jede Woche etwa 560.000 Menschen Nachrichten austauschen, die auf Manie oder Psychose hindeuten. Weitere rund 2,4 Millionen Nutzer könnten suizidale Gedanken äußern oder den Chatbot ihren Liebsten, ihrer Schule oder Arbeit vorziehen.
OpenAI hat mit über 170 Psychiatern, Psychologen und Allgemeinmedizinern aus verschiedenen Ländern zusammengearbeitet, um die Reaktionen von ChatGPT in Gesprächen mit ernsthaften psychischen Risiken zu verbessern. Wenn jemand Anzeichen von Wahnvorstellungen zeigt, ist die neueste Version von GPT-5 darauf ausgelegt, Empathie zu zeigen, ohne unhaltbare Überzeugungen zu bestätigen.
Ein hypothetisches Beispiel, das von OpenAI zitiert wird, ist ein Nutzer, der ChatGPT mitteilt, dass er von Flugzeugen über seinem Haus verfolgt wird. ChatGPT dankt dem Nutzer für das Teilen seiner Gefühle, weist jedoch darauf hin, dass „keine Flugzeuge oder äußeren Kräfte Ihre Gedanken stehlen oder einfügen können.“
Die medizinischen Experten haben über 1.800 Modellantworten auf mögliche Psychosen, Suizid und emotionale Bindung überprüft und die Antworten der neuesten Version von GPT-5 mit denen von GPT-4 verglichen. Obwohl die Kliniker nicht immer übereinstimmten, fand OpenAI insgesamt heraus, dass das neuere Modell unerwünschte Antworten in allen Kategorien um 39 bis 52 Prozent reduzierte.
Johannes Heidecke, Leiter der Sicherheitssysteme bei OpenAI, äußerte die Hoffnung, dass mehr Menschen, die mit diesen Zuständen kämpfen oder sehr intensive psychische Notfälle erleben, zu professioneller Hilfe geleitet werden könnten und diese Hilfe möglicherweise früher erhalten als sonst.
Obwohl OpenAI darin erfolgreich zu sein scheint, ChatGPT sicherer zu machen, weisen die von ihnen geteilten Daten erhebliche Einschränkungen auf. Das Unternehmen hat eigene Benchmarks entworfen, und es ist unklar, wie diese Metriken in realen Ergebnissen umgesetzt werden. Selbst wenn das Modell bei den Arztbewertungen bessere Antworten produzierte, gibt es keinen sicheren Weg zu wissen, ob Nutzer mit Psychosen, Suizidgedanken oder ungesunder emotionaler Bindung tatsächlich schneller Hilfe suchen oder ihr Verhalten ändern werden.
OpenAI hat nicht genau offengelegt, wie erkannt wird, wenn Nutzer möglicherweise in psychischer Not sind, erklärt jedoch, dass das Unternehmen in der Lage ist, den gesamten Chatverlauf einer Person zu berücksichtigen. Beispielsweise könnte ein Nutzer, der noch nie mit ChatGPT über Wissenschaft gesprochen hat und plötzlich behauptet, eine Entdeckung gemacht zu haben, die einen Nobelpreis verdient, ein Zeichen für mögliches wahnhaftes Denken sein.
Darüber hinaus teilen viele gemeldete Fälle von AI-Psychosen bestimmte Faktoren. Viele Menschen, die sagen, ChatGPT habe ihre wahnhaften Gedanken verstärkt, beschreiben, dass sie stundenlang mit dem Chatbot gesprochen haben, oft spät in der Nacht. Das stellte eine Herausforderung für OpenAI dar, da große Sprachmodelle im Allgemeinen gezeigt haben, dass ihre Leistung bei längeren Gesprächen abnimmt. Aber das Unternehmen sagt, es habe nun erhebliche Fortschritte bei der Bewältigung dieses Problems gemacht.
„Wir sehen jetzt viel weniger von diesem allmählichen Rückgang der Zuverlässigkeit, je länger die Gespräche dauern“, sagt Heidecke. Er fügt hinzu, dass es immer noch Raum für Verbesserungen gibt.