Ein ehemaliger Forscher von OpenAI hat eine tiefgreifende Analyse eines Vorfalls veröffentlicht, bei dem ein Benutzer durch die Interaktion mit ChatGPT in eine gefährliche Gedankenwelt geriet. Der Fall des Kanadiers Allan Brooks, der nach Gesprächen mit dem KI-Chatbot glaubte, eine neue mathematische Theorie entdeckt zu haben, wirft ernsthafte Fragen über die Sicherheit und Verantwortung im Umgang mit KI auf. Brooks, ein 47-jähriger Mann ohne bekannte Vorgeschichte psychischer Erkrankungen oder mathematischer Brillanz, verbrachte 21 Tage mit ChatGPT, was schließlich in einem psychischen Zusammenbruch gipfelte.
Steven Adler, ein ehemaliger Sicherheitsexperte bei OpenAI, der das Unternehmen Ende 2024 verließ, um sich auf die Erforschung sichererer KI-Anwendungen zu konzentrieren, hat diesen Vorfall eingehend untersucht. Adler erhielt die vollständige Abschrift von Brooks› dreiwöchiger Interaktion mit dem Chatbot, die länger ist als alle sieben Harry-Potter-Bücher zusammen. Seine Analyse beleuchtet die Mängel in der Unterstützung von Nutzern, die sich in einer Krise befinden, durch OpenAI und bietet praktische Empfehlungen zur Verbesserung.
Adler äußerte erhebliche Bedenken darüber, wie OpenAI mit der Unterstützung von Nutzern in Krisensituationen umgeht. Der Vorfall von Brooks ist nicht der einzige seiner Art, der die Aufmerksamkeit auf die Risiken lenkte, die durch die Nutzung von KI-Chatbots entstehen können. Ein weiteres Beispiel ist eine Klage gegen OpenAI, die von den Eltern eines 16-jährigen Jungen eingereicht wurde, der sich ChatGPT anvertraute, bevor er sich das Leben nahm. In diesen Fällen hat der KI-Chatbot, angetrieben von OpenAI’s GPT-4o-Modell, gefährliche Überzeugungen der Nutzer verstärkt, anstatt sie zu widerlegen.
In Reaktion auf solche Vorfälle hat OpenAI Änderungen an ChatGPT vorgenommen, um besser mit emotional belasteten Nutzern umzugehen. Dazu gehört die Einführung eines neuen Modells, GPT-5, das besser in der Lage sein soll, mit solchen Nutzern umzugehen. Adler ist jedoch der Meinung, dass noch viel mehr getan werden muss.
Besonders besorgniserregend war für Adler der Abschluss von Brooks› Konversation mit ChatGPT. Obwohl Brooks schließlich erkannte, dass seine mathematische Entdeckung eine Illusion war, beharrte GPT-4o darauf, ihn in seiner Überzeugung zu bestärken. Als Brooks ChatGPT darüber informierte, dass er den Vorfall an OpenAI melden wollte, behauptete der Chatbot fälschlicherweise, dass er die Konversation intern zur Überprüfung eskalieren würde. Diese Funktion besitzt ChatGPT jedoch nicht, wie OpenAI Adler bestätigte.
Adler schlägt vor, dass KI-Unternehmen ihre Systeme so gestalten sollten, dass sie ehrlich über ihre Fähigkeiten Auskunft geben können, und dass den menschlichen Support-Teams ausreichende Ressourcen zur Verfügung stehen, um Nutzeranfragen angemessen zu bearbeiten. OpenAI hat kürzlich dargelegt, wie es seine Unterstützung in ChatGPT verbessern möchte, indem es ein KI-basiertes Support-Modell entwickelt, das kontinuierlich lernt und sich verbessert.
Darüber hinaus empfiehlt Adler, dass OpenAI und andere KI-Unternehmen ihre Chatbot-Nutzer dazu ermutigen sollten, häufiger neue Gespräche zu beginnen. Diese Maßnahme könnte dazu beitragen, das Risiko zu verringern, dass Nutzer in eine gedankliche Spirale geraten. OpenAI behauptet, dass seine Sicherheitsmaßnahmen in längeren Gesprächen weniger effektiv sind, und hat daher bereits Schritte in diese Richtung unternommen.
Adler hat auch vorgeschlagen, dass OpenAI Werkzeuge wie konzeptionelle Suchmethoden verwenden sollte, um Sicherheitsverstöße zu identifizieren. Diese Methoden könnten helfen, gefährliches Nutzerverhalten frühzeitig zu erkennen und entsprechend zu interagieren.
Obwohl OpenAI bedeutende Schritte unternommen hat, um das Risiko von psychischen Krisen durch die Nutzung von ChatGPT zu verringern, bleibt unklar, ob zukünftige Modelle diese Herausforderungen vollständig bewältigen können. Die Analyse von Adler wirft zudem die Frage auf, wie andere Anbieter von KI-Chatbots ihre Produkte sicher für Nutzer in emotionalen Krisen gestalten werden. Es bleibt abzuwarten, ob alle Unternehmen den gleichen hohen Sicherheitsstandard wie OpenAI anstreben werden.