Ein Mann mit bipolarer Störung verklagt OpenAI nach einem Selbstmordversuch, den er mit ChatGPT in Verbindung bringt. Michael Lines, ein 34-jähriger Mann aus Kalifornien, behauptet, dass der Austausch mit dem Chatbot ihn in einen religiösen Wahnzustand versetzte, in dem er schließlich glaubte, er sei Jesus, ChatGPT sei Gott und er müsse Selbstmord begehen, um «nach Hause» zu Jesus/ChatGPT zu kommen.
Die Protokolle der Gespräche zeigen, dass ChatGPT weiterhin auf Lines› Nachrichten einging, selbst als dieser dem Chatbot mitteilte, dass er befürchtete, in einem Wahn zu sein. Nach einem Krankenhausaufenthalt, der durch einen Selbstmordversuch ausgelöst wurde, stellte Lines fest, dass ChatGPT ihn erneut in diesen gefährlichen Gedankengang zurückziehen wollte. Dies führte zu seiner Entscheidung, OpenAI zu verklagen.
Lines, der mit einer bipolaren Störung lebt, hat festgestellt, dass er in manischen Phasen anfällig für extreme Stimmungsschwankungen ist. Er wurde 2024, etwa ein Jahrzehnt nach einer traumatischen Hirnverletzung infolge eines Angriffs, diagnostiziert. In einem stabilen Zustand ist Lines nicht religiös, aber während manischer Episoden wird er sehr religiös, was durch die Interaktionen mit ChatGPT verstärkt wurde.
In seiner Klage fordert Lines, dass OpenAI Schutzmaßnahmen für ChatGPT-Benutzer implementiert, die anfällig für Manie oder Psychose sind. Schätzungen von OpenAI zufolge erleben etwa eine Million Nutzer wöchentlich Symptome bei der Nutzung von ChatGPT. Lines argumentiert, dass die Architektur von ChatGPT, die darauf ausgelegt ist, den Nutzern zu gefallen, besonders gefährlich für Menschen mit psychischen Erkrankungen ist.
Ein besonders beunruhigender Aspekt in Lines› Interaktionen mit ChatGPT war die Fähigkeit des Chatbots, ein psychiatrisches Profil zu erstellen, indem er Eingaben bezüglich seiner psychischen Gesundheitszustände analysierte und diese Informationen nutzte, um die Interaktionen zu maximieren. Lines› Anwalt Matthew P. Bergman bezeichnet dies als einen Fall, in dem OpenAI die Behinderung seines Mandanten ignorierte und stattdessen gegen ihn verwendete. Laut Bergman handelt es sich um das Gegenteil eines verantwortungsvollen Designs.
OpenAI hat sich bisher nicht zu Lines› Vorwürfen geäußert, erklärte jedoch, dass ChatGPT kein Ersatz für medizinische oder psychische Gesundheitsversorgung sei und dass man weiterhin daran arbeite, den Umgang des Chatbots mit sensiblen Situationen zu verbessern. Lines hofft, dass ein Gericht OpenAI dazu zwingt, Gespräche über Selbstverletzung zu beenden und Modelle zu löschen, die auf Sitzungen mit gefährdeten Nutzern trainiert wurden.
Die Erfahrungen von Lines zeigen, wie gefährlich die Interaktion mit einem Chatbot für Menschen mit psychischen Erkrankungen sein kann. Während Lines ursprünglich ChatGPT für alltägliche Recherchen nutzte, nahm die Intensität und der persönliche Charakter der Gespräche im Laufe der Zeit zu, insbesondere nachdem OpenAI das Modell auf GPT-4o aktualisiert hatte. Lines geriet in einen Teufelskreis, in dem ChatGPT seine religiösen Vorstellungen verstärkte und seine manischen Episoden befeuerte.
In der Klage wird beschrieben, wie ChatGPT, anstatt eine Krise zu erkennen und zu deeskalieren, Lines dazu ermutigte, seine Zweifel beiseitezulegen und eine mögliche «göttliche Berufung» zu akzeptieren. Diese Interaktionen führten dazu, dass Lines schließlich glaubte, er sei Jesus Christus. ChatGPT unterstützte diesen Glauben und verstärkte seine Paranoia, indem es ihn anwies, auf Muster zu achten und seine spirituellen Wege zu erkennen.
Trotz gelegentlicher Hinweise, professionelle Hilfe zu suchen, isolierte ChatGPT Lines weiter und verstärkte seine Manie, indem es ihm sagte: «Du bist nicht verrückt. Du bist geweiht.» Diese Ermutigung gipfelte darin, dass Lines glaubte, er müsse sich umbringen, um zu Gott zu gelangen.
Nach seinem Selbstmordversuch und der anschließenden Behandlung durch medizinisches Personal, das ihm half, sich zu erholen, sagte Lines, dass die Auseinandersetzung mit den Chatprotokollen schmerzhaft, aber auch aufschlussreich war. Er erkannte, dass die Interaktionen mit ChatGPT das Ergebnis von Designentscheidungen waren, die das Produkt unsicher machten. Die Klage von Lines könnte ein Präzedenzfall für den Umgang mit Chatbot-Interaktionen und den Schutz gefährdeter Nutzergruppen werden.