In der digitalen Welt, in der Künstliche Intelligenz (KI) immer stärker in den Alltag integriert wird, bleibt ChatGPT eines der bekanntesten Beispiele für die Interaktion zwischen Mensch und Maschine. Doch während das Modell in der Lage ist, beeindruckend flüssige und kontextuell passende Antworten zu generieren, bleibt eine zentrale Herausforderung bestehen: die Gewährleistung der Richtigkeit dieser Informationen.
Ein Forscher gibt in ChatGPT den Namen eines Autors, den Titel eines Fachjournals und ein Veröffentlichungsdatum ein. Die Antwort des Modells ist klar und selbstbewusst – genau die gesuchte Referenz. Doch eine schnelle Google-Suche zeigt: Das angegebene Papier existiert nicht. Der Autor ist zwar real, hat aber nie etwas Vergleichbares veröffentlicht. Dieses Beispiel verdeutlicht ein zentrales Problem: ChatGPT ist darauf optimiert, hilfreich zu wirken, nicht unbedingt richtig zu sein.
Der Grund liegt in der Funktionsweise von ChatGPT. Das Modell erzeugt Text, indem es das wahrscheinlichste nächste Wort basierend auf Mustern in den Trainingsdaten vorhersagt. Es gibt keinen internen Faktenprüfer und keine Echtzeit-Datenbank, die konsultiert wird. Der Prozess der Verstärkungslernens mit menschlichem Feedback, der das Modell geformt hat, belohnt Antworten, die hilfreich und vollständig klingen. Dies bedeutet, dass das Modell möglicherweise eine plausible Antwort einer ehrlichen Unsicherheit vorzieht.
In den letzten Monaten hat sich eine sogenannte «Truth Prompt» in verschiedenen Online-Communities verbreitet, die dazu gedacht ist, die Genauigkeit der von ChatGPT generierten Antworten zu verbessern. Diese Anleitung umfasst mehrere Regeln, die das Modell dazu anregen, sich eher wie ein vorsichtiger Forscher zu verhalten:
1. Priorisieren Sie «Ich weiß es nicht» über eine selbstbewusste Vermutung.
2. Erfinden Sie niemals Quellen, URLs, Studien oder Statistiken.
3. Kennzeichnen Sie alles Ungeprüfte explizit als unsicher.
4. Zeigen Sie Rechenschritte oder zitieren Sie eine glaubwürdige Quelle für jede Zahl.
5. Führen Sie eine zweite Überprüfung durch: Listen Sie jede Behauptung einzeln auf, überprüfen Sie sie und formulieren Sie die Antwort nur mit den unterstützten Aussagen neu.
Diese letzte Regel, bekannt als die «Verifikationskette», erfordert besondere Aufmerksamkeit. Das Modell wird aufgefordert, seine Antwort in einzelne Behauptungen zu zerlegen, jede als Unterstützt, Ungeprüft oder Falsch zu kennzeichnen und eine spezifische Quelle mit Datum anzugeben. Untersuchungen zeigen, dass Sprachmodelle konkrete, diskrete Behauptungen besser handhaben als weitreichende, offene Fragen.
Dennoch gibt es Grenzen. Eine Studie der Brigham Young University aus dem Jahr 2024 ergab, dass die Fähigkeit von ChatGPT zur Faktenverifikation «niedrig und kaum besser als zufällige Vermutungen» war. Der Wechsel der Formulierung der Eingabeaufforderungen beeinflusste eher das Selbstbewusstsein der Antworten als deren Genauigkeit. Praktische Schätzungen zur Genauigkeit reichen über verschiedene Domänen hinweg von etwa 85 bis 94 Prozent, je nach Bewertungsmethode. Diese Zahlen klingen beruhigend, bis man bedenkt, dass eine Fehlerquote von 6 bis 15 Prozent in einem juristischen Gutachten oder bei der Suche nach Medikamentenempfehlungen schwerwiegende Folgen haben kann.
Die «Truth Prompt» macht Fehler sichtbarer und weniger häufig, eliminiert sie jedoch nicht vollständig. Es bleibt ratsam, bei gesundheitsbezogenen, rechtlichen und finanziellen Fragen externe, zuverlässige Quellen zu konsultieren, da der Moment, in dem die Maschine am sichersten klingt, genau der ist, in dem eine sorgfältige Prüfung am wichtigsten ist.
In einer Welt, in der digitale Informationen zunehmend unseren Alltag prägen, ist es entscheidend, nicht blind auf die scheinbare Gewissheit von KI-generierten Antworten zu vertrauen. Die Technologie entwickelt sich weiter, doch die Verantwortung für die Überprüfung und Validierung bleibt eine menschliche Aufgabe.