ChatGPT leidet immer häufiger unter Halluzinationen

ChatGPT halluziniert immer häufiger – selbst Entwickler sind ratlos

ChatGPT wird schlauer – aber auch unberechenbarer: Neuere Modelle erfinden immer öfter Dinge. Experten sprechen von Halluzinationen.

Die neueste Generation von Künstlicher Intelligenz wird schneller, klüger – und unzuverlässiger. Systeme wie ChatGPT erfinden immer häufiger Fakten oder verbreiten Unwahrheiten, obwohl sie präziser sein sollen als je zuvor. Fachleute sprechen in diesem Zusammenhang von Halluzinationen – und niemand weiß, warum die KI das tut, nicht einmal die Unternehmen, die sie entwickeln.

Je leistungsfähiger die Modelle werden, desto mehr Fehler schleichen sich ein. Konkret bedeutet das: OpenAIs neuestes Modell von ChatGPT mit der Bezeichnung o4-mini hat im SimpleQA-Test in 79 Prozent der Fälle falsche Antworten geliefert. Das ältere Modell o3 kam auf 51 Prozent, das Vorgängermodell o1 auf 44 Prozent. Das belegen Daten aus internen Tests des Unternehmens, wie die New York Times berichtet.

Neue Modelle halluzinieren häufiger als ältere

Auch im sogenannten PersonQA-Test, bei dem Chatbots Fragen zu öffentlichen Personen beantworten sollen, schnitten die neuen Systeme schlecht ab. Modell o3 kam hier auf eine Halluzinationsrate von 33 Prozent. ChatGPT o4-mini lag mit 48 Prozent noch höher. Das ist mehr als doppelt so viel wie beim älteren Modell o1.

KI-Halluzinationen führen bereits zu ganz praktischen Problemen: Im vergangenen Monat informierte ein Support-Bot des Start-ups Cursor irrtümlich Nutzer über eine angeblich neue Nutzungsrichtlinie. Der CEO Michael Truell musste laut New York Times auf Reddit klarstellen, dass dies nicht der Fall war.

In diesem Fall kündigten verärgerte Kunden ihre Accounts. Unterläuft der KI ein Fehler in einem sensiblen Bereich – etwa bei juristischen Texten, medizinischen Informationen oder Finanzdaten – kann eine erfundene Aussage noch viel schwerwiegendere Folgen haben. Pratik Verma, CEO des KI-Start-ups Okahu, warnt deshalb: „Wenn man diese Fehler nicht richtig behandelt, verliert die KI im Grunde ihren Wert – sie soll ja eigentlich Aufgaben automatisieren.“

Ursachen bleiben größtenteils unklar

KI-Systeme nutzen mathematische Wahrscheinlichkeiten, um die beste Antwort zu ermitteln. Sie „wissen“ also nicht, ob ihre Aussagen wahr oder falsch sind. Amr Awadallah, früher bei Google und heute Chef des KI-Anbieters Vectara, denkt daher, dass dieses Problem bei solchen Systemen immer bestehen bleiben wird.

Trotz aller Bemühungen werden sie [KI-Modelle] immer halluzinieren. Das wird nie ganz verschwinden.
Amr Awadallah

Seit Ende 2023 überprüft Vectara die Qualität von Chatbots, indem sie deren Zusammenfassungen mit Originalartikeln abgleicht. Anfangs lag die Fehlerquote zwischen 3 Prozent und 27 Prozent. Zwischenzeitlich senkten Anbieter wie OpenAI oder Google diese Werte auf 1 bis 2 Prozent. Anthropic erreichte rund 4 Prozent.

Seit der Einführung neuer Reasoning-Systeme (englisch für „Vernunft“ oder „Argumentation“) steigen die Zahlen wieder. Laut Vectara lag die Fehlerquote bei OpenAI o3 zuletzt bei 6,8 Prozent. Das chinesische System R1 von DeepSeek halluzinierte in 14,3 Prozent der Fälle. Auch Google zeigt steigende Werte.

Komplexes Denken erhöht die Fehleranfälligkeit

Ein Grund für die steigenden Halluzinationen liegt in der neuen Systemarchitektur. Die sogenannten Reasoning-Modelle arbeiten schrittweise und „denken“ sich eine Lösung aus. Dabei entstehen bei jedem Zwischenschritt neue Fehler – und diese summieren sich. Das erhöht die Gesamtfehlerquote.

Forscherin Laura Perez-Beltrachini von der Universität Edinburgh sieht darin eine Trainingsproblematik: „Die Systeme konzentrieren sich irgendwann nur noch auf eine Aufgabe – und vergessen andere.“
Auch der Forscher Aryo Pradipta Gema, ebenfalls aus Edinburgh, warnt: „Was das System vorgibt zu denken, ist nicht unbedingt das, was es tatsächlich denkt.“

Um das Verhalten der Modelle besser zu verstehen, hat ein Team der Universität von Washington ein Analysewerkzeug entwickelt, das die Antwort eines Modells auf das ursprüngliche Trainingsmaterial zurückverfolgen soll. OpenAI selbst räumt die Probleme mit Halluzinationen bei ChatGPT ein. Eine Sprecherin erklärte gegenüber der New York Times:

Halluzinationen kommen nicht zwangsläufig häufiger bei Reasoning-Modellen vor, aber wir arbeiten aktiv daran, die höheren Raten bei o3 und o4-mini zu reduzieren. Wir werden unsere Forschung zu Halluzinationen bei allen Modellen fortsetzen, um die Genauigkeit und Zuverlässigkeit zu verbessern.
OpenAI

Google setzt halluzinierende KI gezielt ein

Während steigende Halluzinationsraten bei Sprachmodellen für Kritik sorgen, geht Google DeepMind einen anderen Weg: Die Forschungsabteilung nutzt bewusst halluzinierende KI, um komplexe Wetterdaten zu analysieren. Modelle wie GenCast und GraphCast ergänzen reale Daten durch simulierte, um Wetterextreme besser vorherzusagen.

Raia Hadsell, Forschungschefin bei Google DeepMind, erklärt: „In jedem Schritt fügen wir Millionen an multimodalen Beobachtungen auf globaler Ebene hinzu.“ Dadurch habe das System beispielsweise Hurrikans drei Tage früher erkannt als klassische physikalische Modelle. Ziel ist es, einen digitalen Zwilling der Erde zu erstellen. Dieser soll Klimadaten, Artenvielfalt und Umweltveränderungen miteinander verknüpfen.

Kurz zusammengefasst:

Je leistungsfähiger die neuen ChatGPT-Modelle werden, desto häufiger liefern sie falsche Informationen – sogenannte Halluzinationen.
Besonders die neuesten Systeme wie o4-mini zeigen drastisch erhöhte Fehlerquoten von bis zu 79 Prozent.
Die Ursachen dafür sind bislang unklar, doch Forscher und Unternehmen arbeiten unter Hochdruck an Lösungen.