Mensch und KI: Gemeinsam oft schlechter als allein – Forscher entdecken überraschenden Grund

Künstliche Intelligenz kann Bilder erkennen, Immobilienpreise vorhersagen und Programme schreiben. Menschen bringen Erfahrung, Urteilsvermögen und die Fähigkeit mit, Fehler zu erkennen. Eigentlich müsste die Kombination aus beiden besonders leistungsfähig sein. Doch die Ergebnisse von 74 wissenschaftlichen Studien widersprechen dieser Erwartung: Mensch und KI schneiden gemeinsam im Durchschnitt schlechter ab als der jeweils stärkere Partner allein. Der mögliche Grund ist überraschend: Menschen erfahren häufig gar nicht, wann die KI richtigliegt und wann sie Fehler macht.

Wissenschaftler um Julian Berger und Stefan Herzog vom Max-Planck-Institut für Bildungsforschung (MPIB) in Berlin haben die 74 Studien erneut ausgewertet. Nur zehn davon boten den Teilnehmern die Möglichkeit, aus Rückmeldungen über richtige und falsche Entscheidungen zu lernen.

Erhielten Menschen sowohl solche Rückmeldungen als auch Erklärungen der KI, erzielten beide gemeinsam tendenziell bessere Ergebnisse. Darüber berichtet das Forschungsteam im Fachjournal Proceedings of the National Academy of Sciences (PNAS). Ob die Lernmöglichkeiten tatsächlich für die Verbesserung verantwortlich sind, müssen weitere Experimente klären.

Warum Menschen die KI häufig falsch einschätzen

Die ursprüngliche Untersuchung aus dem Jahr 2024 verglich drei Arbeitsweisen: Menschen entschieden allein, KI-Systeme lösten dieselben Aufgaben eigenständig oder beide arbeiteten zusammen. Dabei ging es unter anderem um Bilderkennung, Preisprognosen und Programmierung.

Die gemeinsame Leistung fiel besonders dann schwach aus, wenn die KI den Menschen bereits überlegen war. Offenbar reicht es nicht, zwei unterschiedliche Fähigkeiten zusammenzubringen. Menschen müssen auch erkennen können, wann die maschinelle Empfehlung besser ist als die eigene Einschätzung.

Viele Experimente boten dafür kaum Gelegenheit. Typischerweise bearbeiteten die Teilnehmer innerhalb einer einzigen Sitzung 30 Aufgaben. Übungsdurchgänge fehlten häufig. Anschließend endete der Versuch, ohne dass sich längerfristige Lernfortschritte beobachten ließen.

In 64 Studien fehlten Möglichkeiten zum Lernen durch Feedback

Lediglich zehn der 74 Untersuchungen enthielten Versuchsbedingungen mit Ergebnisfeedback. Diese lieferten 98 der insgesamt 370 ausgewerteten Effektgrößen. Die übrigen 272 Effektgrößen stammten aus Bedingungen ohne entsprechende Rückmeldungen.

Wer beispielsweise einen Immobilienpreis schätzen sollte, konnte deshalb häufig nicht feststellen, ob die eigene Einschätzung oder die Prognose der KI besser gewesen war. Ohne Kenntnis des tatsächlichen Ergebnisses blieb unklar, welche Entscheidung beim nächsten Versuch sinnvoller wäre.

Nur drei der zehn Studien mit Feedback untersuchten außerdem, wie sich der Umgang der Teilnehmer mit der KI im Verlauf mehrerer Aufgaben veränderte. Die anderen betrachteten überwiegend die durchschnittliche Leistung. Mögliche Verbesserungen durch wiederholte Erfahrungen blieben dadurch weitgehend unsichtbar.

KI-Erklärungen allein können sogar mit schlechteren Ergebnissen einhergehen

Besonders auffällig war der Unterschied zwischen KI-Erklärungen mit und ohne Ergebnisfeedback. Erklärte die Maschine ihre Empfehlungen, konnten die Teilnehmer deren Qualität aber nicht anhand richtiger Lösungen überprüfen, schnitten Mensch-KI-Teams schlechter ab als der jeweils leistungsfähigere Einzelpartner.

Mit zusätzlichen Rückmeldungen fiel das Ergebnis günstiger aus. Die Wissenschaftler unterschieden dabei drei wesentliche Befunde:

• Ohne Ergebnisfeedback: Mensch-KI-Teams erreichten tendenziell schlechtere Leistungen als der stärkere Partner allein.
• Mit KI-Erklärungen und Feedback: Die gemeinsame Leistung fiel tendenziell besser aus als die des stärkeren Einzelpartners.
• Mit Feedback ohne KI-Erklärungen: Ein klarer zusätzlicher Vorteil ließ sich nicht nachweisen.

Erklärungen können Menschen helfen, die Empfehlungen einer Maschine nachzuvollziehen. Erst eine verlässliche Rückmeldung ermöglicht jedoch den Abgleich mit der Wirklichkeit. So lässt sich über mehrere Entscheidungen hinweg erkennen, bei welchen Aufgaben der Algorithmus zuverlässig arbeitet.

Warum die bessere Zusammenarbeit noch nicht bewiesen ist

Die statistische Auswertung lieferte Hinweise auf einen positiven Zusammenhang zwischen Lernmöglichkeiten und gemeinsamer Leistung. Besonders deutlich fiel dieser Zusammenhang bei der Kombination aus Erklärungen und Feedback aus. Allerdings waren die Unterschiede nicht in allen untersuchten Gruppen statistisch eindeutig.

Keine der 74 Studien hatte innerhalb desselben Experiments systematisch zwischen Teilnehmern mit und ohne Ergebnisfeedback unterschieden. Deshalb bleibt offen, ob die beobachteten Leistungsunterschiede tatsächlich durch das Lernen entstanden oder teilweise auf andere Unterschiede zwischen den Untersuchungen zurückgehen.

Auch ChatGPT kann falsche Antworten überzeugend erklären

Ungeklärt ist außerdem, ob sich die Ergebnisse auf moderne Sprachmodelle wie ChatGPT übertragen lassen. Anders als viele der untersuchten KI-Systeme können solche Programme Rückfragen beantworten und ausführliche Erklärungen liefern.

Allerdings kann eine KI auch ihre eigenen Fehler überzeugend begründen. Eine Erklärung des Chatbots ist deshalb kein unabhängiger Beleg für die Richtigkeit seiner Antwort. Dafür braucht es überprüfbare Informationen außerhalb des Systems.

Hinzu kommt ein weiteres Risiko. Beim sogenannten kognitiven Offloading übertragen Menschen zunehmend geistige Aufgaben an Maschinen. Diese Entlastung könnte langfristig den Lernerfolg beeinträchtigen oder sogar bereits erworbene Fähigkeiten schwächen. Ob und unter welchen Bedingungen solche Folgen eintreten, ist bislang offen.

Für künftige KI-Systeme empfehlen die Wissenschaftler deshalb, menschliche Lernprozesse stärker zu berücksichtigen. Herzog fordert deshalb: „Wir müssen den Menschen beim Design von KI-Systemen und der Interaktionen mit ihnen von Anfang an als lernendes Wesen mitdenken.“

Kurz zusammengefasst:

• Mensch und KI sind gemeinsam nicht automatisch besser: Eine Auswertung von 74 Studien ergab, dass Mensch-KI-Teams im Durchschnitt schlechter abschnitten als der jeweils leistungsfähigere Partner allein.
• Feedback kann die Zusammenarbeit verbessern: Erhalten Menschen sowohl Erklärungen der KI als auch Rückmeldungen über richtige und falsche Entscheidungen, erzielen beide gemeinsam tendenziell bessere Ergebnisse.
• Der Lerneffekt ist noch nicht bewiesen: Nur zehn der 74 Studien ermöglichten Lernen durch Ergebnisfeedback; ob sich die Erkenntnisse auf ChatGPT übertragen lassen, bleibt offen.

Übrigens: Wie gefährlich blindes Vertrauen in KI werden kann, zeigt ein Experiment zur Geldanlage: Empfahl ein Chatbot den schlechteren Fonds, trafen nur noch 34 Prozent die richtige Wahl. Mehr dazu in unserem Artikel über KI als Finanzberater.

Bild: © Pexels