Diagnose-KI erkennt selbst, wie zuverlässig ihre Antworten sind

Ein Arzt stellt eine Diagnose. Ein zweiter schaut sich denselben Patienten an und kommt zum gleichen Ergebnis. Dann ein dritter. Irgendwann kippt Skepsis in Vertrauen: Wenn alle unabhängig voneinander dasselbe sehen, könnte an der Sache etwas dran sein.

Bei künstlicher Intelligenz funktioniert dieses Prinzip erstaunlich ähnlich. Forscher der TU Dresden haben eine medizinische KI denselben Fall mehrfach bearbeiten lassen. Und dabei zeigte sich ein interessantes Muster: Je stabiler die Diagnose über mehrere Durchläufe blieb, desto häufiger war sie richtig.

Die Wissenschaftler vom Else Kröner Fresenius Center for Digital Health der TU Dresden beschreiben das Verfahren im Fachjournal Nature Medicine. Damit geht es um eine Frage, die für medizinische KI entscheidend werden könnte: nicht nur, ob sie eine Antwort findet – sondern ob sie erkennt, wann man ihr besser noch einmal über die Schulter schauen sollte.

Diagnose-KI führt selbst ein Patientengespräch

Die Dresdner Forscher wollten es der KI dabei nicht zu leicht machen. Statt medizinische Multiple-Choice-Fragen abzuarbeiten, musste sie sich durch eine simulierte Sprechstunde bewegen – Schritt für Schritt, ähnlich wie ein Arzt im Klinikalltag.

Ein KI-Agent spielte den Arzt, ein zweiter den Patienten. Der Arzt-Agent konnte nachhaken, Untersuchungen anfordern und erst danach eine Diagnose stellen. Zur Verfügung standen unter anderem:

Blut- und Urintests,
radiologische Untersuchungen,
mikrobiologische Tests.

Am Ende musste sich die KI auf eine Diagnose festlegen und begründen, wie sie darauf gekommen war.

Bemerkenswert ist auch, wo das alles geschah: auf lokaler Infrastruktur. Die Modelle und die Datenverarbeitung liefen innerhalb des Systems. Sensible Patientendaten mussten dafür nicht an einen externen KI-Anbieter geschickt werden.

Getestet wurde das Verfahren mit drei medizinischen Datensätzen. Der wichtigste, MIRA-v2, umfasste 551 Fälle mit sieben Erkrankungen, darunter Blinddarmentzündung, Lungenentzündung, Lungenembolie, Harnwegsinfektion und Bauchspeicheldrüsenentzündung. Ein zweiter Benchmark enthielt 2.400 Fälle mit akuten Baucherkrankungen. VivaBench brachte weitere 990 Fälle aus zehn medizinischen Fachgebieten hinzu.

Schon die reine Diagnoseleistung war hoch. Im MIRA-v2-Benchmark kam das beste lokale System auf rund 90 Prozent richtige Diagnosen, im zweiten großen Test auf 83,8 Prozent.

Doch für einen Einsatz in der Medizin reicht es nicht, im Durchschnitt oft richtigzuliegen. Viel wichtiger ist die Frage: Was passiert im einzelnen Fall?

Derselbe Fall kommt fünfmal auf den Tisch

Für die Zuverlässigkeitsprüfung bekam die KI jeden der 551 Fälle normalerweise fünfmal neu vorgelegt. Entscheidend war nicht, wie selbstsicher sie antwortete, sondern ob sie bei mehreren Anläufen immer wieder zur gleichen Diagnose kam.

Bei einem festgelegten Schwellenwert blieben 272 Fälle übrig. Das entspricht 49,4 Prozent.

269 Diagnosen waren richtig.
3 Diagnosen waren falsch.
Die Genauigkeit in dieser ausgewählten Gruppe lag damit bei 98,9 Prozent.

Die übrigen 279 Fälle würden in dem simulierten Arbeitsablauf an einen Menschen zur Kontrolle weitergereicht.

Wichtig ist: Die 98,9 Prozent gelten nur für diese besonders stabil beantworteten Fälle – nicht für alle 551 Fälle.

Stabile Diagnose schlägt rechnerisches Selbstvertrauen

Eine KI kann einer eigenen Antwort einen hohen Wahrscheinlichkeitswert geben – vereinfacht gesagt: Sie hält ihre Diagnose selbst für sehr plausibel. Doch dieses „Selbstvertrauen“ erwies sich als weniger zuverlässig als die Stabilität der Diagnose. Entscheidend war also, ob die KI bei mehreren Versuchen immer wieder zum gleichen Ergebnis kam.

Wählten die Forscher Fälle allein danach aus, wie sicher sich die KI rechnerisch war, blieben nur 22,5 Prozent übrig. In dieser Gruppe waren 97,6 Prozent der Diagnosen richtig.

Auch ein Stresstest machte den Unterschied deutlich. Als die Forscher der KI weniger verlässliche Informationen gaben, sank ihre Diagnosegenauigkeit von 90,6 auf 70,2 Prozent. Trotzdem half die Wiederholungsprobe weiterhin dabei, eher richtige von eher falschen Antworten zu unterscheiden.

Mehr Wiederholungen erhöhen die Genauigkeit

Drei Durchläufe brachten bei gleichem Schwellenwert 97,5 Prozent Genauigkeit, fünf Durchläufe 98,9 Prozent und zehn 99,6 Prozent.

Dafür schrumpfte die ausgewählte Gruppe von 51,7 auf 46,3 Prozent. Mehr Sicherheit bedeutet also: mehr Fälle für den Menschen und mehr Rechenaufwand. Fünf Durchläufe benötigten ungefähr fünfmal so viele Tokens wie eine einzelne Bearbeitung.

Der Schwellenwert von 0,90 ist zudem nicht universell. Modell, Einstellungen und Zahl der Wiederholungen beeinflussen das Ergebnis.

Im Krankenhaus muss sich die medizinische KI erst beweisen

Die KI wurde bislang nicht an echten Patienten getestet. Zwei der verwendeten Datensätze beruhen auf anonymisierten Krankenakten, VivaBench enthält zusätzlich medizinische Fälle aus Fachpublikationen.

Und auch eine sehr stabile Antwort kann falsch sein. Von den 272 Fällen, bei denen die KI besonders zuverlässig immer wieder zur gleichen Diagnose kam, waren drei falsch.

Auffällig war zudem, dass das System bei älteren Patienten schlechter abschnitt als bei jüngeren Erwachsenen. Warum, ist noch unklar. Möglich sind kompliziertere Krankheitsbilder, Unterschiede in den zugrunde liegenden Daten oder Verzerrungen der KI.

Ob das Verfahren auch im echten Klinikalltag funktioniert, müssen weitere Untersuchungen klären. Denn dort fehlen Informationen, Beschwerden sind nicht immer eindeutig und Patienten passen selten so sauber in ein Schema wie in einem Testdatensatz.

Die Dresdner Forscher haben deshalb noch keinen Ersatz für Ärzte entwickelt. Ihr Verfahren könnte aber helfen, jene Fälle herauszufiltern, bei denen ein Mensch besser noch einmal genau hinsieht.

Kurz zusammengefasst:

Eine Dresdner Diagnose-KI bearbeitete denselben Fall mehrfach und nutzte stabile Antworten als Hinweis auf Zuverlässigkeit.
Besonders konsistente Diagnosen machten 49,4 Prozent der Fälle aus und waren zu 98,9 Prozent richtig.
Die Ergebnisse stammen aus Simulationen. Im Klinikalltag muss sich das Verfahren erst noch bewähren.

Übrigens: KI kann bei medizinischem Faktenwissen erstaunlich stark sein – in einem Test aus Marburg lag sie deutlich vor Ärzten. Warum richtige Antworten trotzdem noch keine gute Behandlung ersetzen, mehr dazu in unserem Artikel.

Bild: © Pexels