Studie: Digitale Ersteinschätzung über KI noch mangelhaft

Wie gut ist die digitale Ersteinschätzung der generative KI bei gesundheitlichen Beschwerden und eignet sie sich für die Patientensteuerung? Eine Studie der TU Berlin liefert Antworten.

Generative KI wie ChatGPT ist aus dem Gesundheitswesen kaum noch wegzudenken. Während Kliniken das Problem haben, den „Wildwuchs“ bei der Nutzung einzudämmen – etwa über Eigenentwicklungen –, stellt sich für Patienten die Frage, wie gut die KI gesundheitliche Beschwerden einordnen und damit eventuell Patienten sogar gezielt innerhalb des Gesundheitssystem steuern kann.

Eine aktuelle Studie aus dem Fachgebiet Arbeitswissenschaft der Technischen Universität Berlin hat nun genau das untersucht. Konkret wurde in verschiedenen Modellversuchen eingeordnet, wie gut generative KI gesundheitliche Beschwerden einordnen kann, ob sich die Leistungen im Zeitverlauf verändert haben oder ob identische Eingaben auch konsistente Empfehlungen nach sich ziehen.

Das Ergebnis ist deutlich und ernüchternd: Für die digitale Ersteinschätzung und eigenständige Patientensteuerung ist ChatGPT derzeit nur eingeschränkt geeignet.

„Der Hauptunterschied zu unseren früheren Studien ist die längsschnittliche Analyse. Bisher wurden nur ein oder zwei Modelle untersucht. Nun haben wir alle Modelle, die über die Zeit verfügbar waren, getestet und analysiert, wie sie sich tatsächlich verändert haben“, sagt Studienleiter Dr. Marvin Kopka, Data Scientist an der TU Berlin. „Das war uns auch deshalb wichtig, weil es immer wieder Meldungen gibt, nach denen neue Modelle in ärztlichen Zulassungsprüfungen oder Wissenstests nahezu perfekte Ergebnisse erreichen. Daraus wird dann schnell geschlossen, dass sie auch für Patientinnen und Patienten verlässliche medizinische Empfehlungen geben. Genau das stimmt aber laut unserer Studie nicht.“

Immerhin: Genauigkeit steigt kaum noch

Für die Studie, die im im Journal Communications Medicine erschienen ist, hat das Forschungsteam 22 ChatGPT-Modellversionen anhand echter Fälle von 45 PatientInnen getestet. Darunter waren Krankheitsbilder wie „eine kurzfristige Überlastung von Sehnen/Bändern am Vortag“ oder auch „einfache Verdauungsprobleme/Durchfall seit einem Tag ohne weitere Beschwerden“. Jeder Fall wurde pro Modell zehnmal eingegeben. Insgesamt entstanden so 9.900 Einzelbewertungen. Die Modelle mussten jeweils entscheiden, ob ein Fall als Notfall, als Fall für ärztliche Abklärung oder als Fall für Selbstversorgung einzustufen ist.

Die Auswertung zeigt: Die Genauigkeit stieg mit den ersten Modellversionen zunächst deutlich an. Seit der dritten Modellgeneration (gpt-4) gab es jedoch nur noch geringfügige Verbesserungen. Das beste getestete Modell erreichte eine Treffergenauigkeit von 74 Prozent. Zwar empfahlen neuere Modelle häufiger überhaupt Selbstversorgung, insgesamt blieb die Leistung in diesem Bereich aber begrenzt.

Schwach bei harmlosen Beschwerden

Besonders gut waren die getesteten Modelle darin, behandlungsbedürftige Fälle zu erkennen. Die meisten Fehler traten dagegen bei Fällen auf, in denen Selbstversorgung ausreichend gewesen wäre: 70 Prozent aller Fehler entfielen auf diese Gruppe. Kein einziger der 13 Selbstversorgungsfälle wurde von allen Modellen in allen Durchläufen korrekt gelöst.

Lediglich einzelne Modelle, etwa o4, o3 oder GPT 5, empfahlen überhaupt jemals Selbstversorgung. Bei allen anderen getesteten Modellen wurde durchgängig zur ärztlichen Abklärung geraten. Das ist problematisch, weil ein erheblicher Teil der Beschwerden tatsächlich nicht gefährlich ist, von allein wieder weggeht oder selbst behandelt werden kann.

Die Studie zeigt damit ein strukturelles Muster: Fast alle Modelle neigen dazu, Beschwerden vorsichtshalber als behandlungsbedürftiger einzustufen, als es medizinisch erforderlich wäre.

Die Forschenden bezeichnen dieses Muster als konservatives Triagierungsverhalten. „Uns haben die Ergebnisse in dieser Klarheit selbst überrascht“, gibt Dr. Kopka zu. „Denn sie zeigen explizit, dass die für Patientinnen und Patienten relevanten Fragen durch neuere Modelle nicht automatisch besser beantwortet werden.“ Für den Experten heißt das im Umkehrschluss, dass bessere Test- oder Prüfungsergebnisse nicht zwangsläufig einen höheren praktischen Nutzen in der Versorgung bedeuten

„Entscheidend ist aus unserer Sicht nicht nur, ob ein Modell einzelne Fälle richtig einordnet, sondern welchen praktischen Nutzen die Empfehlungen im Alltag tatsächlich haben“, führt Kopka weiter aus. Wenn ein System bei sehr vielen Beschwerden vorsorglich zur medizinischen Abklärung rät, wirkt das zunächst sicher für die Nutzenden – es bietet aber faktisch keine echte Entscheidungshilfe mehr, wenn die Empfehlung fast immer gleich ausfällt.

Abweichende Ergebnisse bei gleichen Eingaben

Hinzu kommt ein weiteres Problem: Die Modelle antworten nicht durchgängig konsistent. Bei identischen Eingaben kam es je nach Modell zu teils deutlichen Schwankungen. Neuere Modelle hatten zwar seltener Fälle, die nie korrekt gelöst wurden, zugleich aber häufiger Fälle mit inkonsistenten Empfehlungen über mehrere Durchläufe hinweg. Besonders deutlich zeigte sich das bei GPT 5: Bei 42 Prozent aller Fälle waren die Empfehlungen bei mehrfacher Eingabe desselben Falls mal richtig und mal falsch – trotz exakt gleicher Eingabe.

Die Ergebnisse seien auch gesundheitspolitisch relevant, ist Kopka überzeugt. In Deutschland wird intensiv über ein Primärversorgungssystem und über Formen digitaler Patientensteuerung diskutiert. Die TU-Studie legt nahe, dass allgemeine Sprachmodelle wie ChatGPT dafür derzeit kein geeignetes allein einsetzbares Instrument sind.

„Das Potenzial großer Sprachmodelle sehen wir deshalb derzeit weniger in einer Nutzung im Chatfenster der Hersteller als in einer sinnvollen Integration in qualitätsgesicherten Anwendungen, also in Symptom-Checker-Apps“, sagt Kopka. Dort könnten sie helfen, Informationen verständlich aufzubereiten, Empfehlungen zu erläutern und Menschen besser durch bestehende Versorgungswege zu lotsen – vorausgesetzt, im Hintergrund erfolgt eine medizinische Qualitätssicherung.

Die Forschenden weisen zugleich daraufhin, dass der Fokus dieser Studie auf Bevölkerungsrepräsentativität lag. Da echte Notfälle im Alltag selten sind und dementsprechend auch seltener bei der Nutzung von ChatGPT auftreten, enthielt auch der Datensatz nur wenige Notfälle und untersuchte hauptsächlich Entscheidungen für oder gegen das Aufsuchen von ärztlicher Hilfe. Die Genauigkeit bei der Erkennung von echten Notfällen sollte in weiteren Studien untersucht werden.