ChatGPT schlägt Ärzte bei Schlussfolgerungen

by | Apr 4, 2024

Anhoren

Teilen

 

Studie in den USA zeigt: Chatbots sind in der klinischen Argumentation schon sehr weit. Aber wenn sie Fehler machen, dann richtig. Ohne den Menschen als Kontrollinstanz funktioniert ihr Einsatz demnach nicht.

 

Es ist kein Aprilscherz, den Forscher am Beth Israel Deaconess Medical Center in Boston nun im Journal of the American Medical Association veröffentlicht haben. ChatGPT-4 ist bei der Verarbeitung medizinischer Daten und auch bei der klinischen Argumentation besser als Ober- und Assistenzärzte. Als Grundlage für den Vergleich, haben die Wissenschaftler den sogenannten „r-IDEA Score“ verwendet. Das R steht dabei für „revised“. Es handelt sich um ein bei Medizinern anerkanntes Bewertungssystem, das 2022 überarbeitet wurde.

Für den Vergleich sind 21 Ober- und 18 Assistenzärzte gegen den Chatbot angetreten. Bearbeitet wurden jeweils einer von 20 ausgewählten klinischen Fällen, für den eine diagnostische Begründung erstellt und durchgearbeitet werden sollte. Die Antworten wurden dann anhand des r-IDEA Scores bewertet.

Das Ergebnis: Der Chatbot erzielte tatsächlich die höchsten r-IDEA-Werte, was sich laut der Studie im Hinblick auf die diagnostische Argumentation als recht beeindruckend erwies. Allerdings stellten die Autoren auch fest, dass der Chatbot häufiger „schlichtweg falsch” lag.

Dr. Stephanie Cabral, die Hauptautorin der Studie, erklärte, dass „weitere Studien erforderlich sind, um festzustellen, wie LLMs am besten in die klinische Praxis integriert werden können, aber schon jetzt könnten sie als Kontrollpunkt nützlich sein, der uns hilft, sicherzustellen, dass wir nichts übersehen.” Insgesamt deuteten die Ergebnisse auf eine solide Argumentation des Chatbots hin, aber auch auf erhebliche Fehler. Dies untermauert die Idee, dass diese KI-gestützten Systeme – zumindest in ihrem derzeitigen Reifegrad – am besten als Hilfsmittel zur Ergänzung der ärztlichen Praxis geeignet sind, anstatt die diagnostischen Fähigkeiten des Arztes zu ersetzen.

Das könnte Sie auch interessieren

Schnarch-App für Mobil-Versicherte

Mit dem eigenen Smartphone herausfinden, wie gut es um die Schlafgesundheit steht. Versicherte der Mobil Krankenkasse erhalten Zugang zur App Snorefox.

Fusion in der Pflegesoftwarebranche

Die Berliner Geocon Software GmbH und die Dürener Cairful GmbH schließen sich zusammen und wollen damit ihren Umsatz künftig deutlich steigern.

Zusammenschluss bei RNA-Forschung

Die beiden Biopharmazie-Unternehmen Ipsen und Skyhawk Therapeutics schließen sich im Bereich Neurowissenschaften zusammen. Vor allem Ipsen will damit die eigene Pipeline erweitern.

Die beiden Biopharmazie-Unternehmen Ipsen und Skyhawk Therapeutics schließen sich im Bereich Neurowissenschaften zusammen. Vor allem Ipsen will damit die eigene Pipeline erweitern.