Anhoren
Teilen
Ein interdisziplinäres Forschungsteam vom Else Kröner Fresenius Zentrum und des Dresdner Universitätsklinikum hat die Risiken beim Einsatz von LLMs in der Medizin systematisch analysiert.
Große Sprachmodelle, sogenannte Large Language Models (LLMs) wie ChatGPT oder Claude gehören mittlerweile zum klinischen Alltag. Jedoch können Sicherheits- und Schutzmaßnahmen nicht mit dem Tempo mithalten, mit dem die LLMs voranschreiten. Daher hat nun ein interdisziplinäres Forschungsteam vom Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit an der Technischen Universität Dresden (TUD) und dem Dresdner Universitätsklinikum gemeinsam mit nationalen und internationalen Kollegen die Risiken beim Einsatz von LLMs in der Medizin systematisch analysiert.
Die in der Fachzeitschrift Nature veröffentlichte Übersichtsarbeit bündelt Erkenntnisse aus medizinischer KI-Forschung, Cybersicherheit, Regulatorik, Ethik und Verhaltenspsychologie und zeigt Wege für einen vertrauenswürdigen und verantwortungsvollen Einsatz von Künstlicher Intelligenz in der klinischen Praxis auf.
Risiken sind vielfältig
Die Übersichtsarbeit zeigen etwa, dass Risiken entlang des gesamten Lebenszyklus von KI-Systemen entstehen können: vom Modell-Design über Trainingsdaten und Implementierung bis hin zur Anwendung im klinischen Alltag.
Sicherheitsrisiken entstehen beispielsweise durch manipulierte Trainingsdaten („Data Poisoning“), gezielte Eingriffe in das Verhalten der Modelle oder sogenannte Prompt Injections. Dabei werden versteckte Anweisungen in Befehle eingebettet, die zu fehlerhaften oder potenziell gefährlichen Ergebnissen führen können – etwa, wenn ein Tumor in einer Gewebeprobe fälschlicherweise nicht erkannt wird. Auch Schwachstellen in der IT-Infrastruktur können sensible Patientendaten gefährden oder Systeme beeinträchtigen.
Modellinhärente Sicherheitsrisiken ergeben sich aus der Funktionsweise der Systeme: LLMs können plausibel klingende, aber inhaltlich falsche Informationen erzeugen, sogenannte Halluzinationen. Im klinischen Kontext ist dies besonders kritisch, weil falsche Diagnosen oder Empfehlungen die Patientensicherheit gefährden können. Zudem können Modelle ihre Antworten zu stark an die Erwartungen der Nutzenden anpassen und dadurch fehlerhafte Annahmen verstärken.
Achtung auch bei Mensch-KI-Interaktion
Auch die Art wie Mediziner die Modelle nutzen, kann klinische Entscheidungen beeinflussen. Überzeugend formulierte Antworten könnten zu einer übermäßigen Abhängigkeit vom System führen („Automation Bias“) oder bestehende Überzeugungen verstärken („Confirmation Bias“). Komplexe oder lange Eingaben könnten zudem die Verlässlichkeit der Ergebnisse verringern.
Die Arbeitweist darüber hinaus auf strukturelle und ethische Herausforderungen hin. Viele Systeme werden nicht lokal betrieben, was relevante Fragen zu Datenkontrolle und Datenschutz aufwirft. Zudem findet vielerorts bereits eine informelle Nutzung von LLMs im klinischen Alltag statt. Man spricht von einer Schattennutzung, oft ohne entsprechende Sicherheitsmaßnahmen.
„Unsere Analyse zeigt, dass große Sprachmodelle klinische Arbeitsabläufe sinnvoll unterstützen können. Ihr sicherer Einsatz ist jedoch nicht selbstverständlich. Risiken entstehen an vielen Stellen und müssen vor sowie parallel zur klinischen Umsetzung systematisch und umfassend adressiert werden.“, sagt Dr. Jan Clusmann, Postdoktorand in der Forschungsgruppe von Prof. Jakob N. Kather am EKFZ für Digitale Gesundheit an der TUD und Erstautor der Publikation.
Strategien für einen sicheren Einsatz
Um Risiken zu reduzieren, schlagen die Autoren verschiedene Maßnahmen vor. Dazu zählen sichere Entwicklungsprozesse, sorgfältige Aufbereitung von Trainingsdaten, systematische Evaluation und kontinuierliches Monitoring von Modellen. Ebenso notwendig sind klar definierte Zuständigkeiten innerhalb von Gesundheitseinrichtungen. Sicherheit ist dabei nicht allein eine technische Frage, sondern erfordert ein abgestimmtes Vorgehen zwischen Forschung, klinischer Praxis und Regulierung. Die menschliche Kontrolle bleibt zentral, so die Autor:innen.
„Die Entwicklung medizinischer KI endet nicht mit leistungsfähigen Modellen. Ebenso wichtig ist es, Sicherheit, Transparenz und Nutzen für die klinische Praxis wissenschaftlich zu untersuchen. Dass unsere Forschenden hierfür evidenzbasierte Grundlagen schaffen, ist ein wichtiger Beitrag für eine verantwortungsvolle Digitalisierung der Medizin“, sagt Prof. Esther Troost, Dekanin der Medizinischen Fakultät Carl Gustav Carus der TU Dresden.
Regulierung an dynamische KI-Systeme anpassen
Die Analyse zeigt auch Lücken in der aktuellen Regulierung auf. Nur ein kleiner Teil der KI-Systeme ist bislang als Medizinprodukt zugelassen. Der bestehende regulatorische Rahmen ist nicht auf anpassungsfähige Technologien ausgelegt, die sich kontinuierlich weiterentwickeln.
„Um die Patientensicherheit zu gewährleisten und zugleich einen zeitnahen Nutzen für sowie das Gesundheitssystem durch KI-Systeme zu ermöglichen, braucht es geeignete regulatorische Ansätze, die eine konsistente Bewertung und kontinuierliche Überwachung sicherstellen. Technologische Entwicklung sowie Aufsichts- und Überwachungsmechanismen müssen enger verzahnt werden, um das Potenzial großer Sprachmodelle sicher zu nutzen“, sagt Prof. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden.
