„Erstaunlich viele Kliniken verfügen über eigene KI-Forschung“

Wie ist der Status Quo von Künstlicher Intelligenz in Kliniken? Dieser Frage wollte Prof. Patrizia Heinl in einer wissenschaftlichen Analyse auf den Grund gehen. Mit der Redaktion der HealthCareTimes hat sie nun vorab und exklusiv über die Ergebnisse gesprochen.

Frau Prof. Heinl, Ziel Ihrer Umfrage war es, eine Art Bestandsaufnahme für die Nutzung von KI im Gesundheitswesen zu schaffen. Nun sind die Ergebnisse ausgewertet, ein wissenschaftliches Paper zur Review eingereicht. Was können Sie uns vorab schon erzählen?

Wir konnten insgesamt 70 gültige Fragebögen auswerten. Dabei sind große Kliniken mit mehr als 800 Betten mit 52 Prozent überrepräsentiert, verglichen mit ihrem Anteil von 23 Prozent an der deutschen Krankenhauslandschaft. Bemerkenswert ist, dass 45 Prozent der teilnehmenden Häuser angaben, selbst in der KI-Forschung aktiv zu sein – besonders häufig traf das auf Universitätskliniken zu, die 59 Prozent in dieser Gruppe ausmachen.  

Und wo kommt die KI in den Häusern dann zum Einsatz?

Die häufigsten Einsatzbereiche von KI in Kliniken sind die Diagnostik mit 86 Prozent, Daten- und Kommunikationsprozesse mit 63 Prozent, administrative Aufgaben mit 48 Prozent sowie in der Pflege und Behandlung in 31 Prozent. Besonders häufig werden Spracherkennungstools eingesetzt – etwa um Arztbriefen zu diktieren –, gefolgt von KI-gestützter Krebsdiagnostik. Die vollständige Auswertung der Studie werde ich im Juni auf der IEEE International Conference on Healthcare Informatics, kurz ICHI in Italien vorstellen. 

So viel zum Status Quo. Haben Sie auch etwas über die künftige Planung in puncto KI-Anwendungen aus der Umfrage lernen können?

Ja, die Entwicklung ist deutlich spürbar. Zwischen 2021 und 2024 ist der Anteil der Kliniken, die KI nutzen oder planen, von 65 auf 89 Prozent gestiegen. Während 2021 der Großteil der KI-Anwendungen noch in der Planungsphase war, gaben 2024 bereits 71 Prozent an, dass sie KI-Anwendungen aktiv nutzen. Besonders größere Häuser zeigen sich dabei zuversichtlicher: 96 Prozent von ihnen halten KI für bedeutend im Vergleich zu 79 Prozent der kleineren Einrichtungen. Auch das Bewusstsein für konkrete KI-Anwendungen ist bei größeren Kliniken mit 88 Prozent gegenüber 46 Prozent in kleineren Häusern deutlich ausgeprägter. 

Und sind sich die Befragten in den Kliniken tatsächlich immer bewusst, wo überall bereits KI drinsteckt?

Tatsächlich nicht. 72 Prozent der Teilnehmenden vermuten, dass es weitere KI-Anwendungen in ihrer Klinik gibt, von denen sie aktuell nichts wissen. Wir sprechen hier von sogenannter „Schatten-KI“ – also unbemerkten oder nicht transparent eingesetzten KI-Systemen, die beispielsweise in bestehende Softwarelösungen eingebettet sind.

Gerade im Gesundheitswesen sind Ressourcen knapp. Spielt Outsourcing mit Blick auf die KI daher eine wichtige Rolle, um den internationalen Anschluss nicht zu verpassen?

Outsourcing spielt durchaus eine große Rolle. Während 42 Prozent der Kliniken KI-Lösungen teilweise in Eigenregie entwickeln, gaben genauso viele an, dass die Entwicklung vollständig ausgelagert wird. Interessant ist, dass vor allem frühe Phasen im KI-Lebenszyklus – wie etwa die Datenaufbereitung – häufiger ausgelagert werden. Die späteren Phasen wie das Training, die Inferenz und Integration bleiben häufiger in der Klinik selbst. Dies lässt Rückschlüsse auf Know-how- und Ressourcenschwerpunkte in den Häusern zu. 

Sie haben in Ihrer Studie außerdem einen Fokus auf die Sicherheit von KI-Anwendungen in Kliniken gelegt: Was haben Sie dazu herausgefunden?

Insgesamt fühlen sich größere Kliniken besser über IT- und KI-Sicherheit informiert. Gleichzeitig zeigt sich aber über alle Einrichtungen hinweg eine Unsicherheit in Bezug auf KI-spezifische Risiken. Besonders kritisch eingestuft wurden die Anwendungsbereiche Pflege, Behandlung sowie Daten- und Kommunikation. Hier werden vor allem manipulierte Daten als hochproblematisch eingeschätzt. In chirurgischen Anwendungen hingegen gilt unautorisierte Datenextraktion als größtes Risiko.

Und wie bewerten die Kliniken die Sicherheit von extern entwickelter KI?

Das ist tatsächlich ein spannender Aspekt. 63 Prozent der Befragten stimmen zu oder teilweise zu, dass ihre Anbieter sich proaktiv um die Sicherheit der eingesetzten KI kümmern. Dennoch gaben nur 14 Prozent an, dass sie diesem Aspekt gar nicht zustimmen. Die Sicherheitsprüfungen erfolgen in der Praxis durch technische Funktionstests, Überprüfungen von vertraglichen Vereinbarungen, das Einfordern von Sicherheitszertifikaten wie ISO/IEC 27001, BSI C5 oder AIC4 und teilweise durch externe Audits. Allerdings behandeln manche Häuser KI noch wie jede andere IT-Anwendung – ohne spezifische Schutzmaßnahmen. Das birgt aus Sicht der IT-Sicherheit durchaus Risiken. 

Gibt es in den Umfrageergebnissen weitere Aspekte, die Sie vielleicht überrascht haben oder anderweitig interessant sind?

Erstaunlich war für uns der relativ hohe Anteil von Kliniken, die schon heute über eigene KI-Forschungskapazitäten verfügen. Zudem hat uns überrascht, wie stark die Einschätzungen zur Sicherheit und Relevanz von der Klinikgröße abhängig sind. Auch die Differenz zwischen geplanter und realisierter KI-Nutzung in so kurzer Zeit deutet auf eine rasante Entwicklung hin – das war in dieser Deutlichkeit nicht unbedingt zu erwarten. Und nicht zuletzt: Die Existenz von „Schatten-KI“ zeigt, dass die Transparenz bei KI-Systemen im Gesundheitswesen noch ausbaufähig ist. 

Welche Rückschlüsse ziehen Sie aus der Umfrage für Ihre zukünftige Forschung?

Ein nächster Schritt ist die genauere Analyse der in der Studie genannten KI-Anwendungen. Wir wollen verstehen, welche konkreten Modelle dahinterstecken und wie anfällig diese gegenüber Angriffen sind. Außerdem wollen wir in einer Fokusgruppe des GI-Arbeitskreises „Digitale Sicherheit in der Gesundheitsversorgung“ stärker an einem systematischen Bedrohungsmodell für KI in Kliniken arbeiten. Ziel ist es, Handlungsempfehlungen für Kliniken, Hersteller und politische Entscheidungsträger abzuleiten – sowohl in technischer als auch in organisatorischer Hinsicht.

Prof. Patrizia Heinl ist Nachwuchsprofessorin für Netzsicherheit und Softwareentwicklung an der Technischen Hochschule Ingolstadt. Gemeinsam mit ihren Kollegen Prof. Dr. Andrius Patapovas von der Technischen Hochschule Nürnberg sowie Prof. Dr. Michael Pilgermann von der Technischen Hochschule Brandenburg hat sie im März 2024 innerhalb der Gesellschaft für Informatik ein Arbeitskreis gegen Cyberangriffe im Gesundheitswesen ins Leben gerufen