KI in Kliniken: Startschuss für wissenschaftliche Analyse

KI ist auch in der Medizin auf dem Durchmarsch, das Thema Sicherheit innerhalb des aktuellen Hypes jedoch weniger präsent. Das will Prof. Patrizia Heinl ändern und hat nun unter anderem eine Umfrage zum Thema KI-Anwendungen in Kliniken initiiert. Mit uns sprach sie über die Hintergründe und Zielsetzungen.

Frau Prof. Heinl, Sie forschen zur sicheren Beschaffung und zum sicheren Betrieb von KI-Anwendungen in Kliniken – ein sehr breites Feld: Was sind aus Ihrer Sicht aktuell die drei interessantesten Aspekte?

Zunächst einmal ist es wichtig, dass Betrieb und Beschaffung gemeinsam betrachtet werden, um die Sicherheit von KI-Anwendungen überhaupt angemessen bewerten zu können. Denn die wenigsten Kliniken entwickeln eigene KI-Anwendungen. Und selbst wenn es Inhouse-Entwicklungen gibt, werden zumindest Elemente des KI-Lebenszyklus in der Regel extern bezogen – also die Datensammlung, die Datenvorbereitung oder das Training von Modellen. Das heißt, die Sicherheit der Lieferketten bekommt einen hohen Stellenwert. Und dann gilt es natürlich, grundlegende Fragen zu beantworten, um überhaupt eine praxisnahe Forschung im Bereich IT- und Informationssicherheit von KI-Anwendungen zu ermöglichen und die relevanten Ergebnisse in die Praxis zurückzuspielen.

Welche Fragen sind das?

Für uns ist es wichtig, mit einer Ist-Analyse zu starten, ergo zu hinterfragen, wie die aktuelle KI-Landschaft in deutschen Kliniken überhaupt gestaltet ist und welche KI-gestützten Services, Produkte und Elemente des Lebenszyklus für gewöhnlich an Dritte ausgelagert werden. Darauf auf baut die Frage, wie anfällig diese Anwendungen für verschiedene Arten von Angriffen sind und welche Aspekte ein standardisiertes Bedrohungsmodell demnach abdecken müsste, um anschließend Sicherheitsbedrohungen für KI in Kliniklieferketten sowie deren Auswirkungen auf Prozesse und Patienten identifizieren zu können.

Aus dieser Sicherheitsbetrachtung heraus: Ist die KI anfälliger für Cyberangriffe als „normale“ digitale Tools? 

KI-Anwendungen sind in traditionelle IT-Architekturen eingebunden. Deshalb können sie nur so sicher sein, wie die zugrunde liegende Hardware und Software. Darüber hinaus können KI-Anwendungen tatsächlich aber auch für KI-spezifische Angriffe anfällig sein. Zu nennen sind hier Adversarial Attacks oder die Manipulation von Trainingsdaten durch Angreifer. Das heißt, die Bedrohungslandschaft verändert sich und je nach Einsatz der KI verändern sich auch die Auswirkungen möglicher Angriffe.

Nun ist die KI derzeit gefühlt auf dem Durchmarsch. Kaum ein Forschungsprojekt, bei dem die KI nicht eine Rolle spielt. Können wir das Ausmaß des KI-Einsatzes in der Medizin aktuell überhaupt überblicken?

Ich sehe es tatsächlich als eine Herausforderung an, alle KI-Anwendungen in deutschen Kliniken vollumfänglich zu überblicken. Genau deshalb wollen wir mit einer deutschlandweiten, anonymen Online-Umfrage IT-Verantwortliche von Kliniken zum Einsatz von KI-Anwendungen befragen. Ich würde dabei gerne auch die Personen ermutigen, an der Umfrage teilzunehmen, die nicht jede einzelne KI-Anwendung in der eigenen Klinik kennen. Ich gehe davon aus, dass es im Einzelnen immer auch so genannte „Schatten-KI“ geben wird, also für die Verantwortlichen nicht direkt sichtbare KI-Komponenten in Anwendungen und Systemen. Aber solange wir Trends erkennen können, ist das schon ein wertvolles Ergebnis, auf dem wir aufbauen können.

Was versprechen Sie sich von der Befragung?

Die Umfrage zielt darauf ab, Informationen zum momentanen Einsatz von KI-Anwendungen zu gewinnen, und stützt sich dabei auf Erkenntnisse zu aktuellen Themen klinischer KI-Anwendungen aus der Forschung. Die Auswertung der Umfrage soll dabei helfen, die Praxisrelevanz von KI in deutschen Kliniken zu bewerten und darauf aufbauend Sicherheitsmaßnahmen zu entwickeln und zu priorisieren. Um die Grundlage für eine weitere Umfrage zu schaffen, die sich an KI-Zulieferer richten soll, hoffe ich darüber hinaus Informationen über KI-Lieferketten von Kliniken zu erhalten. Und natürlich interessieren uns auch die Sichtweise sowie die Anforderungen der IT-Verantwortlichen auf und an KI-Sicherheitsmaßnahmen. Schließlich wollen wir die Ergebnisse als Grundlage für weiterführende Forschung in der IT-Sicherheit nutzen.

Das heißt, die Umfrageergebnisse werden anschließend wissenschaftlich aufbereitet?

Genau. Die gesammelten Informationen werden quantitativ und qualitativ ausgewertet, so dass die Ergebnisse und auch die weiterführende IT-Sicherheitsforschung in aggregierter Form sowohl der Wissenschaft – etwa in Form wissenschaftlicher Publikationen – als auch der Praxis – etwa über Fachzeitschriften oder Tagungen – zur Verfügung gestellt werden können. Dass die Stakeholder ein großes Interesse an den Ergebnissen haben, zeigen auch die Einladungen zu Fachtagungen, die wir bereits erhalten haben, um nächstes Jahr die ersten Erkenntnisse der Studie vorzustellen.

Wie wichtig ist aus Ihrer Sicht eine derart praxisnahe Forschung?

Die Motivation für meine Forschung ist nicht nur der Erkenntnisgewinn, sondern den Kliniken mittelfristig Hilfestellung für die Lösung eines tatsächlichen Problems bereitzustellen. Als Professorin an einer Hochschule für angewandte Wissenschaften stehen praxisnahe Lehre und Forschung für mich ganz oben auf der Liste. Da wir vor allem für die Praxis ausbilden, orientiert sich auch unsere Lehre an der Praxis. Auch deshalb ist die angewandte Forschung, die sich an den Bedarfen der Praxispartner orientiert, das A und O.

In einer idealen Welt: Wie sehe die Zusammenarbeit zwischen Wissenschaftlern wie Ihnen und den Kliniken aus?

Das vertrauensvolle Teilen von Daten und Informationen nicht nur zwischen Wissenschaft und Kliniken, sondern auch zwischen Kliniken und Zulieferern untereinander halte ich für sehr wichtig und zielführend. Das hilft uns, gemeinsam Erkenntnisse zu gewinnen und beispielsweise aus Sicherheitsvorfällen zu lernen. Wissenschaftler sehe ich in der Konstellation als wichtiges Bindeglied und auch als Multiplikator zwischen verschiedenen Akteuren. Auch mit dieser Umfrage werden aus vielen Quellen Daten erhoben, ausgewertet und so veröffentlicht, dass alle davon profitieren können. Es ist zudem wichtig, langfristig über einzelne Projekte hinaus Formate zu etablieren, um die Offenheit zu fördern, mit Ideen und Herausforderungen auf andere zuzugehen. Am 28.11.2024 findet übrigens der erste Kaminabend des Arbeitskreises zum Thema „Zielscheibe Krankenhaus: Was Krankenhäuser zu einem beliebten Ziel von Cyberkriminellen macht“ statt, bei der auch das Netzwerken nicht zu kurz kommen soll.

Prof. Patrizia Heinl ist Nachwuchsprofessorin für Netzsicherheit und Softwareentwicklung an der Technischen Hochschule Ingolstadt. Gemeinsam mit ihren Kollegen Prof. Dr. Andrius Patapovas von der Technischen Hochschule Nürnberg sowie Prof. Dr. Michael Pilgermann von der Technischen Hochschule Brandenburg hat sie im März 2024 innerhalb der Gesellschaft für Informatik ein Arbeitskreis gegen Cyberangriffe im Gesundheitswesen ins Leben gerufen