Rechtsfragen: Künstliche Intelligenz in der Medizin – auch rechtlich Neuland?

by | Jul 2, 2024

Anhoren

Teilen

 

Wenn neue Technologien wie Künstliche Intelligenz Einzug in die Medizin halten, müssen in der Regel auch Regulatorik und Rechtsrahmen entsprechend angepasst werden. Denn gerade die Haftung und auch der sogenannte „Blackbox-Effekt” müssen juristisch mitgedacht werden. Lisa Kaiser, Fachanwältin bei der auf Medizinrecht spezialisierten Kanzlei Lyck und Pätzold ordnet die aktuelle Situation in unserer Kolumne „Rechtsfragen” ein. 

 

Derzeit ist der Begriff Künstliche Intelligenz (KI) in aller Munde und stellt insbesondere für den Gesundheitssektor ein hohes Potenzial dar. Der Einsatz von KI kann zu einer besseren medizinischen Versorgung der Bevölkerung beitragen. Zu denken ist hier insbesondere an eine genauere Diagnostik sowie an effizientere Therapie- und Präventionsmöglichkeiten. Neben den Vorteilen birgt die Verwendung von KI auch Risiken: KI-Software ist aufgrund ihrer Komplexität und Vernetzung nie vollständig geschützt und muss ständig mit aktuellen Daten versorgt werden, um auf dem neusten Stand zu bleiben. Ihre Fähigkeit zum selbstständigen Lernen und zur kontinuierlichen Weiterentwicklung macht ihr Verhalten oft unvorhersehbar. Zudem bleibt es für den Nutzer meist unklar, wie ein Algorithmus zu seinen Ergebnissen kommt – der sogenannte „Blackbox-Effekt“.

Wer haftet also, wenn Ärzte KI-gestützte Entscheidungen treffen? Denn verwirklicht sich eines der zuvor genannten Risiken und kommt es hierdurch zu einem Schaden, stellt sich zwangsläufig die Frage nach der Haftung. Dabei kommt grundsätzlich eine Haftung des Anwenders sowie des Herstellers in Betracht.

Haftung von Ärzten, Krankenhäusern und Herstellern

Eine Haftung des Behandlers ist immer dann denkbar, wenn dem Patienten ein Schaden entstanden ist, der auf eine nicht nach den Regeln der ärztlichen Kunst durchgeführte Behandlung zurückzuführen ist. Maßgeblich für diese Beurteilung ist grundsätzlich der Facharztstandard im Zeitpunkt der Behandlung. Für den Einsatz von KI haben sich bislang noch keine Standards herausgebildet. Bei dem Einsatz von KI handelt es sich vielmehr um eine sogenannte Neulandmethode, bei der die Sorgfalt eines vorsichtigen Behandlers einzuhalten ist. Je schwerwiegender der Eingriff, desto höhere Anforderungen sind an die medizinische Vertretbarkeit der gewählten Behandlungsmethode zu stellen.

Für die Frage einer möglichen Haftung im Zusammenhang mit KI kommt es darauf an, ob die Kontrolle einer Entscheidung bei dem Behandler liegt. Die Unterstützung ärztlicher Entscheidungen durch KI kann in zweierlei Hinsichten erfolgen: Einerseits kann das Ergebnis des Auswahlprozesses der KI dem Arzt als Vorschlag, Empfehlung oder Zweitmeinung für seine ärztliche Entscheidung hinsichtlich der Diagnostik oder Therapie dienen. In diesem Fall verbleibt die endgültige Entscheidung über die fachliche Richtigkeit und Kontrolle bei dem Behandler. Ist die Entscheidung für den jeweiligen Behandler erkennbar unrichtig oder hat er Zweifel an der Richtigkeit, darf er sich nicht hierauf verlassen. Alternativ kann das Ergebnis des Auswahlprozesses der KI ärztliche Entscheidungen komplett ersetzen. Die Kontrolle für die Richtigkeit der Entscheidung liegt damit bei den in der Software selbst enthaltenen Kontroll- und Sicherheitsmechanismen. In diesem Fall wird der Behandler eine Entscheidung der KI mangels Vorhersehbarkeit und Nachprüfbarkeit regelmäßig nicht zu vertreten haben.

Weist die KI-Software Fehler auf oder gibt sie falsche Empfehlungen ab, stellt sich die Frage der Produkthaftung. Eine Haftung des Herstellers kommt in Betracht, wenn nachgewiesen wird, dass der Fehler auf eine mangelnde Sorgfalt bei der Entwicklung oder eine unzureichende Überwachung des Systems zurückzuführen ist.

Intransparenz und die Haftungsfrage

Doch wie geht man mit der „Black-Box-Problematik“ um, wenn Ergebnisse nicht mehr vollständig vorhersehbar oder nachvollziehbar sind? Die Intransparenz von KI-Entscheidungen stellt eine erhebliche Hürde für die Haftung dar, insbesondere wenn Patienten aufgrund fehlerhafter KI-Entscheidungen Schaden erleiden.

Ärzte sind daher in der Pflicht, die Empfehlungen von KI-Systemen kritisch zu hinterfragen und sich nicht blind hierauf zu verlassen. Sie müssen sicherstellen, dass jede Entscheidung im besten Interesse des Patienten ist. Dies erfordert:

  • Kontinuierliche Weiterbildung: Ärzte müssen sich kontinuierlich weiterbilden, um die Funktionsweise und Grenzen der von ihnen genutzten KI-Systeme zu verstehen.
  • Grundlegendes Verständnis der Technologie: Ärzte müssen die grundlegende Funktionsweise und Grenzen der KI-Systeme kennen, um deren Empfehlungen richtig einordnen zu können.
  • Datenqualität und Plausibilität: Ärzte müssen sicherstellen, dass die verwendeten Daten korrekt sind und die KI-Ergebnisse auf Plausibilität prüfen.
  • Risikomanagement: Ärzte sind verpflichtet, die Software regelmäßig zu aktualisieren und zu warten, um ihre Funktionsfähigkeit sicherzustellen. Da sie oft nicht über technische Kenntnisse zur Instandhaltung verfügen, sollten sie mit Herstellern Verträge über notwendige Wartungsmaßnahmen und die Einhaltung von Konformitätsanforderungen abschließen.

Auch Hersteller müssen sicherstellen, dass ihre Produkte den geltenden medizinischen und rechtlichen Vorschriften entsprechen. Es sollten daher folgende Anforderungen erfüllt werden:

  • Dokumentation und Transparenz: Hersteller sollten detaillierte Dokumentationen der Funktionsweise ihrer KI-Systeme bereitstellen und sicherstellen, dass die Algorithmen so gestaltet sind, dass sie erklärbar und ihre Entscheidungen nachvollziehbar sind.
  • Audits und Prüfungen: Durch regelmäßige Audits und Prüfungen sollte sichergestellt werden, dass die KI-Systeme korrekt und ordnungsgemäß arbeiten.
  • Schulung: Ärzte und medizinisches Personal müssen im Umgang mit KI-Systemen geschult werden, um deren Funktionsweise und Grenzen zu verstehen.

Die Rolle des Gesetzgebers

Neben Ärzten und Herstellern muss auch der Gesetzgeber klare rechtliche Rahmenbedingungen für den Einsatz von KI zu schaffen, um Haftungslücken zu schließen. Die Europäische Kommission hat den Richtlinienentwurf über KI-Haftung (COM/2022/496) vorgelegt, der ein einheitliches Schutzniveau für KI-bedingte Schäden anstrebt. Der aktuelle Entwurf sieht im Wesentlichen vor, dass Geschädigte nicht mehr die Schadensursache nachweisen müssen (Kausalitätsvermutung) und der Zugang zu Beweismitteln bei Schäden durch Hochrisiko-KI-Systeme erleichtert wird.

Zusammenfassend lässt sich festhalten, dass der Einsatz von KI-Systemen in der Medizin großes Potenzial bietet. Allerdings sind die Haftungsfragen derzeit unzureichend geklärt. Das Reformvorhaben der EU-Kommission ist daher begrüßenswert. Ob der Entwurf weiteren Änderungen unterworfen wird und wie eine konkrete Umsetzung aussehen wird, bleibt abzuwarten.

 

Lisa Dorothea Kaiser, LL.M. ist Fachanwältin für Medizinrecht und unterhält außerdem einen Master of Laws (LL.M.) im Medizinrecht. Zudem besitzt sie eine Zusatzqualifikation im Pharmarecht und ist als Mediatorin tätig. Frau Kaiser hat umfangreiche Erfahrung in außergerichtlichen und gerichtlichen Streitigkeiten in den Bereichen des Medizin-, Versicherungs- und Sozialrechts. Außerdem verfügt sie über Branchenerfahrung in der Pharmaindustrie. Seit April 2024 ist sie als Rechtsanwältin bei Lyck+Pätzold. healthcare.recht tätig und berät und vertritt Leistungserbringer bei allen Fragen des Medizinrechts.

Das könnte Sie auch interessieren

Gemüsekohl für die Gesundheit

Forscher des Leibniz-Instituts für Gemüse- und Zierpflanzenbau haben jene Kohlsorten identifiziert, die besonders wertvolle Pflanzenstoffe für den Menschen beinhalten. Wie die sich auf die Gesundheit auswirken, wird nun in einer Interventionsstudie untersucht.

Grün und vielfältig sollte sie sein, unsere Ernährung. Und einem Gemüse kommt dabei eine besondere Bedeutung zu: Gemüsekohl. Am Leibniz-Institut für Gemüse- und Zierpflanzenbau (IGZ) gibt es mit dem Projekt SharpGreens sogar ein eigenes Forschungsprojekt, das jetzt in die zweite Phase startet. Die wissenschaftliche Fragestellung: Wie beeinflusst eine vielfältige Ernährung reich an Gemüsekohl die Gesundheit? Die humane Interventionsstudie wird gemeinsam mit dem Universitätsklinikum Freiburg umgesetzt. Erforscht werden sollen vor allem die Auswirkungen auf die Immunfunktionen und das Darmmikrobiom.
Der Interventionsstudie ist eine intensive erste Projektphase vorangegangen, für die am IGZ in den vergangenen 30 Jahre eine umfassende Analytikplattform für sekundäre Pflanzenstoffe und ihre Abbauprodukte entwickelt wurde. Im Fall des Gemüsekohls geht es um die sogenannten Glucosinolate, die beim Verzehr enzymatisch zu gesundheitsfördernden Abbauprodukten, den Isothiocyanaten, umgewandelt werden können. Diese Substanzen haben entzündungshemmende, antikanzerogene und antimikrobielle Eigenschaften. Bisher wurden mehr als 100 verschiedene Glucosinolate in Pflanzen identifiziert, wobei die Wirksamkeit ihrer Abbauprodukte stark variieren kann.
Über 300 Kohlsorten kultiviert
Im Rahmen des Projekts SharpGreens kultivierte das Team von Projektleiterin Dr. Katja Witzel im letzten Jahr 300 Genbank- und 17 kommerzielle Kohlsorten am IGZ und analysierte die Glucosinolat-Gehalte und Abbauprodukte. Dabei wurden 24 Kohlsorten mit verbesserten Glucosinolat-Gehalten und gewünschten -Abbauprofilen identifiziert. Diese stammen aus verschiedenen Regionen, darunter Kohlrabi aus der ehemaligen DDR, Blumenkohl-Sorten aus Italien, Weißkohl aus Japan und Spanien, Grünkohl aus Schweden und bulgarischer Rotkohl. Zur weiteren Aufklärung des enzymatischen Glucosinolat-Abbaus wurde das Proteom aller Kohlsorten am IGZ analysiert und ergänzend dazu eine genomweite Assoziationsstudie vom Projektpartner Leibniz-Institut für Pflanzengenetik und Kulturpflanzenforschung (IPK) durchgeführt.
In der nun gestarteten zweiten Projektphase werden die ausgewählten Kohlsorten in der Interventionsstudie am Universitätsklinikum Freiburg unter der Leitung von Prof. Dr. Evelyn Lamy eingesetzt. Es wird untersucht, ob der Verzehr einer vielfältigeren Gemüsekohl-Diät die Gesundheit beeinflusst und ob diese Effekte auf den hohen Gehalt an gesundheitsfördernden Inhaltsstoffen oder die Pflanzenvielfalt zurückzuführen sind. Die Probanden erhalten dafür in einem randomisierten Crossover-Versuch vier verschiedene Gemüsekohl-Diäten, die aus gefriergetrockneten Kohlpflanzen am IGZ hergestellt werden und definierte Mengen an bioaktiven Substanzen enthalten. Außerdem wird der Einfluss der Vielfalt an Gemüsekohl in der Ernährung auf die Zusammensetzung des Darmmikrobioms untersucht.
Bewusstsein für Vielfalt fördern
Die Forschungsergebnisse sollen anschließend über verschiedene Formate wie Kochevents, Feldführungen und Ausstellungen an die Öffentlichkeit kommuniziert werden. Ziel ist es, das Bewusstsein für den Erhalt der Artenvielfalt in der Landwirtschafft sowie eine vielfältige pflanzenbasierte Ernährung zu fördern. Unterstützt werden die Forscher dabei von proWissen Potsdam e.V. Das Bundesministerium für Bildung und Forschung fördert SharpGreens im Rahmen der Forschungsinitiative zum Erhalt der Artenvielfalt (FEdA) und der Richtlinie zur Erforschung der Zusammenhänge zwischen Biodiversität und menschlicher Gesundheit (BiodivGesundheit2) mit 1,1 Millionen Euro für einen Zeitraum von drei Jahren.

Forscher des Leibniz-Instituts für Gemüse- und Zierpflanzenbau haben jene Kohlsorten identifiziert, die besonders wertvolle Pflanzenstoffe für den Menschen beinhalten. Wie die sich auf die Gesundheit auswirken, wird nun in einer Interventionsstudie untersucht.

Grün und vielfältig sollte sie sein, unsere Ernährung. Und einem Gemüse kommt dabei eine besondere Bedeutung zu: Gemüsekohl. Am Leibniz-Institut für Gemüse- und Zierpflanzenbau (IGZ) gibt es mit dem Projekt SharpGreens sogar ein eigenes Forschungsprojekt, das jetzt in die zweite Phase startet. Die wissenschaftliche Fragestellung: Wie beeinflusst eine vielfältige Ernährung reich an Gemüsekohl die Gesundheit? Die humane Interventionsstudie wird gemeinsam mit dem Universitätsklinikum Freiburg umgesetzt. Erforscht werden sollen vor allem die Auswirkungen auf die Immunfunktionen und das Darmmikrobiom.
Der Interventionsstudie ist eine intensive erste Projektphase vorangegangen, für die am IGZ in den vergangenen 30 Jahre eine umfassende Analytikplattform für sekundäre Pflanzenstoffe und ihre Abbauprodukte entwickelt wurde. Im Fall des Gemüsekohls geht es um die sogenannten Glucosinolate, die beim Verzehr enzymatisch zu gesundheitsfördernden Abbauprodukten, den Isothiocyanaten, umgewandelt werden können. Diese Substanzen haben entzündungshemmende, antikanzerogene und antimikrobielle Eigenschaften. Bisher wurden mehr als 100 verschiedene Glucosinolate in Pflanzen identifiziert, wobei die Wirksamkeit ihrer Abbauprodukte stark variieren kann.
Über 300 Kohlsorten kultiviert
Im Rahmen des Projekts SharpGreens kultivierte das Team von Projektleiterin Dr. Katja Witzel im letzten Jahr 300 Genbank- und 17 kommerzielle Kohlsorten am IGZ und analysierte die Glucosinolat-Gehalte und Abbauprodukte. Dabei wurden 24 Kohlsorten mit verbesserten Glucosinolat-Gehalten und gewünschten -Abbauprofilen identifiziert. Diese stammen aus verschiedenen Regionen, darunter Kohlrabi aus der ehemaligen DDR, Blumenkohl-Sorten aus Italien, Weißkohl aus Japan und Spanien, Grünkohl aus Schweden und bulgarischer Rotkohl. Zur weiteren Aufklärung des enzymatischen Glucosinolat-Abbaus wurde das Proteom aller Kohlsorten am IGZ analysiert und ergänzend dazu eine genomweite Assoziationsstudie vom Projektpartner Leibniz-Institut für Pflanzengenetik und Kulturpflanzenforschung (IPK) durchgeführt.
In der nun gestarteten zweiten Projektphase werden die ausgewählten Kohlsorten in der Interventionsstudie am Universitätsklinikum Freiburg unter der Leitung von Prof. Dr. Evelyn Lamy eingesetzt. Es wird untersucht, ob der Verzehr einer vielfältigeren Gemüsekohl-Diät die Gesundheit beeinflusst und ob diese Effekte auf den hohen Gehalt an gesundheitsfördernden Inhaltsstoffen oder die Pflanzenvielfalt zurückzuführen sind. Die Probanden erhalten dafür in einem randomisierten Crossover-Versuch vier verschiedene Gemüsekohl-Diäten, die aus gefriergetrockneten Kohlpflanzen am IGZ hergestellt werden und definierte Mengen an bioaktiven Substanzen enthalten. Außerdem wird der Einfluss der Vielfalt an Gemüsekohl in der Ernährung auf die Zusammensetzung des Darmmikrobioms untersucht.
Bewusstsein für Vielfalt fördern
Die Forschungsergebnisse sollen anschließend über verschiedene Formate wie Kochevents, Feldführungen und Ausstellungen an die Öffentlichkeit kommuniziert werden. Ziel ist es, das Bewusstsein für den Erhalt der Artenvielfalt in der Landwirtschafft sowie eine vielfältige pflanzenbasierte Ernährung zu fördern. Unterstützt werden die Forscher dabei von proWissen Potsdam e.V. Das Bundesministerium für Bildung und Forschung fördert SharpGreens im Rahmen der Forschungsinitiative zum Erhalt der Artenvielfalt (FEdA) und der Richtlinie zur Erforschung der Zusammenhänge zwischen Biodiversität und menschlicher Gesundheit (BiodivGesundheit2) mit 1,1 Millionen Euro für einen Zeitraum von drei Jahren.

Vivantes-Neuausrichtung steht

Der Aufsichtsrat der Vivantes Netzwerk für Gesundheit GmbH hat diese Woche ein ambitioniertes Neuausrichtungs- und Sanierungskonzept auf den Weg gebracht. Das jährliche Defizit soll in zwei Stufen um 110 Millionen Euro sinken.

Der Aufsichtsrat der Vivantes Netzwerk für Gesundheit GmbH hat diese Woche ein ambitioniertes Neuausrichtungs- und Sanierungskonzept auf den Weg gebracht. Das jährliche Defizit soll in zwei Stufen um 110 Millionen Euro sinken.