Rechtsfragen: Künstliche Intelligenz in der Medizin – auch rechtlich Neuland?

von | Juli 2, 2024

Anhoren

Teilen

 

Wenn neue Technologien wie Künstliche Intelligenz Einzug in die Medizin halten, müssen in der Regel auch Regulatorik und Rechtsrahmen entsprechend angepasst werden. Denn gerade die Haftung und auch der sogenannte „Blackbox-Effekt” müssen juristisch mitgedacht werden. Lisa Kaiser, Fachanwältin bei der auf Medizinrecht spezialisierten Kanzlei Lyck und Pätzold ordnet die aktuelle Situation in unserer Kolumne „Rechtsfragen” ein. 

 

Derzeit ist der Begriff Künstliche Intelligenz (KI) in aller Munde und stellt insbesondere für den Gesundheitssektor ein hohes Potenzial dar. Der Einsatz von KI kann zu einer besseren medizinischen Versorgung der Bevölkerung beitragen. Zu denken ist hier insbesondere an eine genauere Diagnostik sowie an effizientere Therapie- und Präventionsmöglichkeiten. Neben den Vorteilen birgt die Verwendung von KI auch Risiken: KI-Software ist aufgrund ihrer Komplexität und Vernetzung nie vollständig geschützt und muss ständig mit aktuellen Daten versorgt werden, um auf dem neusten Stand zu bleiben. Ihre Fähigkeit zum selbstständigen Lernen und zur kontinuierlichen Weiterentwicklung macht ihr Verhalten oft unvorhersehbar. Zudem bleibt es für den Nutzer meist unklar, wie ein Algorithmus zu seinen Ergebnissen kommt – der sogenannte „Blackbox-Effekt“.

Wer haftet also, wenn Ärzte KI-gestützte Entscheidungen treffen? Denn verwirklicht sich eines der zuvor genannten Risiken und kommt es hierdurch zu einem Schaden, stellt sich zwangsläufig die Frage nach der Haftung. Dabei kommt grundsätzlich eine Haftung des Anwenders sowie des Herstellers in Betracht.

Haftung von Ärzten, Krankenhäusern und Herstellern

Eine Haftung des Behandlers ist immer dann denkbar, wenn dem Patienten ein Schaden entstanden ist, der auf eine nicht nach den Regeln der ärztlichen Kunst durchgeführte Behandlung zurückzuführen ist. Maßgeblich für diese Beurteilung ist grundsätzlich der Facharztstandard im Zeitpunkt der Behandlung. Für den Einsatz von KI haben sich bislang noch keine Standards herausgebildet. Bei dem Einsatz von KI handelt es sich vielmehr um eine sogenannte Neulandmethode, bei der die Sorgfalt eines vorsichtigen Behandlers einzuhalten ist. Je schwerwiegender der Eingriff, desto höhere Anforderungen sind an die medizinische Vertretbarkeit der gewählten Behandlungsmethode zu stellen.

Für die Frage einer möglichen Haftung im Zusammenhang mit KI kommt es darauf an, ob die Kontrolle einer Entscheidung bei dem Behandler liegt. Die Unterstützung ärztlicher Entscheidungen durch KI kann in zweierlei Hinsichten erfolgen: Einerseits kann das Ergebnis des Auswahlprozesses der KI dem Arzt als Vorschlag, Empfehlung oder Zweitmeinung für seine ärztliche Entscheidung hinsichtlich der Diagnostik oder Therapie dienen. In diesem Fall verbleibt die endgültige Entscheidung über die fachliche Richtigkeit und Kontrolle bei dem Behandler. Ist die Entscheidung für den jeweiligen Behandler erkennbar unrichtig oder hat er Zweifel an der Richtigkeit, darf er sich nicht hierauf verlassen. Alternativ kann das Ergebnis des Auswahlprozesses der KI ärztliche Entscheidungen komplett ersetzen. Die Kontrolle für die Richtigkeit der Entscheidung liegt damit bei den in der Software selbst enthaltenen Kontroll- und Sicherheitsmechanismen. In diesem Fall wird der Behandler eine Entscheidung der KI mangels Vorhersehbarkeit und Nachprüfbarkeit regelmäßig nicht zu vertreten haben.

Weist die KI-Software Fehler auf oder gibt sie falsche Empfehlungen ab, stellt sich die Frage der Produkthaftung. Eine Haftung des Herstellers kommt in Betracht, wenn nachgewiesen wird, dass der Fehler auf eine mangelnde Sorgfalt bei der Entwicklung oder eine unzureichende Überwachung des Systems zurückzuführen ist.

Intransparenz und die Haftungsfrage

Doch wie geht man mit der „Black-Box-Problematik“ um, wenn Ergebnisse nicht mehr vollständig vorhersehbar oder nachvollziehbar sind? Die Intransparenz von KI-Entscheidungen stellt eine erhebliche Hürde für die Haftung dar, insbesondere wenn Patienten aufgrund fehlerhafter KI-Entscheidungen Schaden erleiden.

Ärzte sind daher in der Pflicht, die Empfehlungen von KI-Systemen kritisch zu hinterfragen und sich nicht blind hierauf zu verlassen. Sie müssen sicherstellen, dass jede Entscheidung im besten Interesse des Patienten ist. Dies erfordert:

  • Kontinuierliche Weiterbildung: Ärzte müssen sich kontinuierlich weiterbilden, um die Funktionsweise und Grenzen der von ihnen genutzten KI-Systeme zu verstehen.
  • Grundlegendes Verständnis der Technologie: Ärzte müssen die grundlegende Funktionsweise und Grenzen der KI-Systeme kennen, um deren Empfehlungen richtig einordnen zu können.
  • Datenqualität und Plausibilität: Ärzte müssen sicherstellen, dass die verwendeten Daten korrekt sind und die KI-Ergebnisse auf Plausibilität prüfen.
  • Risikomanagement: Ärzte sind verpflichtet, die Software regelmäßig zu aktualisieren und zu warten, um ihre Funktionsfähigkeit sicherzustellen. Da sie oft nicht über technische Kenntnisse zur Instandhaltung verfügen, sollten sie mit Herstellern Verträge über notwendige Wartungsmaßnahmen und die Einhaltung von Konformitätsanforderungen abschließen.

Auch Hersteller müssen sicherstellen, dass ihre Produkte den geltenden medizinischen und rechtlichen Vorschriften entsprechen. Es sollten daher folgende Anforderungen erfüllt werden:

  • Dokumentation und Transparenz: Hersteller sollten detaillierte Dokumentationen der Funktionsweise ihrer KI-Systeme bereitstellen und sicherstellen, dass die Algorithmen so gestaltet sind, dass sie erklärbar und ihre Entscheidungen nachvollziehbar sind.
  • Audits und Prüfungen: Durch regelmäßige Audits und Prüfungen sollte sichergestellt werden, dass die KI-Systeme korrekt und ordnungsgemäß arbeiten.
  • Schulung: Ärzte und medizinisches Personal müssen im Umgang mit KI-Systemen geschult werden, um deren Funktionsweise und Grenzen zu verstehen.

Die Rolle des Gesetzgebers

Neben Ärzten und Herstellern muss auch der Gesetzgeber klare rechtliche Rahmenbedingungen für den Einsatz von KI zu schaffen, um Haftungslücken zu schließen. Die Europäische Kommission hat den Richtlinienentwurf über KI-Haftung (COM/2022/496) vorgelegt, der ein einheitliches Schutzniveau für KI-bedingte Schäden anstrebt. Der aktuelle Entwurf sieht im Wesentlichen vor, dass Geschädigte nicht mehr die Schadensursache nachweisen müssen (Kausalitätsvermutung) und der Zugang zu Beweismitteln bei Schäden durch Hochrisiko-KI-Systeme erleichtert wird.

Zusammenfassend lässt sich festhalten, dass der Einsatz von KI-Systemen in der Medizin großes Potenzial bietet. Allerdings sind die Haftungsfragen derzeit unzureichend geklärt. Das Reformvorhaben der EU-Kommission ist daher begrüßenswert. Ob der Entwurf weiteren Änderungen unterworfen wird und wie eine konkrete Umsetzung aussehen wird, bleibt abzuwarten.

 

Lisa Dorothea Kaiser, LL.M. ist Fachanwältin für Medizinrecht und unterhält außerdem einen Master of Laws (LL.M.) im Medizinrecht. Zudem besitzt sie eine Zusatzqualifikation im Pharmarecht und ist als Mediatorin tätig. Frau Kaiser hat umfangreiche Erfahrung in außergerichtlichen und gerichtlichen Streitigkeiten in den Bereichen des Medizin-, Versicherungs- und Sozialrechts. Außerdem verfügt sie über Branchenerfahrung in der Pharmaindustrie. Seit April 2024 ist sie als Rechtsanwältin bei Lyck+Pätzold. healthcare.recht tätig und berät und vertritt Leistungserbringer bei allen Fragen des Medizinrechts.

Das könnte Sie auch interessieren

Healthineers ohne Siemens

Neuer Name für Siemens Healthineers. „Siemens” soll im Zuge der Entkonsoliderierung wegfallen und von der Diagnostik-Sparte trennt man sich.

Neuer Name für Siemens Healthineers. „Siemens” soll im Zuge der Entkonsoliderierung wegfallen und von der Diagnostik-Sparte trennt man sich.