Anhoren
Teilen
Das von Accenture Labs gefördertes Forschungsprojekt AutoPrompt will mit gezieltem Prompting die ChatGPT-Analyse klinischer Daten verbessern.
Der Vorteil für klinische Studien, wenn Sprachmodelle eingesetzt werden, ist sofort ersichtlich: Sie können grundlegend dabei helfen, große Menge an Daten und Texten zu verarbeiten und Informationen gezielt abzurufen. Allerdings wird immer wieder in Frage gestellt, wie gut die KI logische Zusammenhänge analysieren und die richtigen Schlussfolgerungen ziehen kann. Am Deutschen Forschungszentrum für Künstliche Intelligenz startet deshalb nun das Forschungsprojekt AutoPrompt, dass sich genau dieser Fragestellung widmet und idealerweise die Leistung von Sprachmodellen wie ChatGPT beim Verstehen natürlicher Sprache sowie der Inferenz im Kontext des Gesundheitswesens verbessern soll.
Bei der Natural Language Inferenz (NLI) gehe es darum, zu bestimmen, „ob eine Behauptung angesichts einer Prämisse oder einer Reihe von Fakten eine zutreffende Schlussfolgerung oder aber einen Widerspruch darstellt“, erklärt Siting Liang, die das Projekt AutoPrompt im Forschungsbereich Interaktives Maschinelles Lernen im DFKI Niedersachsen vorantreibt. Das Projekt läuft bereits seit Januar 2024 und wird durch einen Grant von Accenture, einem führenden Beratungs-, Technologie- und Outsourcing-Unternehmen, bis einschließlich Dezember 2024 finanziert.
Behauptungen verstehen
Die Computerlinguistin sorgt dabei zunächst dafür, dass die KI Behauptungen versteht, was sie an einem Beispiel erläutert. Eine solche Behauptung könne beispielsweise lauten, dass Patienten mit Hämophilie von einer Studie ausgeschlossen sind, wenn etwa ein erhöhtes Risiko für Blutungen besteht. Dafür müssten die Modelle zunächst den Inhalt der Behauptung verstehen, dann relevante Hinweise aus wissenschaftlichen Artikeln extrahieren, um dann wiederum bewerten zu können, ob Behauptung und Hinweise übereinstimmten. Erst dann ist für die Modelle ein Rückschluss auf den Wahrheitsgehalt der Behauptung möglich.
Dafür will Liang in einem ersten Schritt das Prompting optimieren, also die Anweisung an den Chatbot, um eine bestimmte Antwort zu erhalten. Dazu erforscht sie verschiedene Strategien wie beispielsweise Chain-of-Thoughts-Methoden. Dabei werden Anweisungen mit Zwischenschritten gegeben, die bestimmten Pfaden folgen und Gedankenketten auslösen. So soll dem Bot ein gewisses Maß an Argumentationsfähigkeit entlockt werden. „ChatGPT mag zwar in der Lage sein, relevante Sätze aus einem Kontext zu erkennen, aber genaue logische Schlussfolgerungen zu ziehen, erfordert ein tieferes Verständnis von Domänenwissen und natürlicher geschriebener Sprache“, sagt Liang.
In einem zweiten Schritt wird sie die Leistung von ChatGPT bei NLI-Aufgaben unter Verwendung verschiedener Datensätze bewerten und Verbesserungen vorschlagen. „Unser Ziel ist es, den Sprachmodellen mehr domänenspezifische Quellen als Kontext zur Verfügung zu stellen“, sagt die Wissenschaftlerin. Dazu sollen die am besten geeigneten Prompting-Strategien und ein Generierungsrahmen implementiert werden, der einen effizienteren Zugang zu zusätzlichem Wissen ermöglicht.
Studie mit Medizinstudierenden
Sind diese Hürden genommen, spielt natürlich auch das Zusammenspiel zwischen KI und den Menschen eine wichtige Rolle. Dafür hat Liang eine Studie innerhalb des Projektes angelegt, für die sie derzeit noch etwa zehn Medizinstudenten für die Teilnahme sucht. Grundlage ist die Behauptung, dass Patienten mit der Diagnose eines bösartigen Hirntumors von einer Primärstudie ausgeschlossen sind, sofern Kriterien wie etwa eine Chemotherapie zutreffen. Die angehenden Mediziner sollen für die Studie in zwei Gruppen eingeteilt werden, innerhalb derer sie zwei Stunden lang ihr Wissen einbringen und Entscheidungen über die Beziehung zwischen der Behauptung und den Kriterien treffen. Die erste Gruppe bewertet die vom KI-System vorgegebenen Entscheidungen, die zweite Gruppe korrigiert Fehler des Systems.
„Wenn wir die KI-Systeme verbessern wollen, benötigen wir das Feedback durch den Menschen“, ist Siting Liang überzeugt, die sich schon in früheren Projekten des Forschungsbereiches mit medizinischen Daten beschäftigt hat. Systeme könnten medizinische Texte und Daten in der Regel sehr gut analysieren, weiß Liang: „Aber ebenso ist es möglich, dass sie halluzinieren und uns falsche Schlussfolgerungen liefern. AutoPrompt soll helfen, eine höhere Genauigkeit der Antworten zu erzielen.“
