Anhoren
Teilen
HealthBench heißt der neue Bewertungsstandard für KI-Modelle im Gesundheitswesen, den OpenAI nun vorgestellt hat. Im Fokus: Die Nutzerzentrierung der Systeme.
OpenAI präsentiert mit HealthBench einen neuen Bewertungsstandard für KI-Systeme im Gesundheitswesen. Zu den Beweggründen heißt es vom KI-Pionier: „Evaluierungen wie HealthBench sind Teil unserer fortlaufenden Bemühungen, das Verhalten von Modellen in hochwirksamen Umgebungen zu verstehen und sicherzustellen, dass der Fortschritt auf den realen Nutzen ausgerichtet ist.“
HealthBench soll realitätsnahe medizinische Gespräche systematisch auswerten. Dafür haben über 260 Mediziner aus 60 Ländern, die 26 Fachgebiete abdecken sowie 49 Sprachen sprechen, 5.000 medizinische Gesprächsszenarien entwickelt. So soll sichergestellt werden, dass die Schwächen bisheriger Tests für medizinische KI-Systeme nicht weiter zum Tragen kommen. Aktuell wurden beispielsweise reale Gesprächssituationen nur unzureichend abgebildet, Tests nicht ausreichend von medizinischen Experten geprüft oder aber sie böten zu wenig Raum, um Verbesserungen fortgeschrittener Modelle zu messen.
Deutliche Entwicklung der KI
HealthBench ist in sieben Themenbereiche unterteilt: auf Fachwissen zugeschnittene Kommunikation, Reaktionstiefe, Überweisungen in Notfällen, Aufgaben im Zusammenhang mit Gesundheitsdaten, globale Gesundheit, Reaktion unter Unsicherheit und Suche nach dem Kontext. Anschließend bewertet ein ebenfalls KI-gestütztes Bewertungssystem die Antworten nach den fünf Kriterien Kommunikationsqualität, Befolgung der Instruktion, Genauigkeit, Kontextbewusstsein und Vollständigkeit. Dabei kommen über 48.500 Einzelkriterien zum Einsatz, die auf medizinischer Expertise basieren. Die Bewertung sei zwar synthetisch, wurde aber durch „menschliche Gegentests“ überprüft. Außerdem sei sie mehrsprachig.
„Unsere Ergebnisse zeigen, dass sich große Sprachmodelle im Laufe der Zeit erheblich verbessert haben und Experten beim Schreiben von Antworten auf die in unserem Benchmark getesteten Beispiele bereits übertreffen“, heißt es von OpenAI. Gleichzeitig räumt der Konzern ein, dass selbst die fortschrittlichsten Systeme noch erheblichen Spielraum für Verbesserungen haben, insbesondere bei der Suche nach dem notwendigen Kontext für unterspezifizierte Anfragen sowie der Zuverlässigkeit im schlimmsten Fall. OpenAI stellt die Tools öffentlich auf GitHub zur Verfügung.
In ersten Tests schnitt OpenAIs eigenes Modell o3 laut dem Unternehmen am besten ab. Das KI-Modell erreichte eine Wertung von knapp 59,8 auf einer Skala von null bis 100. Grok 3 landete mit einem Wert von 54,3 knapp dahinter. Googles Gemini 2.5 Pro erzielte eine Wertung von 52. Am schlechtesten schnitten Llama 4 Maverick (24,9) und OpenAIs GPT-3.5 Turbo (15,7) ab.
