In seiner aktuellen Studie deckt Prof. Mathias Christmann von der Freien Universität Berlin dank KI-Analysetool zahlreiche Schwachstellen in chemischen Publikationen auf.
KI ermöglicht nicht nur Durchbrüche in Forschung und Wissenschaft, sie kann auch die Qualität wissenschaftlicher Veröffentlichungen erhöhen. Das unterstreicht nun eine neue Studie des Chemieprofessors Dr. Mathias Christmann von der Freien Universität Berlin. Dort konnte man mit Hilfe von KI-gestützten Datenanalysetools Schwachstellen in zahlreichen chemischen Publikationen aufdecken.
Im Rahmen der Studie hat der Wissenschaftler mit einem Python-Skript über 3.000 wissenschaftliche Arbeiten analysiert, die in den letzten zwei Jahren in der renommierten Fachzeitschrift für organische Chemie „Organic Letters“ erschienen sind. Dabei zeigte sich, dass lediglich 40 Prozent der chemischen Forschungspublikationen fehlerfreie Massenmessungen aufwiesen.
Tool erstellen ohne Programmierkenntnisse
„Die Ergebnisse machen deutlich, wie leistungsfähig KI-gestützte Werkzeuge im Forschungsalltag sein können. Sie machen nicht nur komplexe Analysen zugänglich, sondern verbessern auch die Zuverlässigkeit wissenschaftlicher Daten“, betont Prof. Christmann.
Was außerdem bemerkenswert an der Arbeit ist: Das verwendete KI-basierte Datenanalyse-Tool konnte ohne vorherige Programmierkenntnisse erstellt werden. Und dafür liefert der Wissenschaftler eine einfache Erklärung: Fortschrittliche Large Language Models wie ChatGPT, Gemini oder Claude würden heute natürliche Sprache direkt in Computersprache wie Python übersetzen. Dadurch könne man ganz ohne Programmierkenntnisse Anwendungen erstellen, die beispielsweise in großen Datenmengen nach bestimmten Textbausteinen oder Messwerten suchen. Die auf diese Weise erhaltenen Daten lassen sich anschließend automatisiert weiterverarbeiten und auf Plausibilität überprüfen.
Unbekannte systematische Fehler
In Christmanns Studie „What I learned from Analyzing Accurate Mass Data of 3000 Supporting Information Files“ konnten mit der KI-gestützten Datenanalyse bisher unbekannte systematische Fehler aufgedeckt werden. Zudem wurden Fälle identifiziert, in denen fehlerhaft berechnete Werte durch vermeintliche Messungen bestätigt schienen. „Diese Beobachtungen werfen die Frage auf, ob einige Messwerte möglicherweise erfunden wurden“, hinterfragt der Wissenschaftler.
In jedem Fall verdeutlicht die Studie, die als Open-Access-Publikation erschienen ist, das Potenzial von KI-gestützten Analysetools – nicht nur die automatische Qualitätskontrolle wissenschaftlicher Daten, sondern auch, um systematisch Schwachstellen aufzudecken und damit einen wichtigen Beitrag zur Verbesserung wissenschaftlicher Standards zu leisten.
Als Teil der Initiative „KI in der Lehre“ am Fachbereich Biologie, Chemie, Pharmazie der Freien Universität Berlin sollen Studenten künftig verstärkt mit diesen und ähnlichen Werkzeugen arbeiten, kündigte Mathias Christmann an. Ziel sei es, datenanalytische Kompetenzen zu vermitteln und das kritische Denken zu fördern.



