Durchbruch für energieeffizientere KI

Bei allen Vorteilen: Die schlechte Energiebilanz von KI war bisher ein Problem. Forschern in Bonn ist es nun gelungen, auch eine effizientere Alternative zu trainieren.

Sind sind hilfreich, setzen sich immer mehr durch, verbrauchen allerdings auch unmengen an Energie: KI-Anwendungen auf Basis künstlicher neuronaler Netze. Ein Team der Universität Bonn stellt nun in einer aktuellen Studie einen Lösungsansatz vor, der einen Weg zu neuen KI-Verfahren ebnen könnte, die deutlich energieeffizienter sind.

Auch künstliche neuronale Netze sind im Wesentlichen den Nervenzellen des Gehirns nachempfunden. Das verbraucht im Gegensatz zur künstlichen Version gerade einmal so viel Energie wie LED-Birnen. Was also machen biologische Neuronen anders als die Künstlichen? Es sind die Unterbrechungen, erklärt Prof. Dr. Raoul-Martin Memmesheimer vom Institut für Genetik der Universität Bonn, und führt den Maschendrahtzaun als plastisches Beispiel an. „In biologischen Neuronen ist das anders“, erklärt Memmesheimer. „Sie kommunizieren mit Hilfe kurzer Spannungspulse, der sogenannten Aktionspotentiale oder ‚Spikes‘. Diese treten vergleichsweise selten auf; daher kommen die Netzwerke mit deutlich weniger Energie aus.“

Der Schlüssel: „spikende“ Neuronen

Ein wichtiges Feld in der KI-Forschung ist daher die Entwicklung künstlicher neuronaler Netze, die ebenfalls „spiken“. Die Schwierigkeit bisher: Spikende Netze sind zwar effizient, aber schwer zu trainieren.

Denn durch das Training verändert sich nach jedem Durchgang, welche Neuronen wie stark aufeinander Einfluss nehmen. „Bei klassischen neuronalen Netzen verändern sich die Ausgabesignale dabei graduell“, erklärt Memmesheimer, der auch Mitglied im Transdisziplinären Forschungsbereich Life and Health ist. „Das Ausgabesignal kann zum Beispiel von 0,9 auf 0,8 abnehmen. Bei spikenden Neuronen geht das aber nicht: Spikes sind entweder da oder nicht; es gibt keine halben Spikes.“

Man könnte vielleicht sagen, dass bei neuronalen Netzen jede Verbindung über einen Drehregler verfügt. Damit können auch die Ausgabesignale eines Neurons etwas stärker oder etwas schwächer eingestellt werden. Sämtliche Reglereinstellungen werden so lange optimiert, bis das Netz den gewünschten Trainingserfolg erreicht hat, also beispielsweise Tische von Stühlen treffsicher unterscheiden kann. Bei spikenden Netzen können die Regler aber nicht graduell die Stärke der Ausgabesignale verändern. „Daher lassen sich auch die Verbindungen nicht so einfach fein abgestimmt gewichten“, sagt Memmesheimers Mitarbeiter Dr. Christian Klos, Erstautor der Studie.

Zeitpunkt der Spikes entscheidend

Man nahm daher bisher an, dass die herkömmliche Trainingsmethode – in der Forschung spricht man von „gradient descent learning“ – bei spikenden Netzen sehr problematisch ist. Die aktuelle Studie zeigt nun jedoch, dass das nicht stimmt. „Wir haben entdeckt, dass in bestimmten Standard-Neuronenmodellen die Spikes nicht einfach so erscheinen oder verschwinden können. Stattdessen können sie im Wesentlichen nur zeitlich verschoben werden“, erläutert Klos. Die Zeitpunkte, an denen die Spikes auftreten, lassen sich dann mit Hilfe der Verbindungsstärken einstellen, und zwar kontinuierlich.

Die zeitlichen Muster der Spikes beeinflussen das Antwortverhalten der Neuronen, die die Spikes empfangen. Vereinfacht gesagt, gilt: Je „gleichzeitiger“ bei einem biologischen oder einem spikenden künstlichen Neuron Signale von mehreren anderen Neuronen einlaufen, desto stärker steigt die Wahrscheinlichkeit, dass es selbst einen Spike erzeugt. Der Einfluss eines Neurons auf ein anderes Neuron lässt sich also sowohl durch die Verbindungsstärken als auch durch die Spikezeiten justieren. „In den von uns untersuchten spikenden neuronalen Netzen können wir für beides dieselbe sehr effiziente herkömmliche Trainingsmethode verwenden“, sagt Klos.

Die Forscher konnten bereits demonstrieren, dass ihr Verfahren tatsächlich funktioniert: Ein von ihnen trainiertes spikendes neuronales Netz lernte, per Hand geschriebene Ziffern treffsicher voneinander zu unterscheiden. In einem nächsten Schritt wollen sie es mit einer deutlich komplexeren Aufgabe konfrontieren – dem Verständnis gesprochener Sprache. „Welche Rolle unsere Methode künftig bei der Anlernung spikender Netze spielen wird, ist noch nicht abzusehen“, sagt Memmesheimer. „Wir glauben aber, dass sie großes Potenzial hat, einfach weil sie exakt ist und genau der Methode entspricht, die bei nichtspikenden neuronalen Netzwerken hervorragend funktioniert.“