Gradient Descent

Mit den Pfeiltasten bewegst du das Schiff, mit dem runden Knopf schickst du die Sonde ab. Wenn du den Schatz gefunden hast, dann lies unten weiter. Du erfährst, wie dieselben Strategien, die dich zum Schatz führten, auch von KIs verwendet werden.

Nachdem du das Spiel ein paar Mal gespielt hast, ist dir wahrscheinlich folgendes aufgefallen: Man findet den tiefsten Punkt des Meeresbodens am schnellsten, wenn man das Gefälle beachtet: wie steil war es an den untersuchten Stellen? In welche Richtung war der Boden geneigt? Auch wenn du nicht den kompletten Boden siehst, verrät dir das Gefälle, wo du am besten weitersuchst.

Wenn du diese Strategie zur Schatzsuche anwendest, dann lernst du genauso wie eine KI - nämlich durch einen Algorithmus namens Gradientenverfahren. In Englisch heißt er, wie dieses Spiel, Gradient Descent.

In der Simulation Piano Genie kannst du dir anschauen, wie Neuronale Netze lernen. Wir geben dem Netz ein Beispiel, zu dem es einen Output generiert. Dann analysieren wir, wie gut oder schlecht es war, und geben dem Netz Feedback dazu. Das Netz korrigiert seine Antwort, und wir versuchen es erneut.

Schauen wir uns diesen Prozess genauer an. Nachdem das Netz den Output generiert hat, messen wir, wie weit es vom gewünschten Ergebnis entfernt war. Diese Entfernung nennen wir “Fehler”. Das Neuronale Netz verbessert sich in seiner Aufgabe, indem es die Stärke der Verbindungen zwischen den künstlichen Neuronen so verändert, dass der Fehler möglichst klein für alle möglichen Inputs wird. Dies entspricht der Suche nach der tiefsten Stelle in unserem Spiel. Jeder Schritt der Trainingsphase (Eingabe des Inputs, Outputkontrolle, Fehlermessung, Anpassung des Netzes) braucht etwas Zeit, und muss tausendmal oder sogar Millionen Mal wiederholt werden. Idealerweise finden wir einen schnellen Weg, um den Fehler zu minimieren. Das Netz benutzt - so wie du - das Gefälle, um zu entscheiden, wie es die Neuronenverbindungen anpasst, und die Suche fortführt.

Bei der Schatzsuche tritt eine Schwierigkeit auf, die ebenfalls ein Problem beim Trainieren von KIs ist. Mit ein wenig Glück findest du den tiefsten Punkt, indem du dem Gefälle des Meeresbodens folgst. Hast du allerdings kein Glück, findest du nur einen Punkt, der durch einen oder mehrere Berge vom wirklich tiefsten Punkt getrennt ist. Du landest zwar in einer tiefen Stelle, findest aber nicht die tiefste des gesamten Meeresbodens. Wir nennen das ein “lokales Minimum”.

Um aus einem lokalen Minimum herauszukommen, gibt es eine Strategie, die du vielleicht auch schon im Spiel angewendet hast: Versuche etwas anderes, wähle einen neuen Startpunkt und suche nochmal neu. KIs kombinieren das systematische Gradientenverfahren mit einer Prise Zufall. Das abzusuchende Höhenprofil könnte ziemlich steinig sein, mit vielen Höhen und Tiefen. Um das herauszufinden, braucht man mehr als ein paar Sonden.

Es gibt einen markanten Unterschied zwischen unserem Spiel und der Fehlerminimierung von Neuronale Netzen. Unser Boot kann nur nach links oder rechts fahren, weil das Spiel in 2D ist (das Boot bewegt sich in der ersten Dimension, die Sonde in der zweiten). Du kannst Dir wahrscheinlich vorstellen, wie das Ganze in unserer realen dreidimensionalen Welt funktioniert: das Boot kann sich in zwei Dimensionen bewegen (Nord-Süd und Ost-West) und Sonden in die dritte Dimension aussenden. Der echte Meeresboden ist auch keine einfache Kurve, sondern eine Fläche mit Bergen und Tälern, also eine Art Gebirge. Das Gefälle kann man sich trotzdem zunutze machen (stell dir vor, wie eine Kugel hinunterrollen würde), um den tiefsten Punkt oder ein lokales Minimum zu finden.

Neuronale Netze suchen auch nach dem tiefsten Punkt in höherdimensionalen Gebirgen. Diese können wir dann nicht mehr darstellen oder uns vorstellen, aber wir können über sie nachdenken. Für die zwei Dimensionen, in denen sich ein Schiff bewegt, könnte man beispielsweise sagen “gehe 1 Kilometer nach Norden und 2 Kilometer nach Osten und suche dort weiter”, bei tausend Dimensionen müssen dann tausend Zahlenwerte angegeben werden, wie man zum nächsten Suchpunkt gelangt. Die Mathematik dahinter bleibt dieselbe, man kann also mit demselben Verfahren auch von einem tausenddimensionalen Gebirge das Gefälle an einem Punkt berechnen und aus dieser Information den nächsten Suchpunkt bestimmen - mit denselben Problemen wie im zweidimensionalen Fall.

Du kannst dir jetzt wahrscheinlich vorstellen, warum KI ziemlich schnelle Computer braucht. Selbst sie benötigen dann mit den effizientesten Suchstrategien aber trotzdem noch Tage, Wochen oder länger, um ein neuronales Netz zu trainieren.

Einige Punkte zum Nachdenken

Der Lernprozess kombiniert die Anpassung des Neuronalen Netzes, um Ergebnisse zu optimieren, mit Strategien, wie man aus einem lokalen Minimum herauskommt. Dieser Prozess hat viele Parallelen im echten Leben. Professionelle Athlet*innen ändern manchmal ihre Technik, um noch bessere Ergebnisse zu erzielen (der Profigolfer Tiger Woods änderte seinen Golfschlag einige Male in seiner Laufbahn, ohne die Gewissheit, dass er sich dadurch verbessern würde). Professionelle Sänger*innen benötigen manchmal Coaching, um ihre Stimmtechnik zu ändern und dadurch Schäden an den Stimmbändern zu vermeiden. Tiervölker treffen manchmal die riskante Entscheidung auszuwandern, um mehr Nahrung oder eine bessere Umgebung zu finden. Vielleicht gelingt es dir mit dieser Strategie sogar, die beste Kombination an Eissorten zusammenzustellen.

Der Text ist unter der Lizenz Creative Commons Attribution License verfügbar.

Die Inhalte dieser Seite wurden von IMAGINARY für die Ausstellung I AM A.I. erstellt.