Der Anfang der Lernrevolution in der KI fiel still und leise in genau diese Zeit der großen Enttäuschung, oft KI-Winter genannt. Im Jahr 1970 veröffentlichte ein Finne namens Seppo Linnainmaa die grundlegende Idee für den "Rückwärtsmodus", eine Methode, die es erlaubte, die nötigen Anpassungen in einem neuronalen Netz zu berechnen, wenn das Netz einen Fehler macht. Es ist dieses heute Backpropagation genannte Verfahren, mit dem Geoffrey Hinton und seine Kollegen im Jahr 1986 ein neuronales Netz betrieben, dass simple Eigenschaften von Bildern schneller zu erkennen lernte.

Die heutigen tiefen neuronalen Netze (DNNs — Deep Neural Networks) bestehen aus Tausenden künstlichen Neuronen. Tief sind sie, weil sie in mehr als zwei Schichten hierarchisch übereinander liegen und oft über Millionen von Verbindungen Informationen nach oben weiterreichen (Feed Forward). Die meisten tiefen Netzwerke haben viele Zwischenschichten (Hidden Layers), AlphaGo etwa hat 13. Vor dem Training wird definiert, wie das Aktivitätsmuster in der Output-Schicht nach dem Training aussehen soll. Zum Beispiel: "Das dritte Neuron von links soll nur bei Katzenbildern aktiv sein." Dieses Training soll erreichen, dass die Verbindungen zwischen den tiefen Schichten so eingestellt werden, dass auch bei vorher noch nie präsentierten Katzenbildern immer das dritte Neuron von links aktiv wird. Und genau das leistet der Backpropagation-Algorithmus mit höchster Effizienz.

Hinton sagt: "Backpropagation vergleicht das Aktivitätsmuster in der Output-Schicht mit dem gewünschten Muster und ermittelt dann für alle Verbindungen im Netzwerk gleichzeitig deren neue Gewichte" – also jene Zahlenwerte, die eine Verbindungsstärke zwischen zwei Neuronen angeben. "Vor Backpropagation musste man die Gewichte alle einzeln anpassen. Bei einem Netzwerk mit 100 Millionen Verbindungen ist Backpropagation also 100 Millionen Mal effizienter."

Backpropagation – der unbemerkte Durchbruch

Hinton und seine Kollegen zeigten 1986 mit Backpropagation, dass der Lernalgorithmus die tiefen Neurone automatisch zu Detektoren für bestimmte Muster im Input trainiert. Deshalb reagieren die Neurone in der zweiten Schicht neuronaler Netze, die auf Bilder losgelassen werden, nach dem Training auf einfache gerade Kanten im Input-Bild, die in der dritten Schicht auf Formen, die sich aus diesen Kanten zusammensetzen lassen, die in der vierten Schicht auf Kombinationen dieser Formen und so weiter. Bis in der Output-Schicht schließlich ein Neuron am stärksten auf Katzen reagiert, oder auf Autos oder Cockerspaniel.

Doch nach Hintons Veröffentlichung seiner so effizienten Version des Backpropagation-Algorithmus reagierte die KI-Gemeinde erst einmal kaum. Es gab nicht genügend Trainingsdaten und die Computer vor der Jahrtausendwende waren zu langsam. Nur wenige junge Forscher, wie Yann LeCun, sahen in Hintons Arbeit eine Revolution. Heute ist LeCun der Chef von Facebooks KI-Abteilung.

Zwar machten auch andere Forschergruppen große Fortschritte mit tiefen neuronalen Netzen. So gewannen im Jahr 2011 Jürgen Schmidhuber und sein Team vom Schweizer Forschungsinstitut für Künstliche Intelligenz IDSIA mit einem tiefen neuronalen Netz mit Backpropagation unter anderem einen Wettbewerb für Verkehrzeichenerkennung. Es war, sagt Schmidhuber, "das erste übermenschlich gute Resultat in der Geschichte der Computer Vision".

Doch erst ein Jahr später wurde das Potenzial tiefer neuronaler Netzen mit Backpropagation einer größeren Öffentlichkeit bewußt, als Hintons Studenten den Wettbewerb ILSVRC (ImageNet Large Scale Visual Recognition Competition) haushoch gewannen. In diesem Wettbewerb sollen künstliche Intelligenzen Bilder richtig klassifizieren. Grundlage ist eine Datenbank mit mittlerweile zehn Millionen gekennzeichneten Bildern, die verschiedenste Objekte zeigen, darunter allein 120 verschiedene Hunderassen. Das Netzwerk von Hintons Team machte fast zehn Prozent weniger Fehler als alle anderen künstlichen Intelligenzen – eine erhebliche Verbesserung. Die KI-Forscher waren geschockt.

Googles neuronale Netzwerke

Der Rest ist jüngere Geschichte: DNNReserach, das Start-up von Geoffrey Hinton, wurde direkt von Google gekauft und Hinton wurde samt einiger Studenten Mitarbeiter. In nur sechs Monaten schuf Google mit Hintons tief lernenden Netzen eine neue Fotosuche. Im Jahr 2014 kam das Unternehmen DeepMind hinzu, das hinter AlphaGo steckt. Mittlerweile ist auch die Google-Bildersuche um ein tiefes neuronales Netz bereichert, im Jahr 2015 zog ein solches Netzwerk auch bei Google Translate ein. Und aus KI-Forschungslaboren sind künstliche neuronale Netze nicht mehr wegzudenken.

"Wie schwer die Wahrnehmung von natürlichen Stimuli ist, das hat die KI-Forschung lange unterschätzt", sagt Hinton. Die symbolische KI hat sich daher als der eigentliche Irrweg erwiesen. All die Filter per Hand zu programmieren, die aus Millionen verschiedenster Bilder genau die richtigen Eigenschaften (Features) zu erkennen, die auf eine Katze hindeuten, sei praktisch unmöglich, sagt Hinton. Tiefe neuronale Netze aus künstlichen Neuronen hingegen lernen solche Bild-Features dank Backpropagation heute selbstständig. Ihre künstlichen Neurone funktionieren dabei, bis auf kleine Anpassungen, genauso wie jene von McCulloch und Pitts vor mehr als 70 Jahren.