Einem Gehirn beim Denken zuzusehen, ist schwierig. Egal, ob es sich um ein echtes oder ein künstliches Gehirn handelt. Mediziner bekamen erst mit der Magnetresonanztomografie (MRT) Einblicke in die menschlichen Denkprozesse. Nun suchen Informatiker nach einem Äquivalent für künstliche Intelligenzen (KI), für selbstlernende Maschinen. Denn die werden in immer mehr Bereichen eingesetzt, und manchmal geht es dabei um Leben und Tod. Einer von denen, die am KI-Hirnscan arbeiten, ist Sebastian Lapuschkin vom Fraunhofer Heinrich-Hertz-Institut (HHI) in Berlin.

In einem Team aus Forschern des HHI und der Technischen Universität Berlin versucht Lapuschkin, Licht in eine unheimlich anmutende Situation zu bringen: Künstliche Intelligenzen sind zwar menschengemachte Computerprogramme. Ihre Entwickler legen fest, was sie tun sollen. Zum Beispiel sollen sie lernen, Katzen oder Pferde auf Fotos zu erkennen, Texte zu übersetzen oder Muster in riesigen Datenmengen zu erkennen. Aber insbesondere künstliche neuronale Netzwerke, die den derzeitigen KI-Boom ausgelöst haben, bleiben zu einem gewissen Grad black boxes,sogar für ihre eigenen Schöpfer. Niemand weiß ganz genau, warum ihre sogenannten Deep-Learning-Netzwerke eigentlich eine Katze erkennen oder ein bisher unbekanntes Muster.

Das liegt an der Komplexität der Netze. Sie bestehen oft aus zehn oder 30 oder auch 100 Schichten und jede Schicht aus mehreren (oder vielen) künstlichen Neuronen. Die Neuronen einer Schicht aktivieren Neuronen der jeweils darüberliegenden Schicht durch sogenannte Gewichte, auch Verbindungsstärken genannt. Beim Training des Netzwerks wird die Eingabe – der Output der obersten Schicht – mit einem Wunschwert verglichen: Hat das Netzwerk gerade ein Katzenbild vorgesetzt bekommen und hat es die Katze erkannt? Wenn nicht, passt ein Algorithmus alle Gewichte im Netzwerk so an, dass beim nächsten Durchgang die Wahrscheinlichkeit höher ist, dass der Output dem Wunschwert entspricht. Sprich: Das Training geht weiter. (Die Geschichte und Funktionsweise solcher Netzwerke erklären wir hier ausführlich.) Um zu verstehen, wie ein solches Netzwerk "denkt", müsste man die wechselseitigen Veränderungen in den unzähligen Gewichten beobachten und interpretieren können. Man müsste wissen, ob das Netzwerk besonders auf die Schnurrhaare achtet oder auf den Schwanz oder auf etwas völlig anderes – und wie es die Gewichtung im Laufe des Training verändert.

Lapuschkin und seine Kollegen wissen: Es wird höchste Zeit, in die black box hineinsehen zu können. Neuronale Netze werden bereits für medizinische Diagnosen eingesetzt, in der Industrie und in Übersetzungsprogrammen wie Google Translate. Auch für selbstfahrende Autos werden sie unerlässlich sein und irgendwann vielleicht auch in Kampfdrohnen. Wenn aber Entwickler und Anwender nicht verstehen, warum ein Netzwerk eine bestimmte Entscheidung getroffen hat, stehen sie auch vor einem Rätsel, wenn die Entscheidung mal falsch ist. Im schlimmsten Fall mit fatalen Folgen.

Auf der Cebit in Hannover demonstriert Lapuschkin die Lösung des HHI und der TU Berlin anhand einer Kamera und einer Gesichtserkennungssoftware, die Alter und Geschlecht einer Person bestimmt: "Das neuronale Netzwerk dahinter ist sich zu 99,8 Prozent sicher, dass Sie zwischen 38 und 41 Jahre alt sind und zu hundert Prozent sicher, dass Sie männlich sind", sagt er. "Wir finden heraus, welcher Teil des Inputs, also des Bildes ausschlaggebend für die Entscheidung war."

Rückwärts denken

Layer-wise Relevance Propagation (LRP) heißt die Analysemethode. Sie lässt den "Denkprozess" neuronaler Netze rückwärts ablaufen und macht so sichtbar, an welcher Stelle welche Gruppen von künstlichen Neuronen bestimmte Entscheidungen getroffen und wie stark diese zum Endergebnis beigetragen haben. Das mag simpel klingen, doch die Mathematik hinter dem System ist alles andere als das.

Visualisiert wird das Ergebnis des Rückwärtsdenkens mit einer heatmap, einem Bild, auf dem farblich hervorgehoben ist, welche Teile des Bildes entscheidend waren. Das Geschlecht etwa legt die Software hauptsächlich nach der Analyse der Mundpartie fest, zu sehen ist das an einer roten Einfärbung. Das Alter erkennt sie eher an den Augen. Elemente wie zum Beispiel ein Hemdkragen, die das Netzwerk nicht erkennt, weil es nicht darauf trainiert wurde, und deshalb keinem Geschlecht zuordnen kann, werden blau dargestellt.

"Man will ja gerade für sicherheitsrelevante Einsätze wissen, ob ein Algorithmus macht, was er soll", sagt Lapuschkin, und meint damit nicht nur Autos und Drohnen. Sein Team habe mal mit einer KI versucht, aus Bildern von Zellquerschnitten automatisierte Krebsdiagnosen zu erstellen. Auch in solchen Fällen wolle man nicht nur das Ergebnis wissen, also dass sich ein Algorithmus zu 95 Prozent sicher ist, Krebszellen erkannt zu haben. Genauso wichtig sei, wie es zustande gekommen ist. Denn daran könnte man individuelle Therapien ausrichten.

Das HHI-System legt schlechte Trainingsdaten offen

Ein anderes Szenario ist die Notwendigkeit, etwa bei automatisierten Kreditanträgen herausfinden zu können, warum ein Antrag abgelehnt wurde. Lapuschkin sagt, das LRP-System könne in so einem Fall zeigen, ob ein neuronales Netz mit ungeeigneten Beispieldaten trainiert wurde und deshalb korrigiert werden muss. Denkbar wäre, dass in den Trainigsdaten besonders viele Antragsteller als nicht kreditwürdig eingestuft waren, die eine Eigenschaft teilen, die mit Kreditwürdigkeit an sich gar nichts zu tun hat. Eine bestimmte Schuhgröße etwa, um bei einem rein fiktiven Beispiel zu bleiben. Taucht dann im realen Einsatz ein Antragsteller mit dieser Schuhgröße auf, bekommt er keinen Kredit – und ohne ein System wie das der Berliner Forscher wüsste niemand warum.

Eine Stärke des LRP-Systems ist seine Vielseitigkeit. Die Forscher können es an verschiedene Machine-Learning-Systeme anpassen, sowie an verschiedene Aufgaben, nicht nur an die Analyse von Bildern oder Texten. 

Der Bedarf wird sicherlich wachsen. Die Hersteller autonom fahrender Autos werden nach einem Unfall wissen wollen, warum die Software des Fahrzeugs entschieden hat, gegen einen Baum zu fahren. Die Versicherung sowieso.

Künstliche Intelligenzen gläsern zu machen, "ist ein relativ neues Forschungsgebiet", sagt Lapuschkin. Die HHI-Gruppe wolle sich künftig darauf konzentrieren. Andere werden folgen, das Thema gewinnt gerade nicht nur in der Wissenschaft an Bedeutung.

Auch Militärs wird es interessieren, woran die KI einer Drohne einen vermeintlichen Feind am Boden erkannt hat. Erst recht, wenn sich herausstellt, dass es kein Feind war. Nicht umsonst fördert die Darpa, die Forschungsbehörde des US-Verteidigungsministeriums, gerade 13 verschiedene Firmen und Organisationen, die genau dieses Problem lösen wollen.