Anfang 2016 wurde die selbstlernende Software AlphaGo weltberühmt, als sie den koreanischen Großmeister Lee Sedol im Spiel Go schlug. Das Programm der Firma DeepMind hatte zunächst Millionen von Partien zwischen Menschen analysiert und ihre Fähigkeiten anschließend im Spiel gegen sich selbst verfeinert. Seither hat DeepMind seine Erfindung weiterentwickelt. AlphaGo Zero heißt die aktuelle Version, für "null menschliches Wissen". Sie ist praktisch unschlagbar.

Anders als die erste Version bekam AlphaGo Zero nur die Regeln des Spiels beigebracht, sonst nichts. Der Rest war sehr schnelles Learning by Doing. Oder, wie dieser Bereich des maschinellen Lernens im Fachjargon heißt: Reinforcement Learning. Nach 72 Stunden Training mit sich selbst besiegte das neue System das Programm von 2016 in hundert von hundert Partien, schreiben die Entwickler im Fachmagazin Nature.

DeepMind, ein Tochterunternehmen des Alphabet-Konzerns, zu dem auch Google gehört, spricht von "übermenschlicher Performance". Die soll der Go-Algorithmus in Zukunft auch jenseits von Spielen liefern. Mit geringfügigen Modifikationen soll er unter anderem helfen, neue medizinische Wirkstoffe zu finden, wie CEO Demis Hassabis im Gespräch mit Quartz sagte. Den Code will er allerdings unter Verschluss halten. AlphaGo Zero soll eine Blackbox bleiben, wie es viele andere Systeme mit künstlicher Intelligenz (KI) auch sind. Sogenannte Deep-Learning-Netzwerke, die den derzeitigen KI-Boom ausgelöst haben, sind auf einer bestimmten Ebene selbst für ihre Schöpfer undurchschaubar. Manche Wissenschaftler, Politiker und Aktivisten halten das für hochproblematisch. Nicht, weil sie Angst hätten vor einer Machtübernahme der Maschinen und dem Ende der Menschheit. Sondern weil sie automatisierte Entscheidungen und Fehler befürchten, die im Nachhinein niemand erklären und künftig verhindern kann.

Keine Blackbox-Algorithmen in öffentlichen Institutionen

Einen Tag vor DeepMinds offizieller Vorstellung von AlphaGo Zero hatte die Forscherin Kate Crawford die "zehn wichtigsten Empfehlungen des Jahres zum Thema künstliche Intelligenz" veröffentlicht. Crawford ist Mitgründerin des AI Now Institute, das den gesellschaftlichen Einfluss von KI auf Arbeit, Gesundheit, soziale Ungleichheit und Ethik untersucht. Ihre erste Empfehlung lautet: Öffentliche Einrichtungen von zentraler Bedeutung – wie jene, die für Justiz, Gesundheitsversorgung, Sozialhilfe und Bildung zuständig sind – sollten keine Blackbox-Algorithmen nutzen.

Zu viele derartige Programme stellen sich laut Crawford im Nachhinein als diskriminierend oder fehlerhaft heraus, mit potenziell gravierenden Folgen für die Betroffenen: Häftlinge, deren Rückfälligkeitsrisiko von einem einseitig trainierten Algorithmus zu ihrem Nachteil berechnet wird, weil sie Afroamerikaner sind, oder Asthma-Patienten mit Lungenentzündung, die nach Hause geschickt werden sollten, weil eine Software die Daten einer Uni-Klinik auf unerwartete Weise korreliert hatte.

Sie wünscht sich deshalb vor jeder Veröffentlichung von KI-Systemen "rigorose Tests, um sicherzugehen, dass sie nicht einseitig oder fehlerhaft sind", weil irgendetwas mit den Trainingsdaten, den Algorithmen oder anderen Elementen nicht stimmt. Vor und nach der Zulassung neuer Medikamente gebe es schließlich auch vorgeschriebene Tests. Dementsprechend sollten Unternehmen ihre künstlichen Intelligenzen nach der Veröffentlichung beobachten, und zwar mit größtmöglicher Transparenz und unter Einbeziehung jener betroffenen Gruppen, die im jeweiligen Anwendungsbereich häufig benachteiligt werden. Außerdem müssten laut Crawford sowohl neu entstehende, als auch bereits verwendete Trainingsdaten für selbstlernende Systeme besser dokumentiert und nachträglich von Experten auf Einseitigkeit untersucht werden.

Das klingt nach einem Algorithmus-TÜV, wie ihn unter anderem Bundesjustizminister Heiko Maas seit Jahren fordert, nur detaillierter. Aber so wie Maas und zuletzt der Wissenschaftliche Dienst des Bundestages lässt auch Crawford viele Fragen offen: Wer soll die künstlichen Intelligenzen und ihre Entscheidungen untersuchen? Wer soll definieren, welche KI-Outputs erwünscht oder neutral sind? Welche Rolle soll der Staat dabei spielen? Und vor allem: Müsste das alles nicht längst passieren?

Forscher von OpenAI, einem industrienahen Non-Profit-Unternehmen, formulieren die Situation so: "Fortschrittliche KI entwickeln und sie erst später sicher machen, ist wie das Internet aufbauen und anschließend versuchen, es sicher zu machen." Das ist keine hypothetische Warnung: Als sich abzeichnete, wie groß und weltverändernd das Netz werden würde, war es schon zu spät, Sicherheit noch zu einem Grundpfeiler des Designs zu machen. Techniken wie verschlüsselte Datenübertragungen wurden erst nachträglich und unvollständig eingeführt, deshalb sind das Internet und seine Nutzer bis heute auf unzähligen Ebenen angreifbar und manipulierbar.

"Wir haben noch Zeit"

Für die künstliche Intelligenz hingegen sei es noch nicht zu spät, sagt Geoffrey Irving aus dem Sicherheitsteam von OpenAI. Er unterscheidet zwischen zwei verschiedenen Techniken: dem Supervised Learning, das auf Input von Daten aus der Hand von Menschen angewiesen ist und typischerweise benutzt wird, um Objekte wie zum Beispiel Bilder zu klassifizieren, sowie dem Reinforcement Learning, das handelt und aus diesen Handlungen lernt – so wie AlphaGo Zero.

"Heutzutage", sagt Irving, "gehören die meisten eingesetzten Systeme zur ersten Kategorie. Die haben zwar auch ihre Probleme, darunter mögliche Einseitigkeit und damit Benachteiligung bestimmter Gruppen, aber sie werden wahrscheinlich nicht außer Kontrolle geraten." Reinforcement-Learning-Modelle hingegen hält er aufgrund ihrer weitgehenden Autonomie für gefährlicher, aber sie sind "noch nicht so verbreitet, wir haben also noch Zeit, sie sicher zu machen".

"Erst einmal mehr Forschung"

Wessen Aufgabe das ist – diesbezüglich legen sich auch Irving und seine Kollegen nicht fest. OpenAI betreibe Grundlagenforschung und habe nichts mit dem praktischen Einsatz von Systemen zu tun. Das Unternehmen befürworte zwar strenge Tests solcher Systeme, aber "wer die beaufsichtigen soll, dazu haben wir keine Meinung. Dazu bräuchte es erst einmal mehr Forschung, um geeignete Form der Regulierung zu finden".

Diese Antwort bekommt man nicht nur von KI-Experten aus den USA häufig zu hören, sondern zum Beispiel auch von Matthias Spielkamp, Mitgründer der deutschen Initiative AlgorithmWatch. Bisher ist er nur sicher, dass "eine ethische Überprüfung von KI-Systemen nicht nur während der Konzeptualisierung und Testphase notwendig ist, sondern auch bei der Implementierung in allen Kontexten". Den Einsatz von KI in öffentlichen Einrichtungen schlicht zu verbieten, hält Spielkamp für "nicht realistisch". Konkrete Vorschläge könne er aber noch nicht liefern.

"Explainable AI" ist noch ein junges Forschungsfeld

Geoffrey Irving rät Politikern wie Heiko Maas, lieber erst einmal den Fortschritt grundlegender KI-Technologien genau zu verfolgen und ihr Urteil nicht auf anekdotischem Wissen über Fälle von Diskriminierung durch KI zu fällen. Bevor man eine Aufsicht oder gesetzliche Vorschriften einführt, müsse man herausfinden, wie sich solche Probleme entdecken oder verhindern lassen. 

Einer, der das im Prinzip schon weiß, ist Wojciech Samek. Er ist Leiter der Forschungsgruppe Machine Learning im Fraunhofer Heinrich-Hertz-Institut in Berlin (HHI), wo in Zusammenarbeit mit der Technischen Universität Berlin eine Art Gehirnscan für künstliche Intelligenzen entwickelt wird – das Verfahren heißt Layer-wise Relevance Propagation (LRP). Auch Samek sagt: "Der Einsatz von Blackbox-Algorithmen ist in einigen Bereichen nicht zu verantworten."

LRP ist ein Verfahren, das Licht in die schwarzen Kisten bringt. Erstmals publiziert wurde es 2015, offiziell vorgestellt dann auf der diesjährigen CeBIT in Hannover. Vereinfacht gesagt, lässt LRP den "Denkprozess" künstlicher neuronaler Netze rückwärts ablaufen (wir erklären die derzeit boomenden KI-Modelle, ihre Geschichte und Funktionsweise hier). So wird nachvollziehbar, welcher Teil des Inputs welchen Einfluss auf das Ergebnis hatte. Mit einem Werkzeug wie LRP ließe sich also überprüfen, wie eine KI im Einzelfall zu einer medizinischen Diagnose oder einer Risikobewertung gekommen ist.

Beachtet ein Algorithmus das, was wirklich wichtig ist?

Das Forschungsfeld, explainable AI genannt – erklärbare KI –, ist noch relativ jung, sagt Samek, "seit gut drei Jahren erfährt es jedoch erhöhte Aufmerksamkeit". Neben LRP entstehen derzeit mehrere alternative Ansätze.

Am Massachusetts Institute for Technology (MIT) durchleuchten Forscher eine Blackbox, indem sie die Inputs – Satzteile oder Bildbereiche – immer wieder leicht verändern und beobachten, welchen Einfluss das auf den Output hat. Mit dieser Methode konnten sie gewisse Ungleichheiten in einer Übersetzungsanwendung nachweisen: Das geschlechtsneutrale Wort doctor wurde bei der Übersetzung englischer in französische Sätze tendenziell als männlich interpretiert, dancer hingegen als weiblich. Die MIT-Methode ist also geeignet, um einseitige Trainingsdaten oder im Algorithmus codierte Tendenzen zu identifizieren.

Der Chiphersteller Nvidia wiederum nimmt die Outputs höherer Schichten eines neuronalen Netzes und legt sie wie eine Maske auf die Outputs niedrigerer Schichten. So kann das Unternehmen nachvollziehen, welche Bereiche einer Kameraaufnahme in einem selbstfahrenden Auto vom Computer letztlich als relevant für eine Lenkbewegung angesehen wurden. Sie beantworteten damit eine Frage, die auch Samek umtreibt: "Wie können wir sicherstellen, dass der Algorithmus auf die Variable schaut, die uns wichtig ist?" In Bezug auf selbstfahrende Autos lautet diese Frage: Lenkt der Computer, weil er Straßenränder, Markierungen und andere Fahrzeuge erkennt – oder achtet er auf ganz andere Dinge, die nichts mit dem Verkehr und seinen Regeln zu tun haben?

Das ist offenbar der Stand der Dinge: Nicht nur die Technik der Blackboxes selbst, auch jene zum Durchleuchten steckt noch in der Entwicklungsphase. Und von wem und unter welchen Rahmenbedingungen sie mal eingesetzt werden soll, ist nicht einmal im Ansatz klar. Es besteht nur Einigkeit darüber, dass KI besonders im öffentlichen Raum nicht intransparent, unkontrolliert und unreguliert eingesetzt werden darf.

So klingt das auch bei DeepMind. Einer Unternehmenssprecherin zufolge teile man die Auffassung, dass "jede KI-Anwendung in der realen Welt sehr genau auf ethische und gesellschaftliche Folgen zu untersuchen" sei. Sie verweist dazu auf DeepMinds neue Ethik-Einheit, die genau dazu eingerichtet worden sei. Aber es ist möglicherweise bezeichnend, dass die Gruppe "parallel zu den Machine-Learning-Forschern arbeiten" wird – denn parallel heißt: nicht mit ihr zusammen.