Rassismus ordnet unser Denken und Zusammenleben. Mit der Serie "Alltag Rassismus" wollen wir herausfinden, warum das so ist, was das für die Gesellschaft bedeutet und wie es sich verändern ließe. In diesem Teil erklärt Eva Wolfangel, warum sogar Technik nicht frei von rassistischen Mustern ist.

Wir Menschen wissen nicht alles, aber zumindest wissen wir das: Wir treffen Entscheidungen, indem wir Fakten, Halbwissen, Vorlieben, Vorurteile und die Erwartung persönlicher Vorteile vermischen – in der Hoffnung, damit am Ende richtigzuliegen. Wirklich objektive Entscheidungen gibt es nicht. Um diesem Problem entgegenzuwirken, vertrauen wir zunehmend auf Maschinen. Computer und Algorithmen sollen uns nun von Vorurteilen befreien. Entwicklungen auf dem Gebiet der künstlichen Intelligenz sollen uns Entscheidungen nicht nur abnehmen, sondern bessere und objektivere Entscheidungen treffen.

So weit die Idee. Zuletzt aber geschah Folgendes: Eine Google-Software beschriftete das Foto einer Afroamerikanerin mit "Gorilla". Wenn die Menschen "professionelle Frisur" googelten, tauchten in den ersten Ergebnissen der Bildersuche nur blonde Flechtfrisuren auf. In der Endauswahl eines maschinell entschiedenen Schönheitswettbewerbs landeten nur weiße Kandidatinnen. Eine Software der neuseeländischen Passbehörde verweigerte die Anerkennung asiatischer Pässe, der Algorithmus ging davon aus, dass die Augen der Abgebildeten geschlossen waren. Und ein System, das Richterinnen und Richtern helfen sollte, zu entscheiden, welche Häftlinge vorzeitig entlassen werden sollten, war der Ansicht, dass eine dunkle Hautfarbe das entscheidende Kriterium für eine hohe Rückfallwahrscheinlichkeit für Straftaten sei. Und das ist nur ein Beispiel dafür, was beim Predictive Policing – so der Fachbegriff für Polizeiarbeit auf Basis von Verbrechensprognosen – schiefgehen kann.

"Wir dachten, dass Algorithmen bessere Entscheidungen treffen könnten, beispielsweise bei der vorhersagenden Polizeiarbeit oder bei der Personalauswahl", sagt die US-amerikanische Techniksoziologin Zeynep Tüfekçi ZEIT ONLINE, "aber dieser Traum ist ausgeträumt."

Dass sich Software nicht nur irrt, sondern erstaunlich konsequent Bevölkerungsgruppen diskriminiert, also ein rassistisches Bias zeigt, ist auf zwei Ursachen zurückzuführen. Die erste ist schnell erklärt: Die modernen Algorithmen lernen auf der Grundlage von ausgewählten Trainingsdaten, also beispielsweise Informationen darüber, wie Menschen diese Entscheidungen bislang getroffen haben. Und sie erkennen darin Muster. Wenn aber bereits die Trainingsdaten von den Entwicklern unzureichend ausgewählt wurden, reproduzieren die Algorithmen das Problem. Die Computerprogramme selbst sind nicht rassistisch, aber sie können anhand der Daten diskriminierende Ergebnisse hervorbringen. Eigentlich sei es ganz einfach, sagt Margaret Mitchell von Google Research in Seattle: "Steckt man Müll rein, kommt Müll raus." Oder eben: "Stecken wir Vorurteile rein, kommen Vorurteile raus."

Steckt man Müll rein, kommt Müll raus.
Margaret Mitchell, Leitende Wissenschaftlerin bei Google Research

Diese seien allerdings meist nicht offensichtlich, weshalb sie zunächst nicht bemerkt würden. "Wir haben heute dank der Deep-Learning-Revolution mächtige Technologien", sagt Mitchell, "die Tendenzen in den Daten werden manchmal aber erst durch den Output der Systeme sichtbar." Anders gesagt: Was falsch läuft, erkennt man häufig erst am Ende. Und das auch nur, wenn sich die Entwickler und Entwicklerinnen darüber bewusst seien, dass sie die Ergebnisse infrage stellen müssen.

Man könnte das Problem angehen, indem man die Trainingsdaten inklusiver gestaltet. Eine Software zur Gesichtserkennung etwa darf nicht nur mit einer Bilddatenbank von Mitteleuropäern gefüttert werden, sondern muss auch Menschen mit dunkler Hautfarbe und Gesichter von Asiaten korrekt erkennen. Dann hätte Googles Software vielleicht eine Schwarze nicht mit einem Gorilla verwechselt. Allerdings müsste es dazu erst einmal entsprechend umfassende Datensätze geben. Und selbst dann gebe es noch keine Lösung, wie man diskriminierende Tendenzen in den Trainingsdaten systematisch aufspüren könne, sagt Mitchell: "Diese Technologie muss erst noch entwickelt werden. Damit müssen wir uns jetzt beschäftigen, denn diese Systeme sind die Grundlage für die Technologien der Zukunft."