Die zweite Ursache für ein rassistisches Bias von Algorithmen liegt weniger im Input als im Output. Die neuen Systeme des maschinellen Lernens sind dermaßen konsequente und perfekte Korrelationsaufspürmaschinen, dass sie Zusammenhänge erkennen, die uns Menschen nicht bewusst sind. Beispielsweise fanden Systeme zur automatischen Auswahl von Kandidatinnen und Kandidaten für ein Bewerbungsgespräch in den USA einen Zusammenhang zwischen steigender Entfernung vom Wohn- zum Arbeitsplatz und der Fluktuation entsprechender Mitarbeiter, erklärt Zeynep Tüfekçi.

Der Computer riet den Unternehmen in diesem Fall zu Bewerberinnen oder Bewerbern, die näher am Firmensitz wohnen. "In den USA benachteiligt diese Korrelation aber vermehrt Schwarze, weil die häufiger in den Außenbezirken leben", sagt Tüfekçi. Der Computer sortierte also Afroamerikaner aus, selbst wenn er keine Information über ihren ethnischen Hintergrund oder die Hautfarbe hatte. Die in den USA verbreitete Praxis, keine Bewerbungsfotos zuzulassen und Namen zu anonymisieren, half hier also nicht.

Auch im Fall der schwarzen Strafgefangenen, denen ein Algorithmus eine höhere Rückfallwahrscheinlichkeit attestierte und den die Journalistenvereinigung Pro Publica 2017 aufgedeckt hatte, war die Hautfarbe nicht in den Daten hinterlegt. Aber das System fand Korrelationen zwischen Wohnort, Lebensumständen und der Hautfarbe. 

Technik ist nicht gerecht, sie ist nicht objektiv.
Tobias Matzner, Technikethiker

Es wird kaum möglich sein, alle Merkmale zu entfernen, an denen sich der Algorithmus nicht orientieren soll, sagt Sorelle Friedler, Informatikerin am Haverford College nahe Philadelphia. Sie habe das selbst mit einem Forschungsdatensatz ausprobiert: "Du kannst alles entfernen, was aus deiner Sicht auf die Hautfarbe schließen lässt, und dann versuchen, mit dem Computer die Hautfarbe vorherzusagen", sagt Friedler. In vielen Fällen gelinge das dem Computer. Wieso? Das sei für Menschen kaum nachvollziehbar. Die algorithmischen Verfahren stellen häufig eine Blackbox dar, selbst für die Entwickler. "Wenn du jedes Attribut entfernst, aus dem das System die Hautfarbe schließen könnte, entfernst du am Ende alle deine Daten."

Merkmale zu löschen ist für Friedler also keine Lösung. Sie hofft vielmehr auf algorithmische Verfahren, die sich selbst erklären. Sie möchte also die Blackbox öffnen, um nachzuverfolgen, wie Algorithmen zu ihren Entscheidungen kommen. So sollen die Systeme zuverlässiger werden. Ein Konzept präsentierten jüngst einige Forscher der Non-Profit-Organisation OpenAI: Sie wollen zwei Algorithmen dazu bringen, in menschlicher Sprache über ihren Entscheidungsprozess zu diskutieren. Die Forscher könnten dieses Gespräch dann verfolgen und den Systemen jene Faktoren entlocken, auf denen eine Entscheidung basiert.

Zu wissen, wie ein Algorithmus zu seinen Ergebnissen kommt, löst aber noch nicht das Problem der falschen Anwendung. Für Tobias Matzner, Technikethiker und Informatiker an der Uni Paderborn, ist deshalb schon der Ansatz falsch, durch Technik Objektivität herstellen zu wollen. "Technik ist nicht gerecht, sie ist nicht objektiv", sagt er. Die Idee, dass man die Blackbox nur öffnen und schauen müsse, ob das "Richtige" drinsteht, hält er für falsch. "Das suggeriert, dass wir wissen, was richtig ist."