Anhand vieler solcher Beispiele haben Bryson und Caliskan untersucht, wie sich das Weltbild der Maschinen zusammensetzt. Sie fanden dabei unter anderem heraus, dass die künstliche Intelligenz Blumen ebenso wie europäisch-amerikanische Vornamen mit positiven Begriffen assoziiert, wohingegen Insekten genau wie afroamerikanische Namen eher mit negativen Begriffen verbunden werden. Die Namen junger Menschen werden eher als angenehm, jene von älteren eher als unangenehm eingestuft. Und vor allem: Männliche Namen werden semantisch automatisch in die Nähe von Karrierebegriffen gerückt, weibliche Namen hingegen eher mit Familie assoziiert. Ebenso wird Mathematik mehr mit Männern in Verbindung gebracht, Kunst mehr mit Frauen – die Maschinen denken also genauso in Rollenklischees wie Menschen.

Nicht nur das ist Aylin Caliskan aufgefallen. Die Informatikerin, die fünf Sprachen spricht, hat auch die oft einseitigen Tendenzen bei Übersetzungen enttarnt. "Mir war sofort klar, dass etwas nicht stimmte", erinnert sie sich. Schon beim ersten Einsatz des Übersetzungsprogramms Google Translate hatte sie ein Problem bemerkt, das bis heute besteht: Die türkische Sprache kennt im Unterschied zum Deutschen oder Englischen keine grammatikalischen Geschlechter. "O bir doktor" kann ebenso "Sie ist Ärztin" heißen wie "Er ist Arzt". Bei Google Translate aber wird der doktor konsequent zum männlichen Arzt, Pflegeberufe hingegen werden stets Frauen zugeschrieben. Dass es auch Kranken pfleger gibt, scheint das Programm nicht zu wissen.

"Schlecht bezahlte Jobs werden Frauen zugeordnet, gut bezahlte Männern", beschreibt Caliskan das maschinelle Muster. Damit reproduzierten die Computer "ein perfektes Abbild unserer Gesellschaft" – mit all ihren Ungleichheiten. Nun stelle man sich vor, eine solche Software helfe zum Beispiel in einer Personalabteilung bei der Vorauswahl von Bewerbern für ein Vorstellungsgespräch. Was, wenn die künstliche Intelligenz alle Bewerberinnen für eine freie Arztstelle von vornherein aussortiert?

Wie schon heute unbewusste Verzerrungen durch Computer verstärkt werden, zeigt beispielhaft das predictive policing, eine Voraussagesoftware für Streifenpolizisten. Auf Basis der Kriminalitätsstatistik geben solche Programme den Beamten Hinweise, in welchen Stadtgebieten sie verstärkt Streife fahren sollten. Auch hier liefert die Statistik kein neutrales Abbild der Wirklichkeit. Gilt etwa eine Gegend als heißes Pflaster, werden Polizisten dort verstärkt nach dem Rechten sehen – und damit fast zwangsläufig auch häufiger Straftaten protokollieren. Damit schaffen sie Daten, auf deren Basis die Software in ebendiesen Gegenden eine noch größere Polizeipräsenz verlangt – was sich gegenseitig hochschaukelt.

Doch es gibt eine Hoffnung: Wenn Algorithmen unbewusste Diskriminierungen verstärken, könnten sie uns nicht ebenso helfen, diese zu erkennen? Die Herausforderung ist nur, diese Verzerrung auch zu bemerken. Die Forscher arbeiten bereits an Methoden, mit denen man aus der Blackbox zumindest eines auslesen kann: welche Faktoren ein Algorithmus besonders stark gewichtet. Ist etwa die Hautfarbe der zentrale Faktor, wenn ein Computer Polizisten vorschlägt, einen Menschen zu kontrollieren?

Solche Verzerrungen, das weiß man, schleichen sich auch in die Bilderkennung ein. Wer zum Beispiel bei Google nach Fotos zu dem Begriff "Hände" sucht, erhält vor allem Bilder von weißen Händen; und in einem Schönheitswettbewerb, bei dem der Computer Vorab-Juror spielen durfte, landeten nur weiße Kandidatinnen in der Endauswahl.

"Neu ist, dass immer mehr von diesen peinlichen, ärgerlichen Dingen passieren", sagt der Informatiker Suresh Venkatasubramanian von der University of Utah. Seit mehr als zehn Jahren beschäftigt er sich mit der Frage, wie die Entscheidungen von Algorithmen zuverlässiger werden können. "Solche Probleme tauchen gerade überall auf", sagt er. So erkannte eine Software der neuseeländischen Passbehörde keine asiatischen Pässe an, da der Algorithmus die mandelförmigen Augenlider der Abgebildeten als geschlossen einstufte. Im Jahr 2015 hatte die damals neue automatische Bilderkennungsfunktion der App Google Photos ein Bild mit zwei dunkelhäutigen Menschen als "Gorillas" etikettiert. Der Fall machte Schlagzeilen, der Konzern entschuldigte sich sofort.