Dieser Emmanuel Macron! Dankt am Abend seines Wahlsieges seinen "amerikanischen Mitbürgern" für ihr Vertrauen! Wer Macrons Tweet vom 7. Mai las, der musste sich wundern – jedenfalls hierzulande und in Amerika. In der automatischen Übersetzung, die Twitter deutschen Nutzern anbot, war von "tiefer Dankbarkeit" gegenüber den "amerikanischen Mitbürgern" die Rede. Auch in den USA wurde Macrons Anrede "mes chers compatriotes" als "my fellow Americans" übersetzt. Dabei bedeutet compatriotes im Französischen schlicht "Mitbürger". Über Amerikaner hatte Macron kein Wort verloren. Wie Twitter nur darauf kam?

Das scheinbare Rätsel ist ein Glücksfall. Zumindest für Joanna Bryson. Just drei Wochen zuvor hatte die Spezialistin für maschinelles Lernen von der University of Bath in der Forschungszeitschrift Science vor solchen Fällen gewarnt. In ihrem Artikel hatte Bryson beschrieben, wie sprachverarbeitende Algorithmen lernen, und kritisiert, dass diese dabei die unbewussten (Vor-)Urteile der Menschen übernähmen. Anders gesagt: Auch künstliche Intelligenz hat Schlagseite. Doch die brisante These vom vorurteilsbeladenen Computer erregte kaum Aufmerksamkeit. Stattdessen schlug Bryson Skepsis entgegen. Wo denn die Beispiele aus dem echten Leben seien, wurde sie immer wieder gefragt – bis zu Macrons Tweet. Seither sind die Kritiker verstummt. "Das ist ein super Beispiel für unsere neueste Forschung über maschinelle Sprachverarbeitung", sagt Bryson.

Zwei Techniken sind es, die auf dramatische Art und Weise die Fähigkeit von Computern verbessert haben, Bilder oder Sprache zu "verstehen". Maschinenlernen (kurz: ML) nennt sich die eine Technik, die darauf hinausläuft, dass Computer sich selbst etwas beibringen, indem sie in großen Datensätzen nach Mustern suchen. Die zweite hört auf den Namen tiefe neuronale Netze (deep neural networks, DNN); diese versuchen, die Arbeitsweise des Gehirns mit seinen vielfältigen Verbindungen in einer Software zu imitieren. Beide Techniken laufen darauf hinaus, dass Computer auf ähnliche Art lernen, wie es vermutlich auch Menschen tun. Damit aber, so hat Joanna Bryson zusammen mit der Informatikerin Aylin Caliskan von der Princeton University gezeigt, schnappen die Maschinen auch allerhand typisch menschliche Vorurteile, Stereotype und diskriminierende Ansichten auf.

Wie genau die neuronalen Netze jeweils zu ihren Schlüssen kommen, lässt sich kaum nachvollziehen. Für Forscher sind sie weitgehend eine Blackbox. Zumindest aber kann man ihnen beim Lernvorgang zusehen. Füttert man eine Maschine mit Texten, damit sie sich daraus die menschliche Sprache erschließt, geht sie nach Brysons Theorie ganz ähnlich vor wie kleine Kinder: Die lernen keine Definitionen, sondern versuchen, die Bedeutung von Wörtern oder Sätzen aus dem Zusammenhang zu erfassen. Je mehr Vergleichstext vorliegt, desto besser. Für die Maschinen ist dank des Internets der Nachschub quasi endlos – das lädt aber auch zu Fehlschlüssen ein.

So hätten frühere, regelbasierte Verfahren für Computerdolmetscher etwa das Wort compatriotes wörtlich übersetzt (es existiert sogar buchstaben- und sinngleich im Englischen). Dagegen sucht die neue Technik nach einer Bedeutung, indem sie große Datenmengen vergleicht. Sie erzeugt sozusagen Semantik per Statistik. Und statistisch gilt für die Mehrheit aller Präsidentenansprachen: Wenn darin der Satz "Liebe XY, vielen Dank für Ihr Vertrauen" vorkommt, steht XY meist für die Wörter "fellow Americans", amerikanische Mitbürger. Denn fast jede Rede eines US-Präsidenten beginnt mit dieser Floskel.

Schlecht bezahlte Jobs werden automatisch Frauen zugeordnet, gut bezahlte Männern

Bliebe es bei solchen gelegentlichen Kuriositäten, könnte man diese den Maschinen noch nachsehen. Denn insgesamt ist die maschinelle Übersetzung deutlich besser geworden. Aber hier geht es um mehr. Und ein Blick in die Vorurteilsforschung hilft, zu verstehen, was an der Sache heikel ist.

Um unbewusste Vorurteile bei Menschen zu untersuchen, bedienen sich Psychologen für gewöhnlich des sogenannten Implicit Associations Test (IAT). Dieser misst, wie lange ein Proband benötigt, um zwei Begriffe miteinander in Verbindung zu bringen. Kommen ihm deren Bedeutungen ähnlich vor, ist die Reaktionszeit kürzer, als wenn ihm die dahinterstehenden Konzepte semantisch inkompatibel erscheinen. So assoziieren Menschen etwa Blumennamen eher mit Adjektiven wie "schön" oder "hübsch", Insekten dagegen eher mit negativen Begriffen.

Informatiker können zeigen, dass Maschinen ganz ähnliche Assoziationen produzieren. Sichtbar werden sie im sogenannten Word-to-Vec-Verfahren, das Bryson gewissermaßen als maschinelle Variante des IAT nutzt. Dieses Verfahren ist üblich in der Computerlinguistik, um Semantik zu erfassen: Wörter werden danach sortiert, welche anderen Wörter häufig in ihrem Umfeld auftauchen. Klingt abstrakt? Ein Aufsatz von Wissenschaftlern der Boston University und Forschern bei Microsoft Research bringt das Problem schon im Titel auf den Punkt: Man is to Computer Programmer as Woman is to Homemaker "Mann verhält sich zu Programmierer wie Frau zu Haushaltshilfe". Der im vergangenen Jahr veröffentlichte Aufsatz wird seit Monaten unter Computerlinguisten heftig diskutiert. Zeigt er doch, dass die Algorithmen nach der statistischen Auswertung menschlicher Texte ein altmodisches Rollenbild reproduzieren.

Algorithmen verstärken umbewusste Diskriminierungen

Anhand vieler solcher Beispiele haben Bryson und Caliskan untersucht, wie sich das Weltbild der Maschinen zusammensetzt. Sie fanden dabei unter anderem heraus, dass die künstliche Intelligenz Blumen ebenso wie europäisch-amerikanische Vornamen mit positiven Begriffen assoziiert, wohingegen Insekten genau wie afroamerikanische Namen eher mit negativen Begriffen verbunden werden. Die Namen junger Menschen werden eher als angenehm, jene von älteren eher als unangenehm eingestuft. Und vor allem: Männliche Namen werden semantisch automatisch in die Nähe von Karrierebegriffen gerückt, weibliche Namen hingegen eher mit Familie assoziiert. Ebenso wird Mathematik mehr mit Männern in Verbindung gebracht, Kunst mehr mit Frauen – die Maschinen denken also genauso in Rollenklischees wie Menschen.

Nicht nur das ist Aylin Caliskan aufgefallen. Die Informatikerin, die fünf Sprachen spricht, hat auch die oft einseitigen Tendenzen bei Übersetzungen enttarnt. "Mir war sofort klar, dass etwas nicht stimmte", erinnert sie sich. Schon beim ersten Einsatz des Übersetzungsprogramms Google Translate hatte sie ein Problem bemerkt, das bis heute besteht: Die türkische Sprache kennt im Unterschied zum Deutschen oder Englischen keine grammatikalischen Geschlechter. "O bir doktor" kann ebenso "Sie ist Ärztin" heißen wie "Er ist Arzt". Bei Google Translate aber wird der doktor konsequent zum männlichen Arzt, Pflegeberufe hingegen werden stets Frauen zugeschrieben. Dass es auch Kranken pfleger gibt, scheint das Programm nicht zu wissen.

"Schlecht bezahlte Jobs werden Frauen zugeordnet, gut bezahlte Männern", beschreibt Caliskan das maschinelle Muster. Damit reproduzierten die Computer "ein perfektes Abbild unserer Gesellschaft" – mit all ihren Ungleichheiten. Nun stelle man sich vor, eine solche Software helfe zum Beispiel in einer Personalabteilung bei der Vorauswahl von Bewerbern für ein Vorstellungsgespräch. Was, wenn die künstliche Intelligenz alle Bewerberinnen für eine freie Arztstelle von vornherein aussortiert?

Wie schon heute unbewusste Verzerrungen durch Computer verstärkt werden, zeigt beispielhaft das predictive policing, eine Voraussagesoftware für Streifenpolizisten. Auf Basis der Kriminalitätsstatistik geben solche Programme den Beamten Hinweise, in welchen Stadtgebieten sie verstärkt Streife fahren sollten. Auch hier liefert die Statistik kein neutrales Abbild der Wirklichkeit. Gilt etwa eine Gegend als heißes Pflaster, werden Polizisten dort verstärkt nach dem Rechten sehen – und damit fast zwangsläufig auch häufiger Straftaten protokollieren. Damit schaffen sie Daten, auf deren Basis die Software in ebendiesen Gegenden eine noch größere Polizeipräsenz verlangt – was sich gegenseitig hochschaukelt.

Doch es gibt eine Hoffnung: Wenn Algorithmen unbewusste Diskriminierungen verstärken, könnten sie uns nicht ebenso helfen, diese zu erkennen? Die Herausforderung ist nur, diese Verzerrung auch zu bemerken. Die Forscher arbeiten bereits an Methoden, mit denen man aus der Blackbox zumindest eines auslesen kann: welche Faktoren ein Algorithmus besonders stark gewichtet. Ist etwa die Hautfarbe der zentrale Faktor, wenn ein Computer Polizisten vorschlägt, einen Menschen zu kontrollieren?

Solche Verzerrungen, das weiß man, schleichen sich auch in die Bilderkennung ein. Wer zum Beispiel bei Google nach Fotos zu dem Begriff "Hände" sucht, erhält vor allem Bilder von weißen Händen; und in einem Schönheitswettbewerb, bei dem der Computer Vorab-Juror spielen durfte, landeten nur weiße Kandidatinnen in der Endauswahl.

"Neu ist, dass immer mehr von diesen peinlichen, ärgerlichen Dingen passieren", sagt der Informatiker Suresh Venkatasubramanian von der University of Utah. Seit mehr als zehn Jahren beschäftigt er sich mit der Frage, wie die Entscheidungen von Algorithmen zuverlässiger werden können. "Solche Probleme tauchen gerade überall auf", sagt er. So erkannte eine Software der neuseeländischen Passbehörde keine asiatischen Pässe an, da der Algorithmus die mandelförmigen Augenlider der Abgebildeten als geschlossen einstufte. Im Jahr 2015 hatte die damals neue automatische Bilderkennungsfunktion der App Google Photos ein Bild mit zwei dunkelhäutigen Menschen als "Gorillas" etikettiert. Der Fall machte Schlagzeilen, der Konzern entschuldigte sich sofort.

Es fehlen Formeln für Gerechtigkeit

"Lange Zeit dachten wir, wir spielen ein Spiel", sagt Venkatasubramanian, vieles wurde ja nur im Labor erprobt. "Aber jetzt sehen wir, dass unsere Forschung Menschen ins Gefängnis bringen kann." In den USA etwa errechnete die Software Compas, die dort seit Jahren routinemäßig zur Risikobewertung Straffälliger eingesetzt wird, dass die Hautfarbe der entscheidende Faktor für Kriminalität sein müsse: Schließlich hatten Richter in der Vergangenheit Farbige zu längeren Haftstrafen verurteilt. Folgerichtig schlug die künstliche Intelligenz Richtern vor, Schwarze auch künftig härter zu bestrafen.

Was fehlt, ist ein Algorithmus für Gerechtigkeit. Nur: Was ist wirklich gerecht?

"Wir haben diese Tools in die Welt gebracht, ich fühle mich jetzt auch verantwortlich dafür", sagt Venkatasubramanian. Er ist Mitbegründer einer neuen Bewegung in der Informatik für "Fairness, Rechenschaft und Transparenz beim Maschinenlernen" (www.fatml.org). Zunächst verfolgten die Initiatoren die Idee, sämtliche Verzerrungen aus jenen Daten zu löschen, mit denen die Maschinen trainieren, mit denen die neuronalen Netzwerke also sozusagen geeicht werden. Damit der Algorithmus keine Vorurteile über Hautfarben oder Geschlechter lernt, könnte man diese Merkmale ja entfernen. Doch die Idee wurde schnell verworfen. "Viele Variablen codieren andere Variablen", sagt Sorelle Friedler vom Haverford College in Philadelphia, eine Mitstreiterin von Venkatasubramanian.

So hatten Journalisten des Recherchebüros ProPublica zeigen können, dass die Gerichts-Software Compas die Hautfarbe eines Straffälligen aus Drittvariablen, etwa dem Wohnort und dem Namen, errechnet hatte. Friedler betont: "Man kann nicht alle Attribute löschen, die möglicherweise zu Diskriminierung führen könnten, denn dann müsste man fast alle Daten löschen." Zumal uns Menschen vieles nicht einmal bewusst ist. Vorurteils-Jägerin Joanna Bryson drückt es so aus: "Die Verzerrung in den Daten ist historisch, das ist unsere Kultur."

Dann kann künstliche Intelligenz plausiblermaßen auch nicht selbst darauf stoßen. Denn Vorurteile, Verzerrungen und Ungerechtigkeiten erkennt erst, wer den Status quo an einem gesellschaftlichen Ideal misst. Das müssten Menschen den Maschinen zuerst einmal vermitteln – in eindeutigen mathematischen Formeln. Was fehlt, sind also Formeln für Gerechtigkeit. Nur: Wie sollen die aussehen? Nehmen wir ein relativ simples Beispiel, nämlich dass Männer und Frauen auf dem Arbeitsmarkt gleiche Chancen haben sollen. Klingt ziemlich unstrittig. Doch woran soll ein Algorithmus "gleiche Chancen" erkennen? Ist jede Gruppe ungleich, in der Frauen und Männer nicht fifty-fifty vertreten sind?

Noch einen Schritt weiter gedacht: Wie illusorisch erscheint es, soziale Verzerrungen algorithmisch ausgleichen zu wollen? Sollte zum Beispiel eine Software, die Bewerber automatisch für ein Vorstellungsgespräch auswählt, darauf achten, dass Männer und Frauen in der Auswahl genau gleich verteilt sind? Oder sollte sie sich an der Geschlechterverteilung aller Bewerbungen orientieren? Oder das Geschlecht gänzlich ausblenden? Und welche Faktoren müssten für eine gerechte Verteilung ebenfalls bedacht werden? Qualifikation? Hautfarbe? Alter? – So schnell zerrinnt das vermeintlich simple Beispiel in einer langen Liste von Fragen.

Nur ein wohldefiniertes Problem lasse sich auch in eine Formel gießen, sagt der kritische Informatiker Suresh Venkatasubramanian. Aber was sei Gerechtigkeit? "Wenn du fünf Politiker oder Philosophen fragst", stöhnt Venkatasubramanian, "bekommst du fünf verschiedene Antworten." Wie erklärt man das nun bitte einer künstlichen Intelligenz?

Diesen Artikel finden Sie als Audiodatei im Premiumbereich unter www.zeit.de/audio