Einerseits ist es verständlich, dass die Firmen ihre genauen Kriterien nicht preisgeben wollen, schließlich kann man einen Algorithmus auch als Geschäftsgeheimnis werten. In Deutschland hat der Bundesgerichtshof 2014 mit dieser Begründung entschieden, dass die Schufa nicht veröffentlichen muss, worauf sie die Kreditwürdigkeit von Menschen genau basiert. Andererseits gibt es dadurch keine Kontrollierbarkeit. Gerade bei selbst lernenden Algorithmen, deren Entscheidungen auch Entwicklerinnen und Entwickler nicht immer nachvollziehen können, ist das problematisch – man kann nur mutmaßen, wie es zu einer Entscheidung kommt.

Ökonomisches Schubladendenken

"Der Fall von David Heinemeier Hansson zeigt, dass die Betreibenden teilweise nicht erklären können, wie eine Entscheidung genau getroffen wird", sagt Carsten Orwat. Er forscht am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des Karlsruher Instituts für Technologie (KIT). Weil niemand so genau wisse, wie es zu einer Bewertung komme, können sich Menschen nur schlecht gegen die Entscheidungen wehren.

Denn auch wenn es bei Goldman Sachs so klingt, als würde jeder Kunde einzeln bewertet – so ist es wahrscheinlich nicht. Die Algorithmen können letztlich nur Korrelationen in den Daten erkennen. Dafür gleichen sie die Daten einer Person, die einen Kredit will, mit Daten von Menschen mit ähnlichen Merkmalen ab. Aus diesen Berechnungen entsteht der credit score: Er besagt, wie kreditwürdig eine Person ist.

'Credit scores' sind keine individuelle Prognose über eine Rückzahlungswahrscheinlichkeit.
Carsten Orwat vom Karlsruher Institut für Technologie

Das heißt: Wohnt jemand zum Beispiel in Hamburg-Blankenese, hat all seine Kredite immer pünktlich zurückgezahlt und shoppt regelmäßig bei Louis Vuitton oder Chanel, liegen seine Chancen auf einen Kredit wahrscheinlich höher als die einer Person, die in Berlin-Marzahn lebt, noch nie einen Kredit aufgenommen hat und bei Kik einkauft – auch wenn diese Kriterien erst einmal wenig über die tatsächliche Lebenssituation aussagen.

Aus Sicht der Firmen ist das effizient, weil es viel zu aufwendig wäre, jede Person einzeln zu bewerten. Man verlässt sich darauf, dass diese Durchschnittswerte im Großen und Ganzen schon richtig liegen werden. "Credit scores sind jedoch keine individuelle Prognose über eine Rückzahlungswahrscheinlichkeit", sagt hingegen Wissenschaftler Orwat. Stattdessen werde eine Person anhand bestimmter Kriterien bestimmten Klassen oder Gruppierungen zugeordnet, von denen man ein bestimmtes Verhalten in der Zukunft erwarte.

Alles Klassenfragen

Wozu das führen kann, zeigt ein Beispiel aus Skandinavien, das Orwat in einer Studie für die Antidiskriminierungsstelle des Bundes beschreibt: Ein schwedisches Unternehmen gewährte einem Mann keinen Kredit, weil er in drei Kategorien fiel, die es mit Rückzahlungsproblemen in Verbindung brachte – er sprach Finnisch, war männlich und lebte in einer Gegend, für die keine Kreditwerte vorlagen. Das Fazit: Hätte der Mann Schwedisch gesprochen oder wäre er eine Frau gewesen, wäre die Entscheidung wohl anders ausgefallen.

Kein Einzelfall: In den USA hat ein Forscherteam herausgefunden, dass Afroamerikaner und Latinos in algorithmengestützten Kreditvergabeprozessen schwerer an eine Hypothek kommen und schlechtere Konditionen erhalten (Bartlett et al., 2019).

"In diesen auf Korrelationen basierenden Gruppen- und Kategorienbildungen gibt es eine hohe Wahrscheinlichkeit, dass Fehler auftreten und individuelle Fälle oder ganze Gruppen falsch zugeordnet werden", sagt Carsten Orwat. In der Fachsprache spricht man auch von statistischer Diskriminierung.

Bezogen auf den Fall von Jamie Hansson bedeutet das: Da Frauen weniger verdienen, könnte es sein, dass es dem Algorithmus nur logisch erscheint, einer Frau einen geringeren Kredit zu gewähren – auch wenn im Einzelnen ihr tatsächliches Einkommen und Vermögen etwas anderes andeuten.

Wer hat den Plan?

Nun liegt das nicht allein an den Algorithmen, sondern auch an den Daten, mit denen sie arbeiten. Die Systeme hinterfragen nicht deren Aussagekraft, sondern erkennen lediglich Muster der Vergangenheit. Zum Problem wird das, wenn der Einfluss dieser Ergebnisse beispielsweise auf die Kreditvergabe so dominant ist, dass die Ergebnisse der Maschinen kaum noch infrage gestellt werden. So wie im Fall von Jamie Hansson – der offenbar niemand sagen mochte oder konnte, was eigentlich zu dem kleineren Kreditrahmen geführt hatte.

Die schlechte Erklärbarkeit durch die Betreibenden sei symptomatisch für die Diskriminierung durch selbst lernende Algorithmen, sagt Wissenschaftler Orwat. Und je mehr Akteure involviert sind, desto komplizierter wird es für die Nutzerinnen und Nutzer – weil gar nicht klar ist, welche Bewertung sie nun einen Kredit gekostet hat: Hat mich eine Auskunftei in eine bestimmte Kategorie gesteckt? Oder war es das Kreditinstitut? Welches Kriterium hat den Ausschlag gegeben? Die zu spät bezahlte Handyrechnung vor einem Jahr? Oder doch der Wohnort?

Ein weiteres Problem: Man müsse erst einmal Beweise dafür finden, dass man schlechter behandelt werde als eine Vergleichsperson, sagt Carsten Orwat. Diese Indizien seien im Digitalen aber schwer beizubringen. Als Beispiel nennt er Websites, bei denen Algorithmen zielgerichtete Werbung oder Angebote für Personen differenzieren. Teilweise bekomme man gar nicht mit, dass man gerade diskriminiert werde, weil man nur ein bestimmtes Angebot auf einer Website sieht und nicht weiß, dass andere Menschen ein anderes angezeigt bekommen.

Orwats Ansicht nach müsse man schon ansetzen, bevor jemand überhaupt diskriminiert werde: "Im Optimalfall sollte es kommunikative Prozesse geben, sodass jede Person vor einer Entscheidung ihr Selbstbild einbringen kann", sagt der Wissenschaftler. Die Kundin oder der Kunde könnte dann bereits vorab die eigene Sicht einbringen und beispielsweise erklären, warum man nicht in eine bestimmte Gruppe fällt oder ein bestimmtes Kriterium nicht zutrifft. Letztlich sei es eine gesellschaftliche Entscheidung, wie man das Generalisierungsunrecht, das durch Differenzierungen mithilfe von algorithmischen Systemen entsteht, und die Effizienzvorteile abwäge, so Orwat. Das wäre natürlich deutlich aufwändiger als das bisherige Prozedere, würde dem Kunden oder der Kundin aber die Möglichkeit geben, Fehleinschätzungen zu kommentieren, bevor sie passiert sind.