David Heinemeier Hansson muss ziemlich wütend gewesen sein auf Apple. Genauer gesagt: auf die Apple Card, die Kreditkarte des Unternehmens, die seit August in den USA verfügbar ist. Und wie man das eben so macht als einflussreicher Softwareentwickler mit gut 360.000 Twitter-Followern, tat er diesen Ärger von einigen Tagen auf Twitter kund.

Die Apple Card sei "verdammt sexistisch", schrieb er in einer Serie von Tweets. Seine Frau Jamie und er gäben gemeinsame Steuererklärungen ab und lebten in einer Errungenschaftsgemeinschaft – dennoch habe er einen 20-mal höheren Kreditrahmen als seine Partnerin. Dabei habe sie sogar eine höhere Bonität, wird also als kreditwürdiger eingestuft als er.

Der Tweet ging viral: Fast 10.000-mal wurde der Beitrag geteilt, nahezu 30.000-mal geliked. Und der Kreditrahmen von Jamie Hansson wurde plötzlich doch erhöht. Der Fall war damit nicht erledigt. Auf Twitter diskutierten andere Nutzerinnen und Nutzer, ob die Apple Card Frauen systematisch benachteilige. Einige berichteten von ähnlichen Erfahrungen, der wohl prominenteste von ihnen: Apple-Gründer Steve Wozniak. Er habe ebenfalls ein höheres Kreditlimit als seine Frau – obwohl man keine getrennten Bank- oder Kreditkartenkonten oder sonstiges getrenntes Vermögen habe, schrieb der Mann, der bis 1985 aktiv für Apple arbeitete und nach eigenen Aussagen bis heute noch für das Unternehmen auftritt. Es sei aber hart, an einen Menschen zu kommen, der das korrigiere.

Wenn der Algorithmus Kredite vergibt

Was Wozniak damit meint: Wer einen Kredit bekommt und wer nicht, entscheiden heute oft nicht mehr Bankberaterinnen, sondern maschinell lernende Algorithmen. Die Softwaresysteme berechnen aus allen Daten, die ihnen eingefüttert wurden, wie wahrscheinlich es ist, dass eine Person einen Kredit zurückzahlt. Dafür gewichten sie verschiedene Kriterien: etwa wie viele Kredite jemand schon aufgenommen oder beglichen hat, aber auch Informationen, die man nicht direkt mit dem Kontostand in Verbindung bringt – etwa in welcher Gegend man wohnt, welchen Schulabschluss man hat oder was man in sozialen Medien macht. Es zählen dabei nicht nur die eigenen Daten, sondern auch die anderer Kreditnehmerinnen und Kreditnehmer mit ähnlichen Merkmalen.

Weil die Systeme so komplex geworden sind, steht nun die Vermutung im Raum, Apple diskriminiere Frauen. Das ist erst einmal nicht unplausibel. Noch vor wenigen Jahren arbeiteten Frauen seltener, weil sie sich oft um die Familie kümmerten, hatten also weniger eigenes Geld zur Verfügung. Und bis heute verdienen sie weniger Geld als Männer. Berücksichtigen selbst lernende Systeme auch das Geschlecht, könnten diese älteren Daten noch heute beeinflussen, ob Frauen Kredite bekommen und wie hoch sie liegen.

Schon in anderen Fällen standen selbst lernende Algorithmen unter Diskriminierungsverdacht, bei Bewerbungs- und Gerichtsverfahren etwa. Das ist nicht überraschend: Die Systeme werden von Menschen gebaut und basieren auf Bewertungen, die Menschen getroffen haben. Und die fällen bekanntlich subjektive Entscheidungen, wenn auch nicht immer bewusst. So sehr man sich auch um Neutralität und Objektivität von Algorithmen bemüht: Letztlich sind die Ergebnisse abhängig davon, wer sie programmiert, welche Daten in die Systeme fließen, welche Schlüsse die daraus ziehen und wie sie diese Informationen gewichten.

Das mag erst einmal abstrakt klingen. Im Fall von Krediten wird aber plötzlich spürbar: Ordnen uns Maschinen in bestimmte Schubladen ein, kann das unser Leben stark beeinflussen. Wer Geld bekommt oder nicht, entscheidet in der Konsumgesellschaft darüber, wer eine neue Couch kaufen kann, ein Auto oder ein Haus. Das Kernproblem dahinter ist: Wie Algorithmen entscheiden, wer kreditwürdig ist, lässt sich in der Regel nicht einsehen. Das gilt nicht nur für Apples Kreditkarte, sondern auch für andere Banken, Kreditunternehmen oder Auskunfteien wie die deutsche Schufa.

Dabei muss man wissen, dass Apple selbst offenbar nicht direkt Einfluss auf den Algorithmus nehmen kann: Das Unternehmen kooperiert mit der Investmentbank Goldman Sachs, die eine Banklizenz besitzt. Das Institut gibt die Apple Card offiziell aus und entscheidet auch über Kreditrahmen. Dennoch ist Apple, das sich ja sonst sehr um Diversität bemüht, als Namensgeber der Karte natürlich mit in der Verantwortung, wenn etwas nicht nach Plan läuft.

David Heinemeier Hansson und seine Frau haben nach eigenen Angaben sowohl mit Apple als auch mit Goldman Sachs Kontakt gehabt. Und in beiden Unternehmen hätten die Mitarbeiterinnen und Mitarbeiter den Algorithmus nicht einsehen können. Ein Mitarbeiter habe gegenüber seiner Frau sogar argumentiert, man diskriminiere nicht, "das ist nur der Algorithmus".

Goldman Sachs schreibt in einem Statement: Eine Bewerbung auf eine Kreditkarte werde unabhängig bewertet. Die Entscheidung beruhe unter anderem auf dem Einkommen, der Bonität, wie viele Schulden jemand habe und wie er diese Schulden manage. Es sei möglich, dass Familienmitglieder unterschiedliche Bewertungen erhielten. Das Geschlecht oder der Familienstand fließe nicht in den Prozess mit ein. Genauer wird das Kreditinstitut nicht. 

Diese Intransparenz sorgt für Unsicherheit. Weiß man nicht, wie ein System im Detail funktioniert, kann man darüber nur mutmaßen, es entstehen Theorien und Misstrauen.