Martin Kolmar ist Professor für Volkswirtschaftslehre in St. Gallen, Johannes Binswanger ist dort Professor für Betriebswirtschaft und Wirtschaftspolitik. Gemeinsam habe sie einige Ideen entwickelt, wie eine Diskriminierung durch Algorithmen unterbunden werden kann.

Ein Algorithmus kann heute schon dazu eingesetzt werden, um homosexuelle Personen von heterosexuellen zu unterscheiden – allein anhand von Fotos. In einer Studie haben Wissenschaftler der Universität Stanford bereits im Jahr 2017 dazu Systeme mit künstlicher Intelligenz eingesetzt, die auch standardmäßig auf Datingwebsites verwendet werden. Der Algorithmus konnte die sexuelle Orientierung von Männern mit 81-prozentiger Wahrscheinlichkeit anhand nur eines Fotos korrekt bestimmen. Anhand von fünf Fotos erreichte er sogar eine Treffsicherheit von 91 Prozent. Dies ist nur ein Beispiel für die zunehmend weitreichenden Fähigkeiten dieser neuen Technologie: Bewerbungsverfahren um Arbeitsstellen, Konditionen von Versicherungs- oder Kreditverträgen und allgemein Preise werden durch unsere Datenspuren auf immer persönlicheren Informationen aufbauen und algorithmisch bestimmt werden. Algorithmen werden bestimmen, was wir im Internet sehen und nicht sehen, wie viel wir bezahlen, und welche Möglichkeiten wir haben und welche nicht.

Bis vor wenigen Jahren waren die Begriffe Ethik und Fairness im Zusammenhang mit Algorithmen weitgehend unbekannt. Dies hat sich stark verändert, und zahlreiche Kommissionen und Gutachten beschäftigen sich mit der Frage, wie man Algorithmen ethisches Verhalten beibringen kann. Selbst in der Programmierer-Community gab es einen fundamentalen Stimmungswandel, und Begriffe wie algorithmische Fairness spielen dort mittlerweile eine wichtige Rolle.

Auch auf politischer Ebene setzt sich die Erkenntnis durch, dass Handlungsbedarf besteht. Die EU-Kommission hat von einer Expertengruppe einen Report zu "vertrauenswürdiger Künstlicher Intelligenz" erstellen lassen, auch das Bundesjustizministeriums ließ ein Gutachten zu juristischen Problemen algorithmischer Entscheidungsverfahren anfertigen. Selbst Internetkonzerne wie Google und Facebook bringen eigenständig die Forderung einer Regulierung auf, und die wissenschaftlichen Publikationen dazu stoßen auf riesiges Interesse. 

Über allem steht die Frage, wie sich der Einsatz von Algorithmen anders organisieren lässt. Eine zentrale Aufgabe eines Algorithmus ist es zu klassifizieren. Dies bedeutet, dass er mit Daten gefüttert wird, aufgrund derer er entscheidet, ob ein bestimmter Sachverhalt vorliegt oder nicht. Er entscheidet zum Beispiel aufgrund des bisherigen Kaufverhaltens eines Kunden in einem Onlineshop, ob sich dieser für ein neues Produkt interessiert, sodass eine entsprechende Kaufempfehlung angezeigt werden kann. Kaum ein Lebensbereich wird in Zukunft nicht durch klassifizierende Algorithmen betroffen sein. Dabei stellen sich zahlreiche ethische Herausforderungen, von denen hier drei beschrieben werden sollen.

1. Gruppenspezifische Fehler und Fairness

Was passiert, wenn der Algorithmus falsch entscheidet? Zeigt uns das System eine unpassende Werbung, ärgern wir uns vielleicht; aber die Situation ist vergleichsweise harmlos. Die Brisanz steigt deutlich, wenn es etwa um die Einschätzung von Rückfallrisiken bei Straftätern geht.

Vor einigen Jahren erlangte eine Studie der investigativen Nachrichtenorganisation ProPublica große öffentliche Aufmerksamkeit, die sich mit einem Algorithmus zur Abschätzung der sogenannten Rückfallwahrscheinlichkeit beschäftigte. Der Algorithmus wird bereits im Justizsystem der USA für Bewährungsentscheidungen eingesetzt. Die Studie wies nach, dass die Technik schwarze Strafgefangene gegenüber weißen diskriminiert. Weiße, die mit hohem Risiko klassifiziert waren, wurden zu 76 Prozent wieder rückfällig; schwarze Strafgefangene mit nur 55 Prozent.

Wir wissen mittlerweile aus der Forschung, dass bei der Gewichtung von Wahrscheinlichkeiten zwischen Gruppen unterschiedliche Fairnesskriterien herangezogen werden können, die alle ihre Berechtigung haben, die aber miteinander in Konflikt stehen. Fairness aus Sicht beispielsweise einer Jobkandidatin ist etwas anderes als Fairness aus Sicht der Arbeitgeberin. Da man das Problem nicht technisch lösen kann, bedarf es einer gesellschaftlichen Debatte um legitime Fairnessnormen. 

2. Fehler oder Privatsphäre?

Fehler und daraus folgendes diskriminierendes Verhalten lassen sich durch eine Verbesserung der Datenqualität entschärfen. Mehr und bessere Daten könnten die Genauigkeit verbessern. Damit geraten wir allerdings zu einem zweiten ethischen Problem: je genauer ein Algorithmus, desto mehr individualisierte Daten benötigt er, und umso größer ist daher auch die Gefahr der Verletzung des Schutzes der Privatsphäre.