Bereits im Jahr 2014 hat Amazon in den USA eine Software entwickelt, die mittels Künstlicher Intelligenz ein Ranking der eingegangenen Bewerbungen erstellen sollte. Jetzt kam heraus, dass der Bewerbungsroboter Frauen diskriminierte – allerdings nicht absichtlich. Sven Laumer von der Universität Nürnberg-Erlangen erforscht, wie digitale Technologien in Personalprozessen eingesetzt werden, und erklärt, wie das passieren konnte.

ZEIT ONLINE: Herr Laumer, wie funktioniert ein Bewerbungsroboter?

Sven Laumer: Hinter einem Bewerbungsroboter steckt eine Künstliche Intelligenz, die Bewerbungen nach bestimmten Merkmalen und Schlüsselworten bezogen auf eine ausgeschriebene Stelle untersucht. Anschließend kann sie für die Recruiter eine Vorauswahl geeigneter Kandidaten zusammenstellen. Das System funktioniert nur dann, wenn es mit Daten gefüttert und trainiert wird. Zum Beispiel können die Unternehmen die Künstliche Intelligenz daraufhin trainieren, alle eingehenden Bewerbungen mit den erfolgreichen Neueinstellungen der letzten zehn Jahre zu vergleichen und Zusammenhänge herzustellen.

Jahrgang 1982, ist Inhaber des Schöller-Stiftungslehrstuhls für Wirtschaftsinformatik an der Universität Erlangen-Nürnberg. Er erforscht seit mehr als zehn Jahren, wie digitale Technologien in Personalprozessen eingesetzt werden, und ist Mitautor der beiden Studienreihen Recruiting Trends und Bewerbungspraxis. © privat

ZEIT ONLINE: Und wie konnte es passieren, dass das System von Amazon Frauen benachteiligt hat?

Laumer: Im Fall von Amazon hatte das System vor allem den Typ von Bewerber im Blick, der sich besonders häufig bei dem Unternehmen bewirbt: nämlich technikaffine Männer. Die Software ging davon aus, dass diese Menschen ein besonders großes Interesse am Arbeitgeber haben. Eigentlich nachvollziehbar. Das Problem ist: Weil es in der Tech-Branche mehr Männer gibt als Frauen, hat der Roboter geschlussfolgert, dass sich vor allem Männer für das Unternehmen begeistern können, und filterte Frauen eher heraus.

"Roboter diskriminieren impliziter als Menschen."
Sven Laumer

ZEIT ONLINE: Kommt so etwas öfter vor?

Laumer: In den USA gab es schon mal einen ganz ähnlichen Fall. Da hatte die Künstliche Intelligenz festgestellt, dass die Mitarbeiter, die weiter weg von der Arbeitsstelle wohnen, schneller ihre Stelle kündigen. Da das nicht im Interesse der Unternehmen ist, klingt es erst einmal einleuchtend, diese Bewerberinnen und Bewerber eher auszusortieren. Allerdings wohnen in den Außenbezirken oft Menschen, die einer ethnischen Minderheit angehören. Und schon diskriminiert man implizit eine ganze Gruppe von Bewerbern, die man eigentlich gar nicht benachteiligen wollte.

ZEIT ONLINE: Also entscheidet eine künstliche Intelligenz auch nicht vorurteilsfreier als Menschen?

Laumer: Das kann man so nicht sagen. Kein Mensch kann sich so ganz von seinem ersten Eindruck freimachen, auch kein erfahrener Personaler. Das kann dazu führen, dass man vorschnell ein Urteil über den Bewerber fällt, nur weil einem dessen Nase nicht gefällt. Einem Roboter, der das Merkmal Nase gar nicht kennt, würde das nicht passieren. Roboter diskriminieren impliziter als Menschen. Aber die Art und Weise, wie eine Software eine Entscheidung trifft, hängt natürlich von dem Datensatz ab, der ihm zugrunde liegt.

"Die große Herausforderung besteht darin, die Künstliche Intelligenz diskriminierungsfrei zu trainieren."

ZEIT ONLINE: Wenn bei einem Unternehmen vor allem weiße Männer arbeiten, dann ist auch die Künstliche Intelligenz auf weiße Männer fixiert.

Laumer: Genau. Die große Herausforderung besteht darin, die Künstliche Intelligenz diskriminierungsfrei zu trainieren. Dafür braucht man einen Datensatz, der explizit und implizit diskriminierungsfrei ist.

ZEIT ONLINE: Wie kann das gelingen?

Laumer: Dafür ist es wichtig, den Daten nie blind zu glauben, sondern sie immer zu hinterfragen. Es gibt die verrücktesten Zusammenhänge: Zum Beispiel korreliert die Anzahl der Suizide durch Ertrinken in einem Swimmingpool signifikant mit der Anzahl der Filme, in denen Nicolas Cage mitspielt. Uns Menschen ist klar, dass wir keinen Todesfall verhindern können, indem wir weniger Filme mit Nicolas Cage produzieren. Aber die Künstliche Intelligenz kommt nicht auf diese Idee. Sie sieht die Korrelation, ohne sie kritisch zu hinterfragen. So ist das auch beim Recruiting. Das System erkennt den Zusammenhang zwischen der Distanz zum Arbeitsplatz und der Kündigungsrate, ohne andere mögliche Einflussfaktoren zu berücksichtigen.

ZEIT ONLINE: Also müssen die Menschen der Künstlichen Intelligenz beibringen, dass beides nicht zwingend etwas miteinander zu tun hat.

Laumer: Genau. Sobald man als Unternehmen erkennt, dass das Kriterium der Distanz zum Arbeitsplatz bestimmte Menschen implizit benachteiligt, kann man dem System beibringen, nicht danach zu selektieren.