Als vor einigen Monaten aufflog, dass Facebook sogenannte beliebte Artikel (trending articles) nicht von einem Algorithmus auswählen ließ, sondern von einer Gruppe Journalisten, war die Aufregung groß. "Urteile, die von Menschen getroffen werden, können niemals als wertneutral angesehen werden", kommentierte etwa ein Experte des Guardian. Seltsam. Computercode dagegen wäre also wertneutral?

Das ist naiv. Wir wissen beispielsweise, dass Suchen nach afroamerikanisch klingenden Namen auf Google öfter Werbung für Auskunftsdienste auslöst, die Personen auf eine mögliche kriminelle Vergangenheit überprüfen, als wenn nach "weiß" klingenden Namen gesucht wird. Jobsuchmaschinen wiederum zeigen Frauen eher Angebote für schlecht bezahlte Stellen an als Männern.

Nein, Technologie ist weder gut noch böse, noch ist sie neutral. An dieses "Erste Gesetz der Technologie" des amerikanischen Technikhistorikers Melvin Kranzberg (1917 bis 1995) sollte man sich in der Diskussion über Big Data, künstliche Intelligenz und maschinelles Lernen wieder erinnern. Technologie wird niemals außerhalb eines gesellschaftlichen Zusammenhangs entwickelt und eingesetzt. Sie ist stets das Resultat eines Prozesses, in dem Menschen Urteile darüber treffen, was wünschenswert ist, wofür Ressourcen eingesetzt werden und wer von neuen Technologien profitieren soll.

Nehmen wir die verbreiteten Systeme zur automatisierten Entscheidungsfindung oder -vorbereitung (automated decision making, ADM). In ihnen werden Entscheidungsmodelle in Rechenverfahren (Algorithmen) übersetzt, die dann eine – üblicherweise sehr große – Datenbasis analysieren, um daraus eine Aktion oder einen Handlungsvorschlag abzuleiten. So ein Algorithmus kann beispielsweise ein Filter sein, der entscheidet, welche E-Mail als unerwünschte Werbung aussortiert wird. Er könnte auch eine festgelegte Folge von Prüfungen sein, nach deren Ablauf jemand als terroristischer Gefährder eingeordnet wird. Jedem einzelnen Schritt, der notwendig ist, um ein solches System zu entwickeln, liegen Werturteile zugrunde. Das beginnt mit dem Entschluss, dass ein ADM-System überhaupt zu einem bestimmten Zweck entwickelt werden soll, setzt sich fort mit der Entscheidung, welche Daten die Analysegrundlage darstellen, und hört nicht auf mit der Ausarbeitung des Modells, das dem Algorithmus zugrunde liegt. Jede dieser Entscheidungen beruht auf einem Weltbild. Das macht sie nicht per se gut oder schlecht, aber es sollte klar sein, dass wir hier nicht von einem neutralen Prozess sprechen können, bloß weil das Ergebnis maschinenlesbarer Code ist und der Computer sich nicht verrechnet.

Software ist eben jedes Mal die Übersetzung von sozialen Interessen, Wünschen und Konventionen in eine formale Sprache, die maschinelle Aktionen steuert. Damit ist aber ein entscheidender Schritt getan: Die Vorstellungen der Softwareentwickler, die sie von Vorgängen und Interaktionen in der Welt haben, werden durch die Automatisierung verallgemeinert. Nicht nur das, sie werden auch festgeschrieben: Die Entwickler entwerfen ihr Regelwerk zu einem bestimmten historischen Zeitpunkt und unter bestimmten politisch-ökonomischen Bedingungen.

Dieser Artikel stammt aus der ZEIT Nr. 10 vom 2.3.2017.

Sind Menschen von ADM betroffen, bedeutet dies zugleich: Sie werden nach der Datenspur bewertet, die sie hinterlassen. Die Person wird sozusagen an ihrer Vergangenheit festgenagelt. Sie verliert auch die Deutungshoheit über diese Vergangenheit, die haben vielmehr die Techniker hinter dem Algorithmus und der Datenbank. Es ist zwar legitim, derartige Verfahren zu nutzen, um Erkenntnisse zu erlangen; problematisch wird es aber, wenn ADM zur einzigen Methode der Beobachtung, Erklärung und Prognose menschlichen Verhaltens wird. Institutionen und Unternehmen, die sich ausschließlich Algorithmen bedienen, um Verhalten zu prognostizieren, sprechen dem Menschen seine Lernfähigkeit ab.

Es fragt sich, wie darauf politisch zu reagieren ist. In seinem Artikel "You're fired" (ZEIT Nr. 08/17) schreibt Steven Hill, der Vormarsch neuer digitaler Technologien, kombiniert mit Internet-basierten Crowdsourcing-Plattformen, lege den Schluss nah, dass zum ersten Mal in der jüngeren Geschichte die "kreative Zerstörung" durch Technologie und Innovation eher destruktiv sein werde. Was, fragt Hill, wenn "smarte" Maschinen und Roboter jeden Job ausüben könnten und kein Mensch je wieder einer Erwerbsarbeit nachgehen müsste? Wer würde die Früchte dieses Produktivitätsfortschritts ernten? Wir alle? Oder eine Handvoll "Masters of the Universe" – die Besitzer und Manager dieser Technologien? Alles ungeklärt, "und dennoch steuern wir blind darauf zu und fragen nicht einmal, ob wir diese Technologien nicht strenger regulieren sollten. Ob wir sie womöglich aufhalten sollten, ist noch weniger Gegenstand einer Debatte." Als Beispiele für Technologien, die wir bereits als Bedrohung menschlicher Gesellschaften identifiziert haben, nennt der Autor atomare und chemische Waffen, das Klonen und die Verwendung von Anabolika im Sport. Die seien schließlich bereits stark reguliert oder sogar schlicht verboten.

Was er beschreibt, sind konkrete Ausformungen ganzer Technologiefelder. Indessen würden wir als Gesellschaft wohl kaum auf die Idee kommen, sämtliche Technologien zu verbieten, die auf Erkenntnissen der Physik, Chemie oder des Ingenieurwesens beruhen, obwohl auf dieser Basis auch Atom- und Chemiewaffen produziert werden. Wir ächten das reproduktive Klonen von Menschen, aber schon beim therapeutischen Klonen ist es mit der Einigkeit vorbei, und niemand würde darauf verfallen, die Gentechnologie insgesamt zu verbieten. Auch die in bestimmten Sportarten verbotenen Anabolika sind lediglich eine kleine Unterklasse der Steroide. Und an Steroiden wird aus gutem Grund intensiv geforscht, denn in Form zahlreicher Medikamente, etwa Cortison-Präparate, lindern sie die Leiden vieler Patienten.

Was genau will Hill also "stark regulieren" oder gar verbieten, wenn er von neuen digitalen Technologien spricht – etwa die Entwicklung von Algorithmen und ihren Einsatz? Sie sind seit Langem fester Bestandteil der Welt, in der wir leben; selbst die Arbeit an künstlicher Intelligenz wurde bereits vor mehr als einem halben Jahrhundert begonnen. Lediglich das Crowdsourcing von Arbeit in globalem Maßstab ist eine neue Entwicklung. Digitale Technologien sind außerdem derart breite Forschungs- und Einsatzfelder, bis hin zur Grundlagenforschung, dass unklar bleibt, was Hill denn da beschränken möchte und wie er sich das vorstellt.

Algorithmen ermöglichen auch mehr Fairness

Stattdessen liefert er eine aktualisierte Beschreibung des sogenannten Paradies-Paradoxons, das der russisch-amerikanische Wirtschaftsnobelpreisträger Wassily Leontief noch im vergangenen Jahrhundert formuliert hatte: "Die Geschichte des technologischen Fortschritts der letzten 200 Jahre ist im Grunde die Geschichte der menschlichen Rasse, wie sie langsam, aber sicher versucht, den Weg zum Paradies wiederzufinden. Was würde allerdings geschehen, wenn ihr dies gelänge? Alle Güter und Dienstleistungen wären verfügbar, ohne dass dafür Arbeit notwendig wäre, und niemand würde einer Erwerbsarbeit nachgehen. Nun heißt arbeitslos sein auch, keinen Lohn zu empfangen; also würden die Menschen, wenn sie auf die neue Situation nicht mit einer neuen Politik der Einkommensverteilung reagieren würden, im Paradies verhungern."

Mit einiger Plausibilität kann man – wie Hill es tut – vermuten, dass die Produktivitätsgewinne digitaler, internetbasierter Technologien diese Entwicklung beschleunigt haben. Nur: Warum sollten wir die Frage, wer etwa von automatisierten Entscheidungssystemen profitieren kann und darf, als eine Frage der Technologieregulierung diskutieren, anstatt sie als das zu formulieren, was sie ist: als eine Frage der gerechten Verteilung von Ressourcen?

Gerade automatisierte Entscheidungsmechanismen und solche zur Entscheidungsvorbereitung bieten eine Vielzahl von Chancen, unsere Gesellschaften zu verbessern. Diese ADMs erledigen schon heute eintönige Tätigkeiten, Navigation im Verkehr zum Beispiel, und räumen damit mehr Zeit für sinnvollere Aktivitäten frei. Sie erhöhen die Sicherheit im Verkehr, etwa in Form von Autopiloten, ohne die der heutige hochfrequente Flugverkehr unmöglich wäre. Sie schonen außerdem Ressourcen, indem sie Routen vorschlagen, auf denen Lkw am wenigsten Sprit verbrauchen.

Vor allem aber, und das wird für viele überraschend klingen: Sie machen durchaus mehr Fairness und Gerechtigkeit möglich – etwa indem sie dazu beitragen, ungerechtfertigte Diskriminierung aufzudecken und zu verhindern. Vergegenwärtigen wir uns, dass in menschliche Entscheidungen immer wieder sachfremde Motive eingehen. So muss beispielsweise ein Bewerber mit einem türkischen Namen – statistisch gesehen – bei gleicher Qualifikation etwa anderthalbmal so viele Bewerbungen schreiben wie ein Mitbewerber mit einem deutschen Namen, bis er zum Vorstellungsgespräch eingeladen wird. Das ist das Ergebnis der Studie Diskriminierung am Ausbildungsmarkt, die im Auftrag des Sachverständigenrats deutscher Stiftungen für Integration und Migration erstellt wurde. Anderes Beispiel: Richter bewilligen mehr Bewährungsanträge direkt nach ihrer Essenspause, als wenn die letzte Mahlzeit lange zurückliegt. Und für Entscheidungen von Ärzten, Managern oder Bankern spielt auch schon mal das Wetter eine Rolle.

Dieser Art von Diskriminierungen oder inkonsistenten Entscheidungen durch Menschen kann man mit dem Einsatz von auf Algorithmen basierten Systemen nicht nur besser auf die Spur kommen, man kann sie auch einschränken. Ein Beispiel dafür sind Start-ups wie das kalifornische Gap Jumpers, das Arbeitgebern seine softwarebasierte blind audition- Bewerberauswahl zur Verfügung stellt. Bei dieser Methode spielen die Fähigkeiten der Kandidaten eine stärkere Rolle als die Frage, an welcher Universität sie ihren Abschluss gemacht haben, womit sie ihre Freizeit verbringen oder ob sie eine Behinderung haben. In den Firmen, die mit Gap Jumpers arbeiten, wurden 60 Prozent der nicht weißen, nicht männlichen, körperlich eingeschränkten Bewerber zu einem Bewerbungsgespräch eingeladen. Vorher waren es, den Angaben von Gap Jumpers zufolge, nur 20 Prozent gewesen.

Um von derartigen Technologien zu profitieren, ist eine Vorstellung davon nötig, nach welchen Prinzipien wir diese Systeme einsetzen wollen, sowie dafür, wie wir Fehlentwicklungen prüfen und korrigieren können. Unsere Organisation AlgorithmWatch fordert daher, Nutzern überhaupt erst einmal mitzuteilen, dass Prozesse algorithmischer Entscheidungsfindung oder -vorbereitung zum Einsatz kommen. Diese Prozesse müssen nachvollziehbar gestaltet sein.

Das kann im Zweifel bedeuten, dass die Nachvollziehbarkeit nur für eine Gruppe von vertrauenswürdigen Experten hergestellt wird, denn die Komplexität erlaubt es oft nicht, sie einer allgemeinen Öffentlichkeit verständlich zu machen. Betroffene müssen das Recht zum Widerspruch oder zur Richtigstellung haben. Derartige Ideen werden weltweit diskutiert, viele müssen sicherlich noch präzisiert werden – in einem Dialog all jener, die solche Systeme entwickeln, verkaufen, einsetzen und nutzen: Wissenschaft und Softwareentwickler, Unternehmen, Zivilgesellschaft, Regierungen und die öffentliche Verwaltung. Foren, in denen das geschehen kann, müssen überwiegend erst geschaffen werden. Andere lassen sich bereits nutzen: Ethikkommissionen etwa wie diejenige des Bundesverkehrsministeriums zum autonomen Fahren oder Wissenschafts-, Technik- und Politikkonferenzen, Diskussionsformate in den Medien, Ausschüsse und Debatten im Bundestag.

Von Systemen zur Prognose von Verbrechen für die Polizei bis zur automatisierten Auswertung von Fluggastdaten – auf vielen Gebieten wird die Gesellschaft hart darum kämpfen müssen, zu erfahren, welche Technologien zu welchem Zweck eingesetzt werden und wie sie funktionieren. Wir Bürger müssen das alles wissen, um zu entscheiden, ob wir mit dem Einsatz einer Technologie einverstanden sind, ob wir versuchen sollten, ihren Einsatz zu regulieren oder sogar ihren Einsatz zu verbieten.

Eine der Gefahren des Modellierens von Prozessen zur Entscheidungsfindung liegt darin, Stellvertreterdaten zu verwenden. Weil man keine exakten Daten zu einer bestimmten Variablen finden kann, etwa zum Verhalten einer Personengruppe, behilft man sich mit Daten über andere Variablen, die eine Näherung erlauben. So verwenden bestimmte Systeme einzig die Notenentwicklung der Schüler als Kriterium, um die Qualität von Lehrern zu beurteilen – obwohl jeder weiß, dass die Fähigkeiten der Lehrerinnen und Lehrer nur einer von sehr vielen Einflussfaktoren für die Leistungen von Schüler sind. Doch genauso, wie sich Modellentwickler davor hüten sollten, Stellvertreterdaten zu verwenden, sollten wir uns davor hüten, Technologien als Stellvertreter misslungener Politikentscheidungen zu verwenden. Sowenig Algorithmen für die Finanzkrise verantwortlich sind, so wenig sind sie es für die Präsidentschaft Donald Trumps oder den Aufstieg der AfD.

Ein Verbot darf in einer freiheitlichen Gesellschaft immer nur die Ultima Ratio sein. Das Ziel eines Verständigungsprozesses über den Einsatz von Technologien sollte darin bestehen, zu entscheiden, wie viel Freiheit wir durch automatisierte Prozesse hinzugewinnen wollen und welchen Preis wir dafür zu zahlen bereit sind. Dann werden wir in der Lage sein, die Gefahren technischer Entwicklungen zu erkennen und einzudämmen, zugleich aber von ihrem Nutzen zu profitieren.