Sie können kaltherziger sein als jeder menschliche Mitarbeiter im Kundendienst. Und wenn Algorithmen Versicherungsprämien oder Kreditzinsen berechnen, Sitzplätze im Flugzeug zuteilen oder Arzttermine vergeben, droht ein Problem: Wer weiß genau, warum manche Kunden oder Patienten mehr bezahlen oder länger warten als andere?

"Es muss unser Ziel sein, dass Mensch und Maschine geltendes Recht einhalten und unsere Rechte auch durchgesetzt werden", sagt Klaus Müller, Vorstand des Verbraucherzentrale Bundesverbands (vzbv). "Das gilt umso mehr in einer Welt lernender Algorithmen." Software, die selbstständig dazulerne und sich irgendwann nicht mehr an Gesetze halte – das sei keine Science-Fiction mehr.

Maschinen, so fürchtet er, könnten Entscheidungen eines Tages nämlich doch anhand unerwünschter oder verbotener Merkmale wie Geschlecht, Herkunft, Alter oder Vermögen treffen. Kurz vor der nächsten Sitzung der Datenethikkommission der Bundesregierung, der Müller angehört, präsentiert der vzbv Vorschläge für die künftige Regulierung in diesem Bereich. Diese soll sich daran orientieren, welchen Schaden ein Algorithmus anrichten könnte. Der ZEIT lag das Papier vorab vor.

So gut wie gefahrlos seien etwa künstliche Gegner in Videospielen, die gegen menschliche Spieler antreten. Für sie seien keine neuen Regeln nötig. Anders sei es mit digitalen Sprachassistenten wie Amazons Alexa, von denen ein mittleres Risiko ausgehe. Bei Einkaufsempfehlungen etwa könnten Verbrauchern systematisch Angebote mit erhöhten Preisen gemacht werden. Erkennen würden das Betroffene kaum. Und selbst wenn, könnten sie nur mit sehr großem Aufwand zur Konkurrenz wechseln, weil sie oft bei einem Anbieter wie etwa Amazon gleichzeitig Musik hören, Videos schauen und Einkäufe tätigen. Die Kunden seien dadurch quasi eingesperrt – das könnte schnell zur teuren Falle werden.

Software mit mittlerem Risikopotenzial müssten Behörden zumindest im Nachhinein kontrollieren dürfen, so Müller: "Hier sollten Experten der Aufsicht prüfen können, ob eine verzerrte Datengrundlage verwendet wird oder ob systematisch Gruppen benachteiligt werden, die durch das Allgemeine Gleichstellungsgesetz geschützt sind." Dazu müssten Unternehmen dokumentieren, warum ein Algorithmus eine konkrete Entscheidung getroffen habe, und diese Informationen auch herausgeben.

Eine besonders hohe Gefahr sehen die Verbraucherschützer etwa bei neuartigen Pflegerobotern. Diese könnten Patienten schon durch ihre Bewegungen verletzen oder ihnen falsche Medikamente verabreichen, darüber hinaus sammeln sie große Mengen sensibler Daten. Deshalb soll ihre Software noch vor dem Einsatz geprüft und zugelassen werden – nach europaweit einheitlichen Standards. "Damit sollen schwere Schäden von Verbrauchern abgewendet werden", sagt Müller.

Für den Fall, dass trotz aller Kontrollen ein Mensch geschädigt wird, müsste zudem das Schadensersatzrecht geändert werden, argumentiert der vzbv weiter. Diskutiert wurde das bislang vor allem im Zusammenhang mit Unfällen mit autonomen Fahrzeugen. Weit häufiger dürften andere Probleme auftreten: Zahlt ein Bankkunde wegen eines fehlerhaften Kreditscorings überhöhte Zinsen? Ruiniert die Smarthome-Steuerung die Fußbodenheizung? Oder wird ein Bewerber um einen Arbeitsplatz allein deshalb aussortiert, weil er in einer sozial benachteiligten Gegend wohnt?

Die Beweisführung sei dann hoch problematisch, heißt es beim vzvb. Normalerweise müsste der Geschädigte darlegen, dass den Anbieter des Algorithmus ein Verschulden trifft. Das aber ist ihm meist nicht möglich. Besonders kompliziert wird es, wenn ein Algorithmus nicht einfach feste Regeln angewendet, sondern selbst hinzulernt und sein Vorgehen ständig verändert. Helfen könne hier nur eine Gefährdungshaftung, glaubt man beim vzbv. Autobesitzerinnen oder Hundehalter kennen das Prinzip heute schon: Bei Unfällen oder Bissverletzungen ist es ganz egal, ob sie eine Schuld trifft. Sie zahlen ohnehin. Und schützen sich ihrerseits durch eine Haftpflichtversicherung.