Was heute mit dem Begriff Fake-News umschrieben wird, ist keine Erfindung der 21. Jahrhunderts. "Wenn die Leute kein Brot haben, dann sollen sie Kuchen essen" etwa hat Königin Marie Antoinette nie gesagt. Aber für die französische Bevölkerung stand in den 1780ern ohnehin fest, dass die Monarchenfamilie jeden Bezug zur Realität verloren hatte. Warum also nicht die Stimmung anheizen mit untergeschobenen Zitaten und falschen Sensationsmeldungen?

Mehr als 230 Jahre und einige mediale Revolutionen später hat sich das Problem potenziert. Hasstiraden, Halbwahrheiten, extremistische Propaganda fluten das Netz. Manche sehen schon Demokratie und öffentlichen Diskurs bedroht. Ein umstrittener Gesetzentwurf liegt, rechtzeitig zum Wahlkampf, auf dem Tisch. Sogar die großen amerikanischen Unternehmen – allen voran Facebook-Chef Mark Zuckerberg – gestehen mittlerweile ein, dass sie nicht mehr die neutralen Plattformen sind, die sie jahrelang zu sein behaupteten und dass Handlungsbedarf besteht.

Facebook sieht sich sogar gezwungen, 3.000 neue Mitarbeiter einzustellen, die von Nutzern wegen krasser Gewaltdarstellung bis hin zum live übertragenen Mord gemeldeten Videos zu prüfen. Von Hasskommentaren und Propaganda ist da noch gar nicht die Rede. Nur kann es nicht im Sinn eines börsennotierten Unternehmens sein, irgendwann mehr Menschen zu dafür zu bezahlen, den Müll seiner Nutzer wegzuräumen, als das Produkt weiterzuentwickeln. Also kommen eigentlich nur (teil-)automatisierte Filterverfahren infrage. Das zumindest entspräche dem unternehmerischen Anspruch der Aktionäre und dem technischen Anspruch der Entwickler.

Experimentiert wird bereits: Facebook setzt neuerdings auf unterschiedliche Perspektiven im Newsfeed. Außerdem kündigte das Unternehmen an, mit "neuen Technologien" und künstlicher Intelligenz (KI) nach Bildern und Videos zu suchen, auf denen Kapitalverbrechen zu sehen sind, um deren Verbreitung zu verhindern. Google ändert derweil seine Suchalgorithmen und lässt in einem Technik-Inkubator namens Jigsaw an Filtertechnologien forschen. Eine erste Anwendung, die beleidigende oder mobbende Nutzerkommentare erkennen soll, ist bereits auf dem Markt.

Aber werden KI-Filter komplexe gesellschaftliche Phänomene wie Hass und Propaganda wirklich effektiv bekämpfen können? Wie weit ist die Forschung überhaupt? Woran scheitert die Technik noch? Wo liegen die rechtlichen, wo die computerlinguistischen Schwierigkeiten?

Was ist in der Rechtsprechung schon "offensichtlich"?

Das Problem fängt schon bei der Definition an. Die Begriffe Fake-News und Hatespeech werden vor allem in den USA verwendet, sind hierzulande aber ebenso schwammig wie juristisch unbrauchbar. Im Entwurf zum Netzwerkdurchsetzungsgesetz von Bundesjustizminister Heiko Maas (SPD) ist deshalb von "offensichtlich rechtswidrigen Inhalten" die Rede, die Betreiber sozialer Netzwerke innerhalb von 24 Stunden nach Eingang einer Beschwerde löschen sollen. Die Formulierung lässt Juristen die Haare zu Berge stehen.

"Offensichtliche Rechtswidrigkeit ist kontextabhängig und sehr schwer pauschal konkret festzulegen", sagt Professor Rolf Schwartmann, Leiter der Forschungsstelle für Medienrecht an der Technischen Hochschule Köln. Bei einem Begriff wie "Nazischlampe" sei die Sache etwa kompliziert. Vielleicht steht das Wort in einem satirischen Kontext, vielleicht ist es ein Zitat im Rahmen kritischer Berichterstattung.

Dass der Gesetzentwurf in diesem Zusammenhang eine ganze Reihe von Paragrafen auflistet, von Paragraf 86 (Verbreitung von Propagandamitteln verfassungswidriger Organisationen) bis Paragraf 269 (Fälschung beweiserheblicher Daten), macht die Sache nicht besser. "Diese Begriffe sind zur Auslegung für Strafrichter bestimmt und nicht für ein permanentes Laienstandgericht für Äußerungen im Netz," sagt Schwartmann.

Selbst wenn bei Facebook, Google und Twitter Legionen von Juristen am Werk wären: "In 24 Stunden ist das nicht machbar", sagt Schwartmann. Und weiter: "Die Mitarbeiter, die im Auftrag der Diensteanbieter ermitteln würden, welche Paragrafen bei welchem Beitrag möglicherweise greifen, sind keine Richter. Das ist rechtsstaatlich nicht sauber."

Virale Dynamik hebelt den nachträglichen Einspruch aus

Nach dem Telemediengesetz, das die Verantwortung für Anbieter von Telemediendiensten und damit auch die von sozialen Netzwerken regelt, gilt: Die Diensteanbieter müssen Inhalte entfernen, wenn sie Kenntnis von der Rechtswidrigkeit eines Inhalts haben. Aber Vorsicht vor Missverständnissen: Mit Kenntnis ist nicht gemeint, dass Nutzer oder Leser einen Inhalt gemeldet, das Unternehmen also auf einen möglicherweise strafbaren Inhalt hingewiesen haben. "Kenntnis von der Rechtswidrigkeit erlangt ein Diensteanbieter nicht durch eigene Rechtsauslegung. Das ist nur eine Meinung, kein Beleg für Recht oder Unrecht. Erst, wenn ein Gericht etwa im Rahmen einer einstweiligen Verfügung darüber entschieden hat, dass ein Inhalt im Netz rechtswidrig ist, liegt eine juristisch belastbare Kenntnis vor", sagt Schwartmann. Nur der Staat könne Recht sprechen und Inhalte rechtsverbindlich bewerten.

Nur käme das viel zu spät. Die virale Dynamik in den sozialen Netzwerken hebelt alle bisherigen (nachträglichen) Einspruchsmöglichkeiten faktisch aus. Wäre deshalb nicht doch denkbar, dass lernende Filter zumindest bei groben Beleidigungen oder wüsten Drohungen anschlagen, wenigstens um einen menschlichen Kontrolleur auf den Plan zu rufen, bevor die Inhalte für alle Nutzer sichtbar werden?

"Die künstliche Intelligenz hat in den letzten Jahren große Fortschritte gemacht", sagt Hinrich Schuetze, Professor für Computerlinguistik und Direktor des Centrums für Informations- und Sprachverarbeitung an der Ludwig-Maximilians-Universität München. Ähnlich wie bei der Bilderkennung können Textverarbeitungsprogramme schon relativ zuverlässig sprachliche Muster erkennen.

Ein klassisches Verfahren ist die Sentiment-Analyse: Dabei werden positive und negative Wörter eines Wortbeitrags erfasst und in Relation gesetzt. "Und das ist noch eine recht primitive Mustererkennung", erklärt Schuetze. Auch komplexere Analysen sind schon möglich, bei denen die Algorithmen Verneinungen oder Variationen eines Ausdrucks erkennen.

Das Problem beginnt schon bei den Trainingsdaten

Die Mustererkennung dürfe man allerdings nicht mit "tatsächlichem Sprachverstehen" verwechseln, sagt Schuetze. "Das kriegen wir maschinell noch nicht hin." Trotzdem wären Hasskommentare theoretisch sehr zuverlässig filterbar. Allerdings hat die Sache einen Haken. Er lautet: Precision und Recall. Die beiden Begriffe aus dem Bereich des maschinellen Lernens und der Mustererkennung beschreiben das zentrale Dilemma: Filtersoftware lässt sich nach derzeitigem Forschungsstand entweder auf "Genauigkeit" (Precision) trimmen – dann hat der Algorithmus eine fast hundertprozentige Treffsicherheit, dass ein von ihm identifizierter Hasskommentar wirklich ein Hasskommentar ist. Allerdings entgehen ihm dann viele andere Kommentare, die ebenfalls gefunden werden sollten.

Oder aber der Filter wird auf hohe "Empfindlichkeit" (Recall) eingestellt. Dann erkennt er alle Hasskommentare, hat aber zudem mit massenhaft falschem Beifang zu kämpfen. Beides, sagt Schuetze, sei heute machbar: fast hundertprozentige Precision-Raten oder fast hundertprozentige Recall-Raten. Nur eine Kombination ist noch nicht möglich.

Die Wissenschaft kämpft außerdem mit einer weiteren Herausforderung. Georg Rehm ist Senior Researcher am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Berlin und leitet ein Projekt zu digitalen Kuratierungstechnologien. Um Filtersoftware das Lesen von Texten beizubringen, "arbeiten wir mit maschinellen Lernverfahren", sagt er. Dabei werden die Algorithmen mit Trainingsdaten gefüttert, anhand derer sie Muster erkennen lernen. "Diese Muster kann der Algorithmus dann auf andere Datensätze anwenden."

Für die Auswahl der Trainingsdaten braucht es allerdings Menschen, die diese Texte markieren – sogenannte Annotatoren. Hier beginnen die Schwierigkeiten: Wenn sich die Annotatoren nicht einig sind, was genau Hassrede ist, dann taugen die Trainingsdaten nichts. Dann kann auch der Algorithmus keine eindeutigen Muster identifizieren. "Das beobachten wir derzeit bei Forschungen zum Thema Hassrede: Die Menschen treffen sehr unterschiedliche Wertungen." Subjektives Sprachempfinden spielt dabei eine Rolle, kulturelle Identität, Glaube, Werte, Kommunikationskontexte und so weiter. Was für den einen noch tolerierbar ist, findet der andere unsäglich. "Wenn wir aber schon bei Menschen geringe Übereinstimmungen haben, dann hat die Maschine keine Möglichkeit, gute Klassifikatoren aufzubauen", sagt Rehm.

Google: "Es gibt keinen Schalter, den wir da einfach umlegen können"

Die Maas-Kritiker sorgen sich also durchaus zu Recht. Sollte das Gesetz in der vorliegenden Form in Kraft treten, dann könnten soziale Netzwerke aus Angst vor dem – allerdings eher theoretisch – hohen Bußgeld Filterprogramme einsetzen, die erstens noch äußerst unzuverlässig und zweitens eher nach dem Recall- als nach dem Precision-Prinzip arbeiten. Meinungsvielfalt und Meinungsfreiheit wären in der Tat bedroht.

Selbst auf der re:publica in Berlin, die Hassrede und systematisch verbreitete Falschnachrichten zum Schwerpunktthema hatte, war in dieser Hinsicht wenig Technikoptimismus zu spüren. Filter gegen Hass, automatisierte Tools zur Content-Moderation? "Da sind wir noch sehr, sehr weit von einer technischen Lösung entfernt", sagt Nicklas Lundblad von Google. "Es gibt keinen Schalter, den wir da einfach umlegen können." Und selbst wenn es eines Tages intelligente Filter gäbe, "bin ich sehr skeptisch, ob wir sie wirklich würden nutzen wollen".

Auch für Medienrechtler Schwartmann sind automatisierte Lösungen weder heute noch in der fernen Zukunft eine Option. "Die Meinungsäußerungsfreiheit ist ein sehr weitreichendes Grundrecht in Deutschland, das sogar Aggression deckt." Ihr sind Grenzen gesetzt, aber ob diese Grenzen überschritten wurden, "das obliegt allein der menschlichen Beurteilung". Das Gesetz verlange aus guten Gründen, dass man sich, bevor man eine Äußerung unterbindet, sicher sein muss, dass sie rechtswidrig ist. Das geht nur, wenn der Kontext berücksichtigt wird. Und sprachliche Kontexte, da sind sich Juristen wie Linguisten einig, können Maschinen derzeit nicht mal im Ansatz verstehen oder beurteilen.

Was allerdings auch heißt: Wenn ein Unternehmen erst einmal nicht auf KI, sondern auf ein paar Tausend neue Mitarbeiter setzt, um gemeldete Inhalte zu beurteilen, dann müssen die wenigstens juristische Fachkenntnisse haben. Sonst treffen schlimmstenfalls einfach nur mehr Menschen als bisher die falschen Entscheidungen.