Ein Foto eines Hundes, der mit einer Leine am Hals gezerrt wird und offensichtlich keine Luft bekommt, ist in Ordnung. Ein Video davon nicht. Ein Erwachsener packt wiederholt ein Kind am Arm und schleudert es umher – kein Problem. Auch Bilder von Menschen mit Essstörungen sind erlaubt, solange sie niemand anfeuert. "Ich bring dich um, John!" ist eine akzeptable Aussage. "Ich bring dich um, John, ich hab das perfekte Messer!" nicht. Stillende Mütter? Generell okay. Sex? Wenn dann nur gemalt, bitte. Aber nicht am Computer.

Erstmals bekommt die Öffentlichkeit einen Einblick, wann und wie Inhalte auf Facebook moderiert werden. Der britische Guardian hat mehr als 100 interne Dokumente erhalten (hier eine Auswahl einiger Originaldokumente, die von dem Medium veröffentlicht wurden) und ausgewertet. Sie zeigen, wie speziell die Auswahlkriterien teils sind – und wie schwierig es für die häufig freien Mitarbeiter ist, richtige Entscheidungen zu treffen und der Masse der gemeldeten Beiträge beizukommen.

7.500 Moderatoren für zwei Milliarden Nutzer

In Deutschland hat die Debatte um Hasskommentare und die Löschpraxis sowohl eine eigene deutsche Taskforce als auch ein Facebookgesetz (eigentlich: Netzwerkdurchsetzungsgesetz , NetzDG) hervorgebracht. Wird es verabschiedet, verpflichten sich Plattformbetreiber, gemeldete rechtswidrige Inhalte binnen 24 Stunden zu löschen.

Im Herbst gab es eine Kontroverse um ein historisches Kriegsbild, das von Facebook gelöscht wurde. Fake-News wurden während des US-Wahlkampfes und darüber hinaus zum geflügelten Wort. Die neue Livevideo-Funktion spült immer häufiger Videos von Morden, Suiziden und Vergewaltigungen in die Timelines der Nutzer. Manchmal werden die Streams binnen Minuten gestoppt, manchmal bleiben die verstörenden Aufnahmen einen ganzen Tag online.

Facebook reagiert auf die Kritik. Man wolle die Nutzer vor ungewünschten Inhalten schützen und dafür sorgen, dass sie sich sicher fühlen. Anfang Mai gab das Unternehmen bekannt, im Verlauf des Jahres 3.000 zusätzliche Moderatoren einstellen zu wollen, zusätzlich zu den 4.500 bestehenden. 7.500 Mitarbeiter also, die sich um die Inhalte von mittlerweile fast zwei Milliarden Nutzern kümmern sollen. Das klingt nicht nur, was die Zahlen angeht, immer noch nach einer nahezu aussichtslosen Aufgabe. Auch die Leitlinien, nach denen diese Moderatoren arbeiten sollen, sind alles andere als eindeutig.

Die Prüfer müssen aufs Wort genau abwägen

Etwa im Fall von selbstverletzendem Verhalten. So geht aus den jetzt bekannt gewordenen Dokumenten hervor: Videos, in denen sich Personen selbst Schaden zufügen oder sich gar umbringen, werden nicht sofort gelöscht. Sie könnten "eine aufklärerische Wirkung haben" und Freunde oder Familie dazu bringen, den Menschen zu helfen, heißt es dort. Ist ein Suizidversuch immanent, können die Moderatoren entsprechende Hilfsorganisationen alarmieren. Doch gibt es Ausnahmen: So sollen Inhalte gelöscht werden, wenn den Personen offensichtlich nicht mehr geholfen werden kann, um keinen Werther-Effekt hervorzurufen. In Einzelfällen könne ein Suizid aber Nachrichtenwert haben, dann sollten die Inhalte wiederum stehenbleiben. Die Moderatoren müssen also eine ganze Reihe von Faktoren abwägen.

Das gilt auch für "glaubwürdige Gewaltandrohungen". Gelöscht werden nur Inhalte, die zuvor gemeldet wurden und die wirkliche Gewalt nach sich ziehen könnten. Denn "Menschen drücken Verachtung und Meinungsverschiedenheiten oft dadurch aus, dass sie leichtfertig und in nicht Ernst gemeinter Weise Gewalt androhen oder herbeiwünschen", schreibt Facebook. Pauschale Gewaltandrohungen gegen "bedrohte Gruppen" wie etwa Obdachlose sollen dagegen immer gelöscht werden. Drohungen gegenüber Einzelpersonen müssten auf ihre Plausibilität hin überprüft werden, also ob ein genauer Tatort oder Tatzeit vorkommen.

Wie der Guardian schreibt, sei in einem internen Dokument die Rede von 6,5 Millionen Meldungen pro Woche – und das sind nur die, die mutmaßliche gefälschte Profile betreffen. Die Zahl der insgesamt von den Nutzern gemeldeten Inhalte dürfte höher liegen. Um diese Masse zu bewältigen, bleibt den Moderatoren nicht viel Zeit, sich mit jeder Meldung lange zu befassen. Teilweise hätten sie nur zehn Sekunden, um eine Entscheidung zu treffen, zitiert der Guardian eine Quelle. Allerdings heißt es in den jetzt geleakten Leitlinien auch, alle Mitarbeiter könnten prinzipiell jede Meldung "eskalieren" und an ihre Vorgesetzten senden, sollten sie sich unsicher sein.