Es ist ganz schön lädiert, das Image der Meinungsforscher. Trump und Brexit nicht vorhergesagt, die AfD lange unterschätzt – weil die Demoskopen 2016 wiederholt danebenlagen, steht ihr Handwerk plötzlich da wie Kaffeesatzleserei. Vorhersagen mögen als Gesprächsstoff taugen, aber kann man ihnen noch trauen?

Und das im Schicksalswahljahr 2017, das in dieser Woche mit den Parlamentswahlen in den Niederlanden begonnen hat. In Deutschland wird dann Ende März der saarländische Landtag gewählt, im Mai folgt Nordrhein-Westfalen. In Frankreich steht Marine Le Pen zur Wahl, und am 24. September schließlich geht es um den neuen Bundestag. Gleichzeitig scheint die Mathematik der Vorhersage nicht mehr zu funktionieren.

Wie tief steckt die traditionelle Demoskopie in der Krise? Sind Onlineumfragen und Big-Data-Methoden bessere Instrumente zur Analyse einer sich wandelnden Gesellschaft? Und lassen sich Wahlergebnisse überhaupt noch prognostizieren? Eine Annäherung an die Wirklichkeit in sieben Schritten:

1. Die Zahlen waren gar nicht schlecht, aber ...

Wenn das Ergebnis für einen Kandidaten kontinuierlich als mickrig vorhergesagt wird, der schließlich zur allgemeinen Überraschung doch das Rennen macht – dann sind die Prognostiker in Erklärungsnot. Vorweg sei gesagt, dass Donald Trump aufgrund des verqueren US-Wahlsystems Präsident geworden ist. Insgesamt gaben fast drei Millionen mehr Menschen ihre Stimme Hillary Clinton (48 Prozent der Wähler) als ihrem Widersacher (46 Prozent). Die Umfragen hatten Clinton mit zwei bis vier Prozent vorn gesehen. Der Prognosefehler bewegte sich im Rahmen der Unschärfe solcher Erhebungen.

Doch zum Problem wurde, dass viele Redaktionen Umfragewerte in Gewinnwahrscheinlichkeiten umrechneten, bei der New York Times hieß es noch am Wahlmorgen: 85-Prozent-Chance für Hillary. Für den Leser sind solche Zahlen ähnlich aufschlussreich wie die Regenwahrscheinlichkeit im Wetterbericht. Auch wenn sie nur bei 15 Prozent liegt, kann man pudelnass werden. Dieses Spiel mit den Wahrscheinlichkeiten bezeichnet der Kommunikationswissenschaftler und Demoskopieexperte Frank Brettschneider von der Universität Hohenheim als "Quatsch", solche Berechnungen seien "wissenschaftlich überhaupt nicht haltbar".

Dieser Artikel stammt aus der ZEIT Nr. 12 vom 16.3.2017.

Wie fatal die Zuspitzung ist, zeigt das Beispiel Brexit. Da lagen die Demoskopen gar nicht so falsch, beteuerten sie doch ständig, der Unterschied zwischen Bleiben und Gehen liege innerhalb ihrer statistischen Fehlertoleranz. Dann aber legten sich kurz vor dem Referendum fast alle Umfrageinstitute auf ein knappes remain fest.

Knapp daneben ist auch vorbei. Die Fehlprognosen lassen sich nicht mit statistischen Unsicherheiten wegargumentieren, auch weil sie alle auf ähnliche Weise falsch lagen.

2. Meinen ist nicht reden (oder gar handeln)

Das Dilemma der Meinungsforscher lässt sich in vier Probleme zerlegen: Zunächst müssen sie eine möglichst repräsentative Stichprobe von Bürgern finden und diese befragen. Repräsentativ heißt, dass unter den vielleicht 1.000 oder 2.000 Befragten der Anteil von Männern und Frauen, Alten und Jungen, Gebildeten und Ungebildeten, Stadt- und Landvolk dem der Gesamtbevölkerung entsprechen soll. Zweitens muss man diese Menschen dazu bringen, ehrlich ihre Ansichten zu äußern. Drittens muss man auch diejenigen, die sich in der Umfrage nicht festlegen wollen, in die Rechnung einbeziehen. Sind das Nichtwähler, oder werden sie sich in letzter Minute für eine Partei entscheiden? Viertens müssen die Wahlforscher abschätzen, ob diejenigen, die ihre Meinung kundtun, auch wirklich wählen gehen. Alle vier Faktoren sind mögliche Quellen für Fehlprognosen.

3. Die klassische Umfrage wird schwieriger

Die Mathematik sagt: Wenn mir von allen Wahlberechtigten tausend zufällig ausgewählte antworten, dann habe ich eine allgemeingültige Antwort mit zwei bis vier Prozent Unschärfe. Und in der Vergangenheit konnten sich Meinungsforscher da vor allem auf Telefonumfragen per Festnetz verlassen. Weil fast jeder einen Anschluss hatte, kamen sie zu einer guten Stichprobe – einfach indem sie nach dem Zufallsprinzip beliebige Nummern anwählten. Heute telefonieren viele Menschen nur noch mobil. Deshalb misst etwa Infratest dimap den Deutschlandtrend der ARD seit vier Jahren per Dual-Frame-Stichprobe: mit 70 Prozent Festnetz- und 30 Prozent Mobilfunknummern. Allerdings geht das nur bei nationalen Umfragen, weil Handyvorwahlen keine Rückschlüsse auf den Wohnort zulassen.

Aber wer angerufen wird, der nimmt nicht immer an der Umfrage teil. Nicht nur sind die Zeiten, in denen fast jeder pflichtschuldig Antwort gab, vorbei. Die Redebereitschaft ist auch nicht gleichmäßig übers politische Spektrum verteilt. "Das Phänomen, dass ein Teil der Wähler rechtsradikaler Parteien sich nicht befragen lässt, gab es schon immer", sagt Manfred Güllner, der Chef von forsa. "Für diesen Teil der Wähler gehören Umfragen zum verhassten Manipulations-Establishment." Und das heißt: Die Stichprobe ist schon von Beginn an verzerrt.