Welche Schlagzeile reizt wohl mehr zum Lesen? "Tod durch Pokémon Go: mehr Verkehrstote und bis zu 7,3 Milliarden Dollar Schäden in den USA" oder "Ohne Pokémon Go theoretisch zwei tödliche Unfälle weniger in einer Gemeinde in Indiana"?

Beides steht in der Studie Death by Pokémon Go von Mara Faccio und John J. McConnell von der Purdue University in West Lafayette im US-Bundesstaat Indiana. Sie hat noch keinen Peer-Review-Prozess durchlaufen, aber schon für einigen Wirbel gesorgt. Denn die Autoren machen Spieler des Augmented-Reality-Games von Niantic für einen signifikanten Anstieg von Verkehrsunfällen in ihrer Gemeinde verantwortlich, für Schäden in Höhe von fünf bis 25 Millionen Dollar in nur 148 Tagen nach der Veröffentlichung des Spiels – und sie extrapolieren diese Zahlen auf die gesamten USA. So kommen sie auf eine Schadenssumme von bis zu 7,3 Milliarden Dollar. Diverse Medien haben diese Vorlage dankbar aufgenommen und die Ergebnisse bestenfalls mit dem einen oder anderen Konjunktiv wiedergegeben. Das Problem ist nur: In der Studie wimmelt es vor Ungenauigkeiten und Ungereimtheiten, weshalb so ziemlich alle Zahlen darin fragwürdig sind.

Die These der beiden lautet: In der Nähe der sogenannten Pokéstops kommt es vermehrt zu Verkehrsunfällen, weil Autofahrer während der Fahrt spielen und an diesen Orten zum Beispiel virtuelle Bälle sammeln, die sie brauchen, um neue Monster zu fangen.

Statistische Signifikanz herbeigerechnet?

Ihre Studie startet mit einer polizeilichen Unfallstatistik für Tippecanoe County aus dem Zeitraum März 2015 bis November 2016, in der Art, Ort, Schwere und mitunter auch vermutete Ursache der Unfälle verzeichnet sind. Pokémon Go wurde am 6. Juli 2016 veröffentlicht. Von den rund 12.300 Unfällen lassen die Autoren zwischen einem Zehntel und einem Drittel unter den Tisch fallen, weil sie sich entweder nicht lokalisieren lassen oder nicht an Straßenkreuzungen passiert sind. Dahinter steckt wohl die Annahme, dass man beim Warten an einer Kreuzung eher Pokémon-Balls einsammelt als auf freier Strecke. Die verbliebenen Unfälle blähen sie zu Datenballons auf, mit jeweils mehr als drei Millionen Datenpunkten. Die beinhalten zum Beispiel, welche Kreuzung an welchem Tag wie viele Unfälle zu verzeichnen hat. Ein seltsames Vorgehen – so werden die Unfälle zusammengepackt mit vielen Nicht-Unfällen, für die der Einfluss des Pokémon-Spielens irrelevant ist. Dient das, um die Zahl der Datenpunkte zu erhöhen und so Signifikanz zu erzeugen? Das bleibt das Geheimnis der Autoren.

Wie sie die Variablen hinterher auswerten, ist noch schlimmer: Da passieren ihnen schwere handwerkliche Fehler, sie verwenden offenkundig völlig unpassende statistische Werkzeuge.

Standardmäßig würde man die Kreuzungen in eine Pokémon- und eine Nicht-Pokémon-Gruppe aufteilen und die Unfälle vor und nach Einführung der App zählen, unter Berücksichtigung anderer Einflüsse. (Zahlen, die in der Studie übrigens nicht zu finden sind.) Die App ist sicher nur für einen Bruchteil der weniger als zehntausend letztlich betrachteten Fälle verantwortlich – Fakt ist, dass die Zunahme an Unfällen, die die Autoren konstatieren, winzig ist. Die Frage ist: Wie groß ist das Rauschen? Statistische Signifikanz, die in traditionellen Berechnungen maßgeblich von der Anzahl der Beobachtungen abhängt, lässt sich in aufgeblähten Datensätzen leichter herbeirechnen. Vielleicht ist das der Grund für die Datenmasse.

Die Autoren geben sich immerhin auf den ersten Blick große Mühe, ihre Berechnungen um verschiedene Störfaktoren zu bereinigen. Dabei werden aber zum Beispiel Baustellen, Städtebau oder das Wetter nicht berücksichtigt. Im Wesentlichen beziehen sie nur die Universitätsferien in ihre Analyse ein, wobei der Ferienzeitraum um Weihnachten nur einmal in der Stichprobe vorkommt. Da Verkehr aber saisonal sehr starken Schwankungen unterliegt, wäre es interessant zu sehen, wie zum Beispiel ein Weihnachten mit Pokémon Go im Vergleich zu einem Weihnachten ohne Pokémon Go aussieht. Besser mehrere – um absehen zu können, wie stark Unfallzahlen in verschiedenen Jahren und saisonal auseinander liegen können, und so das Rauschen schätzen zu können. Tatsächlich sehen schon die vorliegenden Zahlen so aus, als ob im Sommer die Anzahl der Unfälle deutlich nach oben geht – auch ohne Pokémon Go. Das könnte auch eine Erklärung für die Ergebnisse sein.

Schlafend am Steuer spielen?

Außerdem wird nur in 24 Unfallberichten die Ursache von der Polizei explizit mit  "Handynutzung am Steuer" benannt. Diese Stichprobe ist den Autoren zu klein, um daraus signifikante Erkenntnisse abzuleiten, also fassen sie sie mit "übermüdeter Fahrer" und "abgelenkter Fahrer" zusammen. Macht 213 Fälle. Immer noch wenig, aber die Autoren gehen davon aus, dass die tatsächliche Zahl größer ist. Damit zeigt sich tatsächlich eine Zunahme von Unfällen an den Pokéstops – obwohl man meinen sollte, dass man Pokémon Go nicht im Sekundenschlaf spielen kann.

Ziemlich wirr ist auch die Rechnung zu Toten durch Pokémon Go spielende Autofahrer geraten. Faccio und McConnell gelangen zu dem Schluss, dass der Rückgang der Opferzahlen im Straßenverkehr von Tippecanoe County höher ausgefallen wäre, als es tatsächlich der Fall war, wenn es das Spiel nicht gäbe. Nämlich um zwei Personen. Auf dieser theoretischen Grundlage berechnen sie einen Schadenswert: Zwei mal das durchschnittliche jährliche Einkommen von Vollzeitangestellten in den beiden Städten Lafayette und West Lafayette mal die Differenz von US-Lebenserwartung und dem Median des Alters der beiden, also zwei Tote mal 47.000 Dollar mal 80 Jahre minus 40 Jahre, das ergibt dann 3,76 Millionen Dollar.

Ob das eine geeignete Form ist, eine Schadensrechnung aufzumachen, kann man anzweifeln. Erstens, weil Menschenleben damit auf ihr angenommenes Einkommen reduziert werden. Zweitens, weil zwei Tote viel zu wenig sind, um den Durchschnittslohn als statistisches Mittel verwenden zu können, ebenso die Lebenserwartung, die in Indiana übrigens mehr als ein Jahr niedriger ist als im US-Schnitt. Sprich: Hätte die Untersuchung in einer ärmeren Gemeinde stattgefunden, etwa in Wheeler County im US-Bundesstaat Georgia, mit nur rund 16.000 Dollar Pro-Kopf-Einkommen, und wären die beiden Opfer älter gewesen, hätten die Autoren ein Ergebnis bekommen, das unter eine Million Dollar liegt.