Thomas Kerstan fragt in der ZEIT Nr. 25 vom 13.6.2014 nach dem "Geheimnis hinter dem Pisa-Erfolg". Seine Auflösungen kommen mir zu schnell. Müsste man nicht vor diesem Geheimnis erst einige Rätsel der Pisa-Daten selbst, beziehungsweise ihrer Deutung lösen?

Meine erste Frage: Können wir wirklich sicher sein, dass Testleistungen im Lesen den Alltagsleistungen entsprechen? In Dänemark wurden Pisa-Daten mit dem Schulerfolg am Ende der Sekundarstufe verglichen: Von den 17 Prozent der nach Pisa angeblich funktional leseunfähigen "Illiterates" schaffte ein Fünftel den Abschluss. In Kanada erreichten sogar fast zwei Drittel derjenigen, die bei Pisa auf Lesestufe 1 oder darunter klassifiziert wurden, einen High-School-Abschluss. Nun kann man natürlich sagen: Das zeigt nur, wie wenig Schulabschlüsse heute noch wert sind. Denkbar ist aber auch der umgekehrte Schluss. So hat uns nachdenklich gestimmt, dass es in unserer Lust-Studie zertifizierte Handwerker und sogar Lehrer gab, die im Lesetest nur auf dem Niveau von guten  Grundschülern abgeschnitten haben. Für die Einschätzung von Befunden aus Pisa & Co. wäre es deshalb hilfreich zu wissen, wie in ihrem Beruf erfolgreiche Menschen in den gängigen Leistungstests abschneiden.

Zweites Rätsel: Erlauben Veränderungen in den Testleistungen den Schluss, dass sich die untersuchten Kompetenzen verändert haben? In der Grundschulstudie Iglu haben die deutschen Viertklässler von 2001 bis 2006 im Lesetest 9 Punkte gewonnen. Dieser Zuwachs war statistisch signifikant und wurde als Erfolg der neuen "Output"-Steuerung gewertet. Von 2006 bis 2011 war eine Abnahme von 8 Punkten zu verzeichnen. Dieser Verlust wurde aber nicht als Misserfolg der Reformen gewertet. Vermutlich zu Recht, aber das hätte dann auch für den ersten Anstieg gelten müssen. Denn ein solch‘ kurzfristiges Auf-und-Ab ist auf Systemebene sehr unwahrscheinlich und wohl doch eher anderen Umständen geschuldet als realen Veränderungen in der Lesekompetenz. Dies umso mehr, als die deutschen Grundschüler von 1991 bis 2001 in vergleichbaren Lesetests sogar 35-40 Punkte gewonnen und sich ins obere Drittel der Vergleichsländer verbessert haben. Aber das war vor dem Systemwechsel zu Leistungsstandards, standardisierten Tests und Schulinspektion.

Unterschiedliche Tests bringen unterschiedliche Ergebnisse

Nachdenklich stimmt auch, dass im Lesetest des US-amerikanischen National Assessment of Educational Performance die Leistungen über 40 Jahre fast konstant geblieben sind; gleichzeitig wurden für die USA in internationalen Leistungsvergleichen ganz unterschiedliche Rangplätze für Schüler, die zu verschiedenen Zeitpunkten in dieser Phase eingeschult wurden, ausgewiesen: nur Platz 7 von 8 in der Erwachsenenstudie Ials, dagegen ein guter Platz 2 unter 16 in der Iea-Lesestudie von 1991, während bei PISA ein durchschnittlicher Platz 15 unter 31 Staaten zu Buche schlug. Sind solche starken Schwankungen plausibel – oder doch eher durch unterschiedliche Aufgabentypen, Altersgruppen, Stichproben bedingt?

Dritte Frage: Sofern es tatsächlich reale Veränderungen gegeben haben sollte, können wir sie einem besseren Unterricht zurechnen? Kerstan selbst verweist auf Veränderungen in der Schülerschaft, die nach den Analysen des Pisa-Autors Klieme rund 80 Prozent des Zuwachses der Testwerte erklären. Daneben hat sich seit dem Jahr 2000 auch die außerschulische Situation verändert. Allerdings haben wir dazu nur wenige Daten. Nach der Shell-Jugend-Studie 2010 hat der Umfang der Nachhilfe in den PISA-Jahren immerhin um ein Drittel zugenommen. Gleichzeitig beurteilen die Jugendlichen ihre Ausbildungs- und Berufsaussichten positiver – angesichts der deutlich günstigeren Arbeitsmarktsituation ein plausibles Motiv für größere Anstrengungen auch der schwächeren Schüler, ganz unabhängig von der Qualität des Unterrichts. Veränderungen in den schulischen Leistungen können also durch ganz unterschiedliche schulische wie außerschulischen Umstände bedingt sein.

Vielleicht stimmt ja Kerstans Interpretation. Nur folgt sie nicht zwingend aus den Pisa-Daten. Andere Deutungen sind nicht weniger plausibel. Bis wir mehr wissen, halte ich mich an das weise Urteil meines fünfjährigen Enkels Tom in solchen Fällen: Man weiß es nicht – man muss es glauben. Zurzeit  sollte man jedenfalls bei Pisa sehr zurückhaltend mit Wertungen wie Ursachenzuschreibungen umgehen.