Leistungsstudien wie Pisa (Programme for International Student Assessment), deren Ergebnisse für 2009 jüngst veröffentlicht wurden , haben unser Instrumentarium zur Evaluation des Schulsystems bereichert. Dennoch: Ihre Erträge werden überbewertet, ihre Nebenwirkungen dagegen unterschätzt.

Besser geworden seien die deutschen Schüler seit Pisa, sagen die Autoren. Aber was heißt ein Anstieg der deutschen Testleistungen: dass die fachlichen Kompetenzen gewachsen sind? Dass die aktuellen Testinhalte den deutschen Schülern mehr lagen als 2001? Dass diese durch veränderte Aufgabenformate im Unterricht schlicht testerfahrener geworden sind? Viele haben in der Schule und durch Materialien wie Pisa fit gelernt, Texte nur durch die Brille der anschließenden Fragen zu scannen. Das spart Zeit und erhöht die Chancen, mehr Aufgaben zu lösen.

Pisa spricht von »literacy« und will damit weg von lehrplangebundenen Inhalten hin zu Kompetenzen, die im Alltag relevant sind. Damit aber bilden die Testergebnisse auch in höherem Maße Erträge beiläufigen Lernens ab. Folgerungen, die sich allein auf die Qualität der Schule und ihre Reform beziehen, werden problematisch. Zwar ist es ein wichtiger Hinweis, dass in anderen Ländern die Pisa-Leistungen weniger stark von der sozialen Herkunft der Schüler abhängen. Aber liegt das an einem besseren Unterricht? Oder am längeren gemeinsamen Lernen, am Ganztag, an mehr personellen Ressourcen, an einer höheren Bedeutung von Bildung in der Gesellschaft? In einigen Ländern haben 15-Jährige nur neun Jahre Schule hinter sich, in anderen elf. Pisa aber nimmt allein die Schule ins Visier. Damit werden bedeutsame außerschulische Bedingungen vernachlässigt, die nur über Sozial- und Wirtschaftspolitik zu verändern sind wie die familiäre Betreuung von Kindern und die Berufsaussichten von Jugendlichen.

Und selbst für den schulischen Raum liefert Pisa als Querschnittstudie keine Erklärungen . Bei statistischen Korrelationen lassen sich unterschiedliche Vermutungen über die kausalen Zusammenhänge anstellen. Zwar können schon gut begründete Hypothesen hilfreich sein, um politisches Denken zu differenzieren und praktisches Handeln anzuregen. Jedoch werden die Pisa-Ergebnisse so nicht »verkauft«, geschweige denn wahrgenommen. Das wiederum hängt mit dem Nimbus des Messbaren in unserer Gesellschaft zusammen, aber auch mit dem Stil, in dem die Präsentation der Pisa-Daten inszeniert wird. Die Geheimhaltung der Daten bis zur Publikation, ihre Darstellung in Form von Ranglisten, die (Schein-)Präzision statistischer Kennwerte, Pressekonferenzen mit hochrangigen Politikern – all das suggeriert, hier würden unanfechtbare Expertenurteile vorgestellt. Die Pisa-Autoren selbst sind sich der Einschränkungen ihrer Daten bewusst – aber sie spielen das Spiel mit.

Dabei ist immer noch unklar, was Pisa-Zahlen konkret bedeuten. Zwar ist es sehr anschaulich, wenn ein Wert von 45 Testpunkten mit dem »Lernzuwachs in einem Schuljahr« übersetzt wird. Aber wie gewichtig ist diese Differenz beispielsweise für das Lesen im Alltag? Ein durchschnittlicher Zweitklässler liest sicher deutlich besser als ein Erstklässler – aber ein 16-Jähriger im Vergleich zu einem 15-Jährigen? Die Kompetenzstufen werden nicht anhand realer Anforderungen, sondern auf statistischem Wege bestimmt. Im Blick auf die Aussagekraft der Testergebnisse stimmt jedenfalls nachdenklich, dass in Dänemark von den nach Pisa angeblich funktional leseunfähigen »illiterates« immerhin ein Fünftel die Sekundarschule erfolgreich abschließt. In Kanada erwerben sogar fast zwei Drittel auf Lesestufe 1 und darunter einen Highschool-Abschluss.

Zentrale Annahmen der statistisch-technischen Modelle von Pisa wurden in der Fachdiskussion infrage gestellt. Diese Kritik wird in der Öffentlichkeit kaum wahrgenommen, geschweige denn verstanden. Sie macht aber deutlich, dass Zahlen nicht für sich sprechen, sondern der Interpretation bedürfen. Diese wiederum ist abhängig von Personen und Theorien – nicht anders als persönliche Erfahrung, die sie doch ersetzen soll. »Ich fürchte mich am meisten vor den Personen, die jetzt genau wissen, was zu tun ist«, sagte »Pisa-Papst« Baumert vor zehn Jahren der ZEIT. Leider haben sich weder er noch seine Kollegen an diese Mahnung gehalten.

Zehn Jahre Pisa – eine Erfolgsgeschichte ? Sicherlich hinsichtlich der Wirkung der Studien auf Politik und Öffentlichkeit. Zwar haben Bildungssoziologen die Abhängigkeit des Schulerfolgs von der sozialen Herkunft schon lange beklagt. Aber erst durch Pisa ist dieses zentrale Problem wieder auf die Agenda gekommen. Ähnliches gilt für die Schwierigkeiten von Migranten in unserem Bildungssystem. Betroffene Lehrer und Schulaufsichtsbeamte haben lange vergeblich versucht, sie ins Gespräch zu bringen. Statistische Daten wirken anscheinend glaubwürdiger.