Die empirische Bildungsforschung ist aus der Bildungspolitik nicht mehr wegzudenken. Ihre Ergebnisse sind als Orientierung und Steuerungswissen gefragt und es waren internationale Vergleichsstudien wie PISA, die in Deutschland Bildung wieder in den Fokus der Öffentlichkeit und der politisch Handelnden gerückt haben. Daraus leitet sich die Verantwortung ab, die Ergebnisse dieser Studien kohärent und verständlich zu präsentieren und Rechenschaft über die eigenen Methoden abzulegen. Es gehört zu den Stärken der PISA-Studie, dass sie diese Anforderungen immer sehr gut erfüllt hat. Die Abbildung der Schülerleistungen in international vergleichbare Punktwerte lässt eine einfach verständliche Analyse zu. Die Kompetenzstufen, denen die Punktwerte zugeordnet werden, erlauben die Rückbindung der Ergebnisse an die realen Fähigkeiten der Schülerinnen und Schüler. Schließlich werden bei PISA wie bei kaum einer anderen Vergleichsstudie Methodik und Datengrundlage ausführlich dokumentiert und veröffentlicht.

Niemand wird behaupten, dass die Ergebnisse von PISA 2006 optimal kommuniziert wurden. Vorabveröffentlichung in Spanien und Deutschland brachten Bruchstücke der Studie in die Öffentlichkeit. Über Tage kursierten in den Medien unterschiedliche Interpretationen, ohne dass es der OECD möglich war, ein umfassendes Bild der Ergebnisse zu liefern. Die unterschiedlichen Standpunkte wurden zu einem Schlagabtausch der Beteiligten dramatisiert. Politik und Öffentlichkeit waren angesichts der divergierenden Aussagen verwirrt. Manfred Prenzel, Jürgen Baumert und Eckhard Klieme haben in dieser Zeitung zur Klärung einiger Fragen beigetragen . Sie haben aber auch das OECD-Sekretariat kritisiert, dass es undiszipliniert gewesen sei oder auf politischen Druck gehandelt habe. Das ist so nicht nachzuvollziehen. Auf die drei wesentlichen Kritikpunkte, die Anpassung des sozioökonomischen Index, die Reaktion der OECD auf die Vorabveröffentlichungen und die Trendanalyse in den Naturwissenschaften möchte ich hier eingehen.

Die Autoren monieren, dass die OECD den Index, auf dessen Grundlage die soziale Herkunft abgebildet wird, über den Studienzyklus verändert hat und so die Vergleichbarkeit über die Zeit erschwert. Der von der OECD verwendete Index setzt sich aus drei Teilindizes zusammen, in denen der berufliche Status der Eltern, deren Bildungsabschluss und kulturelle Besitztümer zu etwa gleichen Teilen eingehen. In der Tat wurden Teile dieses Index über die drei PISA-Studien hinweg angepasst, um mit ihnen die veränderte Lebenswirklichkeit abzubilden. Der Besitz eines DVD-Player, beispielsweise, der vor einigen Jahren noch 10 bis 20 Prozent eines Durchschnittseinkommens kostete, heute aber für weniger als 50 Euro zu haben ist, muss als Indikator für sozialen Status anders gewertet werden. Das Gleiche gilt, wenn man in einer sich schnell wandelnden Arbeitswelt aus der beruflichen Tätigkeit auf den sozialen Status schließen will. Eine Analyse, die solche Veränderungen nicht berücksichtigt, behält für ihre Berechnungen eine feste Referenz, entfernt sich aber Zug um Zug von der sozialen Realität.

Der zweite Vorwurf kreist um die Reaktion auf Vorabveröffentlichungen und den Umgang mit der Frage, inwieweit die Ergebnisse der Naturwissenschaften aus PISA 2006 mit den Vorgängerstudien vergleichbar sind. Die OECD hat frühzeitig darauf hingewiesen, dass in den Naturwissenschaften anders als in den Bereichen Lesen und Mathematik mehr oder weniger Punkte nicht als Leistungsverbesserung oder -verschlechterung gedeutet werden dürfen. Diese Einschränkung war den Teilnehmerländern und den beteiligten Wissenschaftlern bekannt. Das Berliner OECD-Büro hat auch den Medien im Rahmen eines Seminars diese Einschränkung vermittelt. Und natürlich waren wir verpflichtet, darauf hinzuweisen, als eine spanische Zeitung die Ergebnisse vorab verbreitete. Nicht mehr und nicht weniger stand in der OECD-Pressemitteilung vom 29. November, die wir nach dem vom PISA-Verwaltungsrat festgelegten Verfahren verschickt haben, und nicht mehr und nicht weniger hat der OECD-PISA-Koordinator Andreas Schleicher den deutschen Medien mitgeteilt, die ihn dazu befragt haben.

Wir hätten uns gewünscht, die gesamten Ergebnisse aus PISA 2006 gleich im Zusammenhang darstellen zu können. Weder konnten noch wollten wir uns unseren Zeitplan von Vorabberichten diktieren lassen. Dass diese unverzichtbare Klarstellung zum Verständnis der Ergebnisse einen solchen Aufruhr auslösen sollte, bleibt uns ein Rätsel. Wer sich innerlich darauf vorbereitet hatte, in der höheren und gegenüber den anderen OECD-Ländern überdurchschnittlichen Leistung eine Verbesserung zu sehen, der sah möglicherweise seine Kommunikationsstrategie durchkreuzt. Die Zahlen ohne die entsprechenden Hinweise zu lassen, wäre aus unserer Sicht aber schlicht unverantwortlich gewesen. Heute stellen auch die deutschen Projektverantwortlichen nicht mehr infrage, dass die Punktdifferenz in den Naturwissenschaften zwischen PISA 2003 und 2006 nicht als Leistungszuwachs interpretiert werden kann. Es hätte sicher zur Klarheit beigetragen, wenn dies auch im Dezember 2007 so kommuniziert worden wäre.

Schließlich bleiben noch die Trendberechnungen in Naturwissenschaften. Für die OECD standen diese Berechnungen nie im Zentrum, vor allem weil die Datenbasis hierfür nur eingeschränkt vorhanden ist. Deshalb wurden die Berechnungen anders als in den Bereichen Lesen und Mathematik im Anhang und nicht im Hauptteil der Studie veröffentlicht. Allerdings wurden sie so wie die anderen Teile des internationalen Berichts auch den Teilnehmerländern zur Begutachtung vorgelegt. Es kann also keine Rede davon sein, dass diese Zahlen in letzter Minute oder auf politischen Druck hin aufgenommen wurden. Auch die Methodik ist transparent. Sie ist, wie für die übrigen Analysen auch, im technischen Bericht zu PISA 2006 nachzulesen.