Falscher Verdacht

Klaus Klemms Kritik ist ernst zu nehmen, ist er doch durch sein Mitwirken im wissenschaftlichen Beirat von Pisa mit der Studie vertraut. In der Sache jedoch geht seine Kritik in wesentlichen Teilen zumindest am deutschen Teil der Pisa-Untersuchung vorbei.

Klemm bemängelt, dass in den Pisa-Studien nicht genau begründet werde, welche Schüler zur sogenannten Risikogruppe gehörten, und dass die Zuordnung überdies von Studie zu Studie wechsele. Hier hat Klemm unsere Berichte nicht genau gelesen. Pisa 2000, die erste Pisa-Studie, hat mit dem Begriff der Risikogruppe erstmals auf ein skandalöses Problem des deutschen Schulsystems aufmerksam gemacht: Ein erheblicher Anteil der 15-Jährigen erreicht in den Basisqualifikationen Lesen und Mathematik nicht das Bildungsminimum, das für selbstständiges Weiterlernen und das Erlernen eines zukunftsfähigen Berufs vorausgesetzt wird. Damit erfüllt die Schule eine elementare Qualifikationsaufgabe nur unzureichend.

Die Risikogruppen werden in der Pisa-Studie durch die Zugehörigkeit zu sogenannten Kompetenzstufen eindeutig festgelegt. Die Bedeutung der Kompetenzstufen wird definiert, indem anhand von Beispielaufgaben für jedermann nachvollziehbar gezeigt wird, was Jugendliche können. Im ersten Bericht von Pisa 2000 heißt es zur Mathematik-Kompetenzstufe I: "Sie können arithmetisches und geometrisches Wissen, wie es in der Grundschule (sic!) vermittelt wird, in vertrauten Aufgabenstellungen anwenden, also zum Beispiel durch Dividieren und Multiplizieren einen Preis ermitteln oder den Flächeninhalt eines Rechtecks mit vorgegebenen Kantenlängen berechnen. Anforderungen, die über solche elementare Standardaufgaben hinausgehen, können sie nicht bewältigen. Damit sind sie … nicht in der Lage, typische mathematische Aufgaben für Ausbildungsplatzbewerber zu lösen. Die Schülerinnen und Schüler auf Kompetenzstufe I (und a fortiori auf unterer Stufe) müssen demnach im Hinblick auf ihre … Bildungs- und Berufschancen als Risikogruppe angesehen werden." Diese Definition wird über alle Berichte durchgehalten. Zur Risikogruppe gehören in Deutschland bei Pisa 2000 24, 2003 21,6 und 2006 19,9 Prozent der 15-Jährigen.

Im Hinblick auf die Lesekompetenz argumentiert Pisa vorsichtiger, weil es schwieriger ist, vergleichbare außerschulische Kriterien heranzuziehen. Außer Frage steht die Unzulänglichkeit der Lesekompetenz für das selbstständige Weiterlernen bei Jugendlichen, die keine der Pisa-Aufgaben sicher lösen können und damit unter der Stufe I bleiben. Diese Jugendlichen identifiziert Pisa 2000 als eindeutige Risikogruppe. Aber auch für Stufe I gibt es genügend Anhaltspunkte, dass typische Leseanforderungen, die in allen zukunftsfähigen Berufen anfallen werden, nicht bewältigt werden können. Deshalb fasst Pisa 2000 Jugendliche der Kompetenzstufen I und unter I als potenzielle Risikogruppe zusammen. Diese Abgrenzung wird durchgehalten, und die Gruppe wird genau beschrieben. Zu ihr gehören in Deutschland 2000 22,6 Prozent, 2003 22,3 Prozent und 2006 20,0 Prozent. Auch in Bezug auf die Naturwissenschaften ist Pisa in sich schlüssig. Der Begriff der Risikogruppe wurde hier nie verwendet, weil das Scheitern im gesellschaftlichen Alltag nicht so eindeutig belegt werden kann.

Klaus Klemm vermag sich offenbar mit Aussagen zu Risikogruppen nicht anzufreunden, weil sie seine Kritik an der Ausbildungsunwilligkeit von Betrieben schwächen könnten. Damit kommt er jenen nahe, die Pisa-Befunde je nach Passung für eigene politische Interessen benutzen oder abwehren.

Des Weiteren bemängelt Klemm verwirrende Befunde über den Zusammenhang des Bildungserfolgs mit der sozialen Herkunft der Schüler. Nun kann man die soziale Lage von Menschen und Familien nicht eindimensional beschreiben. Pisa verwendet zur Kennzeichnung sozialer Lagen zu Recht eine Reihe von Indikatoren. Diese Merkmale werden mit dem Kompetenzerwerb in Beziehung gesetzt. Ziel ist es, den Zusammenhang zwischen sozialer Herkunft und Bildungsprozessen zu erklären.

Dies alles kann den Ökonomen Klemm nicht ernsthaft verwirren, zumal die Ergebnisse in sich völlig schlüssig sind; den Politikberater Klemm irritiert aber der Befund, dass sich die Kopplung von sozialer Herkunft und Kompetenzerwerb in Deutschland im Zeitvergleich und im Vergleich zu Nachbarstaaten zwischen 2000 und 2006 abgeschwächt hat. Zu dieser Irritation hat die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) beigetragen, die die Pisa-Studie international koordiniert, als sie 2003 und nochmals 2006 einzelne Indikatoren zu einem komplexen Index zusammengefasst und damit die Vergleichbarkeit erschwert hat. Das Pisa-Konsortium hat 2003 auch den neuen OECD-Index berichtet und damit möglicherweise zur Verwirrung beigetragen. Insofern ist Klemms Kritik berechtigt. Das deutsche Pisa-Konsortium hat aber in seinem Bericht zu Pisa 2006 den Sachverhalt transparent dargestellt und Vergleiche von Pisa 2000 bis Pisa 2006 auf der Basis des international am besten geeigneten Indikators durchgeführt. Der Zusammenhang zwischen sozialer Herkunft und Kompetenz hat sich in Deutschland seit 2000 – auch im internationalen Vergleich – geringfügig, aber signifikant verringert. Er ist aber immer noch alarmierend, sodass das Thema wohl auf der Agenda der Bildungspolitik bleiben wird. Vor diesem Hintergrund ist Deutschland gut beraten, weiterhin eigene Analysen durchzuführen, nach Bedarf die Erhebungen und Instrumente zu ergänzen und eigene Berichte anzufertigen. Andernfalls besteht die Gefahr, dass für Deutschland wichtiges Steuerungswissen verborgen bleibt. Wer wollte etwa nicht wissen wollen, dass ein Bildungssystem auch ohne Strukturveränderung etwas gerechter werden kann?

Falscher Verdacht

Klemm mutmaßt in seiner Kritik, dass bei Pisa 2006 der Anteil der Einwandererkinder zu klein war, sodass die Leistungsverbesserungen gegenüber 2003 möglicherweise das Artefakt einer verzerrten Stichprobe seien. Als Referenz zieht er den Mikrozensus heran, der regelmäßig repräsentative Daten zur Lage in Deutschland liefert. Für Klemms Vermutung gibt es aber keinen Anhaltspunkt. Die deutschen Pisa-Stichproben sind exzeptionell gut. Der Anteil von 15-Jährigen mit Migrationshintergrund in der Pisa-Stichprobe beträgt 21,7 Prozent im Jahr 2000, 20,6 Prozent im Jahr 2003 und 19,4 Prozent im Jahr 2006. Diese Veränderungen liegen, wie es die Statistiker nennen, im Bereich des Vertrauensintervalls und beschreiben keine signifikante Abnahme des Migrationsanteils. Sie sind im Wesentlichen auf einen leichten Anstieg fehlender Angaben zum Geburtsland der Eltern im Fragebogen zurückzuführen. Schätzt man die fehlenden Werte unter Nutzung verfügbarer Zusatzinformationen, liegt der Migrantenanteil in der Pisa-Stichprobe von 2006 sogar bei rund 23 Prozent. Klemms Vermutung eines stichprobenbedingt überschätzten Trends lässt sich also nicht aufrechterhalten.

Auch Klemms Verdacht, der Anteil der Einwandererkinder an den getesteten Schülern sei in den deutschen Pisa-Studien durchweg zu niedrig, sodass die deutschen Ergebnisse besser seien als die Wirklichkeit, lässt sich nicht aufrechterhalten. Laut Mikrozensus ist der Anteil der Einwandererkinder an den 15-Jährigen zwar höher als in der Pisa-Stichprobe. Klemm übersieht jedoch, dass Pisa weltweit nur jene 15-Jährigen testet, die noch eine Schule besuchen und körperlich, geistig und sprachlich in der Lage sind, am Test teilzunehmen. Berücksichtigt man dies, liegen die Migrantenquoten in der Pisa-Studie in verblüffender Nähe zum Mikrozensus.

Der letzte Vorwurf Klaus Klemms betrifft die Verwirrung darum, ob die Leistungen der deutschen Schüler in den Naturwissenschaften im Laufe der Pisa-Studien besser geworden sind. Der Vorwurf ist nicht von der Hand zu weisen; gestiftet wurde die Verwirrung aber durch Fehler des OECD-Sekretariats.

Tatsächlich ist es eine extreme und für die Forschung völlig neue Herausforderung, Trends über viele Staaten hinweg in sich schlüssig zu messen. Aufgrund messtechnischer Probleme hat sich das internationale Pisa-Konsortium entschieden, bei den Naturwissenschaften auf international vergleichende Trendaussagen völlig zu verzichten. Genauso korrekt war es, dass Wissenschaftler am Leibniz-Institut für die Pädagogik der Naturwissenschaften in Kiel Trends für Deutschland berechnet haben, denn auf nationaler Ebene ist dies möglich. Das wurde im deutschen Bericht zu Pisa 2006 offengelegt, aber offensichtlich nicht immer verstanden.

Maßgebliche Ursache der Verwirrung ist aber die Undiszipliniertheit des Sekretariats der OECD. Zum einen hat das Sekretariat auf politischen Druck einiger Teilnehmerstaaten, aber gegen den Rat der Wissenschaftler in letzter Minute seinem Bericht eine unkommentierte Tabelle angefügt, die nun doch vergleichende Trends für die Naturwissenschaften berichtete. Auf diese Tabelle bezieht sich Klaus Klemm. Allerdings hat die OECD bis heute nicht offengelegt, wie diese Werte berechnet wurden, sodass sie nicht replizierbar sind. Zum Zweiten haben OECD-Mitarbeiter die deutschen Pisa-Ergebnisse und Trends in den Naturwissenschaften öffentlich kommentiert, bevor die Berichte überhaupt publiziert waren – sodass die deutschen Pisa-Forscher keine Chance hatten, sich öffentlich zu äußern, wenn sie nicht die vertraglich vereinbarte Sperrfrist brechen wollten.

Das Beispiel belegt, wie schnell technisch-statistische Fragen und politische Interessen verwoben werden. Gerade deshalb werden wir uns auch in Zukunft mit aller Kraft um Präzision und Transparenz bemühen. Allerdings werden wir auch damit leben müssen, dass in der Bildungspolitik selektiv auf Befunde aus Pisa zurückgegriffen wird. Um eine evidenzgesteuerte Bildungspolitik unterstützen zu können, brauchen wir eine Gemeinschaft empirischer Bildungsforscher, die sich überall deutlich gegen einen politisch selektiven und vereinfachenden Umgang mit Pisa-Daten wendet. Der öffentliche Diskurs kann da nur nützlich sein.

Die Langfassung des Artikels finden Sie auf der Website des Max-Planck-Instituts für Bildungsforschung .