Bildungsforschung Schulforscher, aufgepasst!

Manchmal stiften Untersuchungen wie die Pisa-Studie mehr Verwirrung, als dass sie Klarheit schaffen. Schuld daran sind auch die Wissenschaftler, die sie verfassen.

Erst kürzlich löste eine Studie über die Berliner Grundschulen mehr Verwirrung aus, als dass sie Klarheit schuf. Der Autor der Studie, ein angesehener Bildungsforscher, und der Berliner Bildungssenator, ein erfahrener Politiker, interpretierten die vorgelegten Zahlen diametral entgegengesetzt (ZEIT Nr. 18/08). Unterstützung bekam Letzterer wiederum von anderen renommierten Bildungsforschern.

Spätestens jetzt muss die Debatte um die wissenschaftliche Basis geführt werden, auf der die Kultusminister aller 16 Bundesländer seit ein paar Jahren ihre Politik gründen, mit weitreichenden Folgen für die Schulen. Die sogenannte empirische Bildungsforschung – ihr Schmuckstück, die Pisa-Studie, zieht alle in ihren Bann – ist in Gefahr, aus großer Höhe abzustürzen. Und zwar zu einem erheblichen Teil selbstverschuldet.

Welche Schüler gehören denn nun zur »Risikogruppe«, und wie viele sind es?

Im Sommer 2006 legte die Kultusministerkonferenz ihre »Gesamtstrategie« zur Beobachtung des Bildungssystems (»Bildungsmonitoring«) vor. Mit dieser Strategie verfolgt sie das Ziel, mit neuen Formen der Beobachtung Wissen über Ergebnisse schulischen Lernens und über Ursachen für unbefriedigende Ergebnisse zu gewinnen und zur Grundlage der politischen Steuerung zu machen. Zentrale Instrumente, die im Rahmen dieser Strategie eingesetzt werden, sind Ländervergleiche auf der Basis zentraler Leistungsmessungen, landesweite Vergleichsarbeiten, die gemeinsame Bildungsberichterstattung von Bund und Ländern sowie internationale Leistungsstudien des Typs Pisa.

Diese Gesamtstrategie bündelt eine Tendenz der Bildungspolitik, die sich seit Mitte der neunziger Jahre bundesweit durchsetzt. Bildungs- und insbesondere Schulpolitik soll stärker als in früheren Jahren auf belastbare Informationen über das Bildungssystem gestützt, soll evidenzbasiert werden. Dieser Politikansatz holte die Vertreter der empirisch orientierten Erziehungswissenschaft aus der Randständigkeit heraus, die sie jahrzehntelang im Schatten der rein geisteswissenschaftlich ausgerichteten Pädagogik einzunehmen gewohnt waren. Die empirische Bildungsforschung hat seither einen zuvor ungeahnten Höhenflug angetreten.

Weshalb läuft sie nun Gefahr abzustürzen? Und inwiefern ist das selbstverschuldet? Selbstverschuldet insbesondere deshalb, weil in der Ergebnispräsentation in verwirrender Weise Definitionen und die Auswahl der Indikatoren gewechselt werden, weil Zweifel an der Repräsentativität der Ergebnisse aufkommen können und auch die Interpretationen der Daten nicht immer über jeden Zweifel erhaben sind. Die Pisa-Studien – aber nicht nur sie – zeigen dies.

Ein Beispiel für den irritierenden Umgang mit Definitionen ist der Gebrauch des Begriffs »Risikogruppe«. Kaum ein Begriff aus dem Vokabular der Pisa-Studien hat eine vergleichbare Karriere gemacht. Er schlug ein, weil mit ihm auf ein schwerwiegendes Problem des deutschen Schulsystems aufmerksam gemacht wurde. Seit der ersten Studie sagen die Pisa-Autoren, »dass Jugendliche, die den entsprechenden Anforderungen nicht gewachsen sind, erhebliche Schwierigkeiten beim Übergang in das Berufsleben haben werden«. Irritierend ist jedoch zweierlei: Zum einen findet sich in den Veröffentlichungen der Pisa-Konsortien an keiner Stelle ein Hinweis darauf, wie sie zu der Grenzziehung gekommen sind, unterhalb derer sie junge Menschen der Risikogruppe zurechnen. Zum anderen verblüfft, dass diese Grenzziehung willkürlich wechselt: In der Pisa-2000-Veröffentlichung werden etwa mit Blick auf die Lesekompetenz »15-Jährige, die die Kompetenzstufe I nicht erreichen, im Hinblick auf ihre Aussichten als Risikogruppe definiert«; diese Schüler sind de facto Analphabeten. In der Pisa-2003-Studie werden dann auch diejenigen Jugendlichen zur Risikogruppe gerechnet, die auf der Kompetenzstufe I verharren; dazu gehören dann auch Schüler, die einzelne Wörter erkennen, aber nicht im Sinnzusammenhang einordnen können.

Demnach zählen im Jahr 2000 zehn, drei Jahre später jedoch 22 Prozent der Fünfzehnjährigen zur Risikogruppe – ohne dass die vorgenommene Definitionsausweitung mitgeteilt oder gar begründet würde. Dies ist nicht nur wissenschaftlich problematisch, sondern zeitigt auf dem Ausbildungsplatzmarkt schwerwiegende Folgen: Wenn die renommierte Bildungsforschung den Anbietern von Ausbildungsplätzen die Erkenntnis liefert, dass nicht bloß zehn, sondern mehr als zwanzig Prozent der Jugendlichen über die für eine Ausbildung erforderlichen Kompetenzen nicht verfügen, so erhalten diese Anbieter auf bequeme Weise eine Legitimation für ihre Weigerung, Ausbildungsplätze in bedarfsdeckender Anzahl bereitzustellen. Übrigens: In der Pisa-2006-Veröffentlichung taucht der Begriff »Risikogruppe« nicht mehr auf.

Nicht minder verwirrend sind die Indikatoren, die in den Pisa-Studien zur Darstellung des Zusammenhangs von sozialer Herkunft und Bildung angeboten werden. Grundsätzlich gilt: Es ist ein nicht hoch genug einzuschätzendes Verdienst der Studien, darauf aufmerksam gemacht zu haben, dass dieser Zusammenhang besteht und dass er in Deutschland besonders stark ausgeprägt ist. Aber: In den Studien werden drei verschiedene Maße zur Bestimmung der sozialen Lage der Familien verwendet. Auch für die Indikatoren, die den Zusammenhang zwischen sozialer Lage und Bildung beschreiben, bieten die Studien drei unterschiedliche Indikatoren an. Daraus ergeben sich theoretisch neun verschiedene Varianten der Darstellung des Zusammenhangs zwischen sozialer Herkunft und Bildung. Da die Autoren in den bisher vorliegenden Studien dieses Darstellungspotenzial unterschiedlich ausschöpfen, lassen sich einzelne Indikatoren nicht von Studie zu Studie verfolgen. So wurde – um ein Beispiel zu geben – in der ersten Studie dieser Zusammenhang unter anderem dadurch dargestellt, dass die Leistungsdifferenz im Leseverständnis zwischen dem sozial stärksten und dem sozial schwächsten Viertel als Indikator gewählt wurde. Diese Differenz wies für Deutschland den international höchsten Wert aus und begründete seinen Ruf als Spitzenreiter im Feld der sozialen Ungleichheit. Eine vergleichbare Darstellung findet sich in der Studie 2003, aber jetzt für Mathematik. Das Ergebnis ist ähnlich verheerend. In der Studie 2006 nun wird mit einem anderen Indikator gearbeitet. Dieser neue Indikator zeigt für 2006 an, dass die soziale Disparität in fünf Ländern, darunter Frankreich, ausgeprägter als in Deutschland ist; in drei weiteren Ländern, darunter die Niederlande, befindet sie sich genau auf dem deutschen Niveau. Geht es also in Deutschland neuerdings gerechter zu?

Die Frage, ob die Stichproben so gezogen sind, dass sie ein für Deutschland repräsentatives Bild bieten, wurde schon bei den ersten Studien vorgebracht. Bei der Pisa-2006-Untersuchung stellt sie sich – mit Blick auf die Jugendlichen mit Migrationshintergrund – erneut. Zwar muss anerkannt werden, dass erst der Wechsel vom Ausländer- zum Migrantenkonzept, der durch die Pisa-Studien durchgesetzt wurde, das ganze Ausmaß der Schwierigkeiten, die das deutsche Schulsystem in diesem Feld offenbart, sichtbar gemacht hat. Statt nur Jugendliche gesondert zu betrachten, die keine deutsche Staatsangehörigkeit besitzen, nimmt man nun vernünftigerweise jene Schüler ins Auge, deren Väter oder Mütter zugewandert sind. Gleichwohl verblüfft eine Angabe in der Pisa-2006-Untersuchung: Wie die Autoren mitteilen, macht der Anteil der Fünfzehnjährigen mit Migrationshintergrund an allen Fünfzehnjährigen der getesteten Schüler 19,4 Prozent aus. Für das gleiche Jahr gibt dagegen der deutsche Mikrozensus für die Altersgruppe der Zehn- bis unter Fünfzehnjährigen einen Anteilswert von 27,3 Prozent und für die Fünfzehn- bis unter Zwanzigjährigen einen Wert von 23,7 Prozent an. Für die Fünfzehnjährigen, die im Mikrozensus nicht gesondert ausgewiesen werden, darf daher von etwa 25 Prozent ausgegangen werden. Der Migrantenanteil in der deutschen Pisa-Studie ist also deutlich unterrepräsentiert. Wenn aber die Schülergruppe, die insgesamt eher schwächere Leistungen erbringt, in der Stichprobe zu gering vertreten ist, hat das verbessernde Folgen für das Leistungsbild der getesteten Population insgesamt. Dies lässt Zweifel daran aufkommen, dass, wie die Pisa-2006-Analysen es darstellen, gerade die schwächeren Jugendlichen gegenüber den Studien von 2000 und 2003 besser geworden sein sollen.

Widersprüchliche Interpretationen von Daten haben Folgen für die Politik

Die Tendenz, auf Befunde, die im Kontext der eigenen Arbeit Relevanz haben, nicht einzugehen, wurde besonders im Umfeld der Präsentation der Pisa-2006-Studie offenkundig. Auf die Frage, ob Deutschlands Schülerinnen und Schüler in den Naturwissenschaften gegenüber den früheren Studien leistungsstärker geworden seien, gab das deutsche Konsortium eine klare Antwort: In denjenigen Teilbereichen der Naturwissenschaften, die schon durch die Aufgaben der vorangegangenen Studien abgedeckt wurden, habe es für die Jahre zwischen 2003 und 2006 einen signifikanten, also einen bedeutsamen Anstieg gegeben. Die gleiche Frage beantwortet die von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) vorgelegte Auswertung dieser Aufgaben gegenteilig: Es gebe keine signifikante Leistungssteigerung. Nun mag es zwar angehen, dass aufgrund unterschiedlicher methodischer Ansätze auch sich widersprechende Dateninterpretationen angeboten werden. Problematisch aber ist, dass weder das deutsche Konsortium noch die OECD-Wissenschaftler in ihren Veröffentlichungen darauf hinweisen, dass sie zu diametral entgegengesetzten Ergebnissen kommen. Schon gar nicht liefern sie Erklärungen für die unterschiedlichen Interpretationsangebote. Dies ist nicht geeignet, das Vertrauen in die Belastbarkeit empirisch gewonnener Aussagen zum Schulsystem zu festigen.

Die mangelnde Kontinuität in der Analyse wie auch bei der Präsentation von Untersuchungsergebnissen, Zweifel an der Repräsentativität der Stichproben und nicht zuletzt widersprüchliche Interpretationen desselben Datensatzes können politisch folgenreich werden. Sie geben all denen, die bei der Konzipierung von Bildungspolitik lieber auf hergebrachte Überzeugungen als auf belastbares Wissen setzen, willkommene Argumente dafür, den gerade eingeschlagenen Weg evidenzbasierter Politik wieder zu verlassen. Die Bildungsforschung würde dann auf die Funktion zurückgedrängt, die Forschung nur zu oft für die Politik hat – nämlich die der Legitimierung einer »bauchbasierten« Steuerungspolitik. Das wäre schade.