Erst kürzlich löste eine Studie über die Berliner Grundschulen mehr Verwirrung aus, als dass sie Klarheit schuf. Der Autor der Studie, ein angesehener Bildungsforscher, und der Berliner Bildungssenator, ein erfahrener Politiker, interpretierten die vorgelegten Zahlen diametral entgegengesetzt (ZEIT Nr. 18/08). Unterstützung bekam Letzterer wiederum von anderen renommierten Bildungsforschern.

Spätestens jetzt muss die Debatte um die wissenschaftliche Basis geführt werden, auf der die Kultusminister aller 16 Bundesländer seit ein paar Jahren ihre Politik gründen, mit weitreichenden Folgen für die Schulen. Die sogenannte empirische Bildungsforschung – ihr Schmuckstück, die Pisa-Studie, zieht alle in ihren Bann – ist in Gefahr, aus großer Höhe abzustürzen. Und zwar zu einem erheblichen Teil selbstverschuldet.

Welche Schüler gehören denn nun zur »Risikogruppe«, und wie viele sind es?

Im Sommer 2006 legte die Kultusministerkonferenz ihre »Gesamtstrategie« zur Beobachtung des Bildungssystems (»Bildungsmonitoring«) vor. Mit dieser Strategie verfolgt sie das Ziel, mit neuen Formen der Beobachtung Wissen über Ergebnisse schulischen Lernens und über Ursachen für unbefriedigende Ergebnisse zu gewinnen und zur Grundlage der politischen Steuerung zu machen. Zentrale Instrumente, die im Rahmen dieser Strategie eingesetzt werden, sind Ländervergleiche auf der Basis zentraler Leistungsmessungen, landesweite Vergleichsarbeiten, die gemeinsame Bildungsberichterstattung von Bund und Ländern sowie internationale Leistungsstudien des Typs Pisa.

Diese Gesamtstrategie bündelt eine Tendenz der Bildungspolitik, die sich seit Mitte der neunziger Jahre bundesweit durchsetzt. Bildungs- und insbesondere Schulpolitik soll stärker als in früheren Jahren auf belastbare Informationen über das Bildungssystem gestützt, soll evidenzbasiert werden. Dieser Politikansatz holte die Vertreter der empirisch orientierten Erziehungswissenschaft aus der Randständigkeit heraus, die sie jahrzehntelang im Schatten der rein geisteswissenschaftlich ausgerichteten Pädagogik einzunehmen gewohnt waren. Die empirische Bildungsforschung hat seither einen zuvor ungeahnten Höhenflug angetreten.

Weshalb läuft sie nun Gefahr abzustürzen? Und inwiefern ist das selbstverschuldet? Selbstverschuldet insbesondere deshalb, weil in der Ergebnispräsentation in verwirrender Weise Definitionen und die Auswahl der Indikatoren gewechselt werden, weil Zweifel an der Repräsentativität der Ergebnisse aufkommen können und auch die Interpretationen der Daten nicht immer über jeden Zweifel erhaben sind. Die Pisa-Studien – aber nicht nur sie – zeigen dies.

Ein Beispiel für den irritierenden Umgang mit Definitionen ist der Gebrauch des Begriffs »Risikogruppe«. Kaum ein Begriff aus dem Vokabular der Pisa-Studien hat eine vergleichbare Karriere gemacht. Er schlug ein, weil mit ihm auf ein schwerwiegendes Problem des deutschen Schulsystems aufmerksam gemacht wurde. Seit der ersten Studie sagen die Pisa-Autoren, »dass Jugendliche, die den entsprechenden Anforderungen nicht gewachsen sind, erhebliche Schwierigkeiten beim Übergang in das Berufsleben haben werden«. Irritierend ist jedoch zweierlei: Zum einen findet sich in den Veröffentlichungen der Pisa-Konsortien an keiner Stelle ein Hinweis darauf, wie sie zu der Grenzziehung gekommen sind, unterhalb derer sie junge Menschen der Risikogruppe zurechnen. Zum anderen verblüfft, dass diese Grenzziehung willkürlich wechselt: In der Pisa-2000-Veröffentlichung werden etwa mit Blick auf die Lesekompetenz »15-Jährige, die die Kompetenzstufe I nicht erreichen, im Hinblick auf ihre Aussichten als Risikogruppe definiert«; diese Schüler sind de facto Analphabeten. In der Pisa-2003-Studie werden dann auch diejenigen Jugendlichen zur Risikogruppe gerechnet, die auf der Kompetenzstufe I verharren; dazu gehören dann auch Schüler, die einzelne Wörter erkennen, aber nicht im Sinnzusammenhang einordnen können.