Forschung vom Fließband

Evaluation schafft erst die Wirklichkeit, die zu bewerten sie vorgibt

Wissenschaft äußert sich in Publikationen. Solange Forschungsergebnisse nicht publiziert sind, können sie nicht diskutiert, nicht gewürdigt und nicht weiterentwickelt werden. Ihre Publikationen verhelfen Wissenschaftlern zur Karriere, zu Anerkennung und zu Auszeichnungen. Somit liegt es nahe, sich an Veröffentlichungen zu orientieren, wenn Forscher, Fächer, Fakultäten oder ganze Universitäten zu evaluieren sind.

Besondere Bedeutung hat dabei der citation index erlangt, der in der vergangenen Ausgabe der ZEIT ausgiebig beschrieben wurde. Er basiert auf dem Prinzip, dass die Wertschätzung einer Publikation umso höher ist, je häufiger sie in renommierten Zeitschriften zitiert wird. Man könnte den Eindruck gewinnen, der citation index gestatte eine von subjektiven Einschätzungen weitgehend unbeeinflusste Evaluation. In den USA ist er die zentrale Basis von Entscheidungen zur Rekrutierung und Beförderung von Forschern, der Erstellung von Rankings und der Vergabe von Forschungsmitteln. Auch in Europa wird er mehr und mehr zu Rate gezogen. Denn er erleichtert die Aufgabe der Evaluatoren ungemein. Sie müssen sich nicht mehr auf eine umfassende inhaltliche Diskussion von Forschungsleistungen einlassen. Sie können auf scheinbar unangreifbare Indikatoren zurückgreifen. Ihr Urteil ist nur sehr schwer anzugreifen. Eigentlich brauchen sie die Veröffentlichungen der zu bewertenden Wissenschaftler oder Institutionen überhaupt nicht mehr zu lesen.

Trotz dieser unbestrittenen Vorteile weisen Zitationen als Indikatoren der Forschungsqualität eine Reihe gravierender technischer Probleme auf, die zum Teil auch in der ZEIT beschrieben wurden: Die Erfassung der Daten ist nicht fehlerfrei; interdisziplinär arbeitende Forscher schneiden schlecht ab, da der citation index nach Fachgebieten organisiert ist; mitunter werden Autoren nur deshalb häufig zitiert, weil sie einen bemerkenswerten Fehler begangen haben; und bei Aufsätzen mit mehreren Autoren taucht die Frage auf, wie die Beiträge der einzelnen Autoren gewichtet werden sollen: Da der citation index jedes Zitat jedem einzelnen Autor zurechnet, trägt dies zu der Überzeugung unter Wissenschaftlern bei, dass zwei Aufsätze mit einem Koautor „mehr wert“ seien als ein allein verfasster Aufsatz.

Solche eher technischen Probleme sind unschön, aber nicht unüberwindlich. Gravierender ist ein anderer Punkt: Wie alle Evaluationskriterien schafft auch der citation index die Wirklichkeit, die zu messen er vorgibt. Er ändert das Verhalten der Evaluierten. Wissenschaftler schreiben keine Monografien mehr, weil diese weniger „wert“ sind. Forschung, die Ergebnisse produziert, die besser in Bücher passen als in Aufsätze, unterbleibt. Koautorenschaften nehmen zu. Interessantes Material, das gut in einem Aufsatz Platz gefunden hätte, wird auf zwei oder drei Aufsätze ausgewalzt. Volkswirte diskutieren bereits die kumulative Promotion, mit dem Argument, dass eine Dissertation als Buch nicht viel wert sei.

Noch bedenklicher erscheinen folgende Beobachtungen: Das Streben, viele Aufsätze in Zeitschriften mit einem hohen impact factor zu veröffentlichen, fördert einen wissenschaftlichen Konservativismus. Wissenschaftler betreiben keine innovative Forschung mehr, sondern konzentrieren sich auf Weiterentwicklungen von Bewährtem. Die Herausgeber renommierter Zeitschriften können es sich nicht erlauben, Aufsätze zu veröffentlichen, die das Risiko in sich tragen, nicht häufig zitiert zu werden, denn das senkt den impact factor der Zeitschrift. So fördert die Evaluation auf der Basis von Zitationen die Standardisierung der Wissenschaft und beschleunigt, vor allem in den Sozial- und Wirtschaftswissenschaften, den Prozess der Abkopplung des Wissenschaftssystems von den Feldern der praktischen Umsetzung. Nicht mehr die Aufhellung ungeklärter Phänomene und erst recht nicht die Lösung praktischer Probleme ist das zentrale Anliegen, im Vordergrund steht vielmehr die Herstellung von Aufsätzen, deren Chancen, in Zeitschriften mit hohen impact factor veröffentlicht zu werden, sehr gut sind. Forschungseinrichtungen degenerieren zu Fabriken zur Produktion hoch standardisierter Aufsätze.

Vor fünf Jahren habe ich als Mitglied einer internationalen Kommission zur Evaluierung von Fachbereichen für Betriebswirtschaft in den Niederlanden den von „objektiven“ Evaluationssystemen ausgehenden Druck erfahren. Die Evaluatoren waren sich der Problematik einer Bewertung auf der Basis des citation index durchaus bewusst – und wurden ihr dennoch nur sehr begrenzt gerecht. Ein Institut, aus dem mehrere Veröffentlichungen in „Top-Ranking-Zeitschriften“ hervorgegangen sind, kann man eigentlich nicht mittelmäßig bewerten. Wir haben es zwar auch geschafft, Institute gut zu bewerten, die vielversprechende Forschung außerhalb des „Mainstreams“ in europäischen Zeitschriften veröffentlichten. Aber: Vielleicht haben wir einige Institute zu schlecht bewertet, weil sie nicht in Zeitschriften mit einem hohen impact factor veröffentlichten und wir nicht in der Lage waren, ihre Originalität zu würdigen. Mit anderen Worten: Wissenschaftler sind „auf der sicheren Seite“, wenn sie ihren Forschungs-Output so steuern, dass er im citation index dokumentiert wird.

Ziel muss sein, bei Evaluationen zwar auch den citation index anzulegen, ihn aber nicht zu stark zu gewichten. Weitere Kriterien und vor allem die auf eigenes Wissen und sorgfältige Lektüre gestützte Souveränität der Gutachter sind dabei hilfreich.