Bibliometrie

Der Zitatenjäger

Kann man die Qualität von Wissenschaft messen? Anthony van Raan arbeitet daran

Viele Jahre hatte Anthony van Raan nach Dornröschen gesucht. Im Sommer vergangenen Jahres fand er es endlich, im Department of Physics der kalifornischen Universität Santa Barbara. Dort hatte ein Nachwuchswissenschaftler 1986 eine Abhandlung über die so genannte String-Theorie geschrieben. Mehr als zehn Jahre blieb der Aufsatz ohne jede Resonanz. Kein anderer Forscher zitierte ihn. Er schlief.

Dann plötzlich begannen sich Physiker in der ganzen Welt für die Erkenntnisse des amerikanischen Kollegen zu interessieren. Die Zahl der Fußnoten, in denen sich andere Wissenschaftler auf den Aufsatz bezogen, schoss in die Höhe. Dornröschen war erwacht und wurde fruchtbar. Dem geistigen Vater der Schönheit indes nutzte es wenig. „Der Wissenschaftler hatte sich aus Enttäuschung längst anderen Themen zugewandt“, sagt van Raan.

„Typisch“, werden nun alle sagen, die van Raans Arbeit nicht besonders schätzen: Nur weil eine Publikation lange Zeit nicht zitiert wird, heißt das nicht, dass sie ohne Relevanz ist. „Stimmt“, antwortet van Raan. Es gebe tatsächlich wissenschaftliche Aufsätze, die erst nach vielen Jahre entdeckt und zitiert werden. „Aber sie sind sehr selten.“

Um sein Dornröschen zu finden, schickte van Raan immerhin eine Million Publikationen, die zwischen 1980 und 2002 erschienen waren, durch die Computerprogramme. Die meisten Zeitschriftenartikel wurden in den ersten fünf Jahren nach Erscheinen zitiert. Nur jeder tausendste Aufsatz wurde später entdeckt. Nach zehn Jahren blieb nur ein einziger Spätzünder übrig: die Publikation aus Santa Barbara. Ein Drittel der Aufsätze dagegen wurde niemals zitiert: „Diese Dornröschen waren klinisch tot.“

Anthony van Raan pflegt eine seltene Wissenschaft – die für viele andere Forscher und Universitäten und deren Renommee, Geld und Zukunft jedoch eine zunehmende Bedeutung hat. Van Raan ist Bibliometriker, in Europa wohl der bedeutendste. Etwas respektlos könnte man ihn auch einen Fußnotenzähler nennen. Denn das ist die Hauptarbeit des Professors und seiner Mitarbeiter an der Universität Leiden: Sie schauen, wie oft wissenschaftliche Publikationen in anderen wissenschaftlichen Publikationen erwähnt werden, und ziehen daraus Schlüsse.

Zunehmend mehr Institutionen in aller Welt finden diese Befunde aufschlussreich. Die Universität Nijmegen möchte eine Fakultät evaluieren lassen; das Bundesministerium für Bildung und Forschung interessiert, wie die medizinische Forschung Deutschlands im internationalen Vergleich abschneidet, die EU sucht die wichtigsten Forschungszentren in fünf so genannten Zukunftswissenschaften. Und stets liefert das Leidener Centre for Science and Technology Studies, holländisch abgekürzt CWTS, die notwendigen Daten.

Bei ihrer Arbeit stützen sich van Raan und seine Mitarbeiter auf ein Prinzip, das man als erlaubten geistigen Diebstahl bezeichnen könnte. Wenn Wissenschaftler sich bei den Erkenntnissen anderer Wissenschaftler bedienen, machen sie das – wenn sie ehrlich sind – kenntlich durch einen Hinweis in einer Fußnote.

Für den zitierten Forscher gilt der Verweis, auch Zitation genannt, als Anerkennung: Seine Publikationen werden registriert, seine Einsichten als interessant bewertet. Je häufiger ein Forscher zitiert wird, desto größer sein Einfluss, desto höher die Qualität seiner Arbeit. Das ist die ebenso einfache wie faszinierende Grundidee der Bibliometrie. „Die Details jedoch sind furchtbar kompliziert“, sagt van Raan.

Suche nach neuen Trends

Wie kompliziert, das hatte sich der gelernte Physiker kaum ausmalen können, als er vor 20 Jahren begann, sich mit Bibliometrie zu beschäftigen. Damals war die Akademikerquote in den Niederlanden stark gestiegen. Um die Universitäten davor zu bewahren, ihr ganzes Interesse auf die Lehre zu verlegen, suchten die Hochschulen nach Messgrößen, um Leistungen in der Forschung zu berechnen – und zu belohnen. Van Raan, schon damals in seiner Fakultät mit Wissenschaftsmanagement beschäftigt, suchte und fand die Bibliometrie, einen Forschungszweig, der damals in den USA erst in den Anfängen steckte.

Mittlerweile ist aus dem Versuch, Wissenschaft zu vermessen, selbst eine Wissenschaft geworden und das Leidener Institut weltweit eine der größten Einrichtungen ihrer Art. Insgesamt 20 Millionen wissenschaftliche Zeitschriftenartikel mit mehr als 300 Millionen Zitationen speichern die Computer des Leidener Instituts, und jedes Jahr kommen mehr als eine Million Aufsätze hinzu. Mit ihrer Hilfe lassen sich Fachbereiche oder Universitäten miteinander vergleichen oder die Forschungserträge eines ganzen Landes in einer Disziplin ermitteln. Zugleich ermöglichen die Daten, wissenschaftliche Trends frühzeitig zu ermitteln: Wo entstehen neue Forschungsschwerpunkte? Welche bislang entfernten Disziplinen beginnen miteinander zu kooperieren?

Im vergangenen Jahr zum Beispiel erhielt das CWTS den Auftrag, die Chemie-Fakultäten an neun holländischen Universitäten bibliometrisch zu vergleichen. Alle sechs bis sieben Jahre werden sämtliche Disziplinen in den Niederlanden von der Archäologie bis zur Zoologie in einem aufwändigen Verfahren landesweit evaluiert. International besetzte Expertengruppen ziehen von Hochschule zu Hochschule und machen sich von der jeweiligen Forschung der Kollegen ein Bild. Die Datenbasis liefert in der Regel meist das CWTS. Dafür ermittelt das Institut zunächst einmal das Personal in den Universitäten und deren Veröffentlichungen. Jeder Hochschullehrer bekommt zur Kontrolle eine Liste seiner wissenschaftlichen Aufsätze, die er korrigieren und ergänzen kann.

Dann befragen die Leidener ihre Computer: Wie hoch ist die Veröffentlichungsrate pro Professor? Wie häufig wurden die Aufsätze zitiert und in welchen Zeitschriften – in drittrangigen Journalen oder in einem angesehenen Magazin wie Nature oder Science? Am Ende der Analyse stehen bunte Grafiken, Balkendiagramme und lange Tabellen. Sie geben Auskunft über die Stärken und Schwächen der Fakultäten und zeigen, wo die forschungsstarken und wo die weniger einflussreichen Professoren arbeiten.

Das gleiche wissenschaftliche Profil lässt sich auch von einem einzelnen Wissenschaftler zeichnen. Man gebe beispielsweise die Buchstabenfolge „Anthony van Raan“ ein, und nach kaum einer Sekunde erscheint der Bibliometriker selbst bibliometrisch durchleuchtet. 60 Artikel hat er geschrieben, die – ohne Eigenzitate – 499-mal zitiert wurden, was einer Rate von 8,32 entspricht. Das Ergebnis ist schmeichelhaft, die durchschnittliche Zitationsrate in seiner Disziplin ist nur halb so hoch. Test bestanden, Herr Professor, weitermachen.

Als alleiniges Urteil über Wert oder Unwert von Forschung will van Raan seine Arbeit freilich nicht verstanden wissen. Ebenso hält er wenig davon, einzelne Personen miteinander zu vergleichen. Zu unterschiedlich seien die persönlichen Forschungsprofile. „Die Reputation ist das wichtigste Kapital eines Wissenschaftlers. Mit ihr muss man vorsichtig umgehen“, sagt er. Immer wieder betont er die Fallen und Beschränkungen der Bibliometrie und die Grenzen ihrer Anwendung (siehe auch Seite 27) .

Das größte Problem der Leidener Wissenschaftler: Sie sind nicht selbst Herr über ihre Zitationenquelle, sondern beziehen ihre Angaben vom Institute for Scientific Information (ISI) in Philadelphia, dem Monopolisten im Zitiergeschäft. Dessen Datenbanken bilden die Grundlage für alle Bibliometriker weltweit – wenn auch eine unvollständige und nicht selten fehlerhafte. Sie berücksichtigt nur Aufsätze in Zeitschriften, verwechselt schon einmal Frankfurt/Oder mit Frankfurt/Main oder unterscheidet die „State University of Leiden“ und die „Leiden University“, die in Wahrheit identisch sind.

Viel Arbeit investieren die Leidener Forscher deshalb darin, die amerikanischen Daten zu bereinigen. Ein Mitarbeiter des Instituts kümmert sich um nichts anderes, als mithilfe von Atlanten, Universitätsverzeichnissen und dem Internet die Professoren und Institute den richtigen Hochschulen zuzuordnen.

Zahlen für das Volk

Anthony van Raan gehört nicht zu den bedenkenlosen Modernisierern, die aus Universitäten Wirtschaftsunternehmen machen möchten. Im Gegenteil, der 57-jährige Wissenschaftler liebt die Tradition der Leidener Universität, einer der ältesten der Welt. Stolz führt er durch die alten Hochschulgemäuer und erzählt, wie sich die Professoren zum Geburtstag der Academia Lugduno Batava einmal im Jahr gemessenen Schrittes in ihren Talaren den Leidener Bürgern präsentieren. Doch genau diesen Bürgern sei die Universität auch verantwortlich, meint van Raan: „Die Gesellschaft hat ein Recht darauf, zu erfahren, ob wir unsere Arbeit anständig machen.“

In Holland wird diese Ansicht von den meisten Wissenschaftlern geteilt. Dass es in Deutschland anders ist, weiß der Leidener Professor. Sechs Jahre lang hat er in Bielefeld geforscht, eine Reihe deutscher Forschungsinstitute evaluiert. „Diskussionen mit den Deutschen sind mühsam“, sagt van Raan. Stets müsse man zuerst grundsätzlich erklären, warum eine Evaluation berechtigt und sinnvoll sei. Einmal, in einer deutschen Universität, sei ein Professor nach einem Vortrag van Raans aufgestanden und habe gesagt, Forschung sei wie Liebe, so etwas könne man nicht messen. Van Raan antwortete trocken: „Wenn die Qualität der Beziehung gegen null geht, ist es auch mit der Liebe nicht weit her.“