Zum Täuschungspotenzial des Uni-Rankings

Was verbindet die Londoner Lehranstalt für Gesundheitspflege und Tropenmedizin, die Universität St. Petersburg und die Universität Graz? Alle drei finden sich zwischen Platz 301 und 400 des weltweiten Uni-Rankings. Doch das ist keine wissenschaftliche Bankrotterklärung von der Mur über die Themse zur Newa; ins Kreuzfeuer der Kritik sollten vielmehr jene gerückt werden, die Rankings schmieden.

Mit Schlagzeilen wie „Uni-Ranking: Österreich weit abgeschlagen“ griffen österreichische Tageszeitungen kürzlich die Veröffentlichung des jährlich von der Shanghai Jiao Tong Universität erstellten weltweiten Uni-Rankings auf. Mehrfach erwähnt wurde, dass die „beste heimische Hochschule“ aufgrund ihrer Platzierung auf Rang 85 die Universität Wien sei. Wie auch die Jahre zuvor hatten die Vereinigten Staaten eine dominierende Position und belegten, von drei Ausnahmen abgesehen, die Plätze 1 bis 20.

Rot-weiß-rote Rankingsorgen

In der Liste der besten 500 sind nur sechs der 15 wissenschaftlichen Universitäten Österreichs vertreten. Nach der Universität Wien finden sich die Universität Innsbruck (203 bis 300), die TU Wien, die Universität Graz (je 301 bis 400) sowie die Medizinuniversitäten Graz und Innsbruck (je 401 bis 500).

Zumal die Attraktivität von Rankings ungebrochen ist, wurde die Statistik selbst von mitdenkenden Bildungsinteressierten, denen das Täuschungspotenzial von Listen präsent sein sollte, durchwegs unkritisch aufgenommen. Dabei erscheint das Ranking nur vorderhand als geeignete Möglichkeit des Vergleichs zwischen renommierten Institutionen höherer Bildung. Indes: der Liste pauschal jeden Erkenntniswert abzusprechen, wäre unwissenschaftlich; erhebliche Bedenken gegen ihre simplifizierende Aussagekraft bestehen allerdings zu Recht.

Kritikwürdige Kriterien

Es ist ein Grundsatz der Stasistik, dass jede in Listenform gebrachte Wertung direkt von der Glaubwürdigkeit und Aussagekraft ihrer Kriterien abhängt. Die Maßstäbe, die bei der Erstellung des Uni-Rankings angesetzt wurden, sind Grund dafür, dass sich der Erkenntnisgewinn in engen Grenzen hält. Während die Beurteilungskriterien – die Qualität der Ausbildung und der Lehrenden, die Forschungsergebnisse sowie die akademische Leistungsfähigkeit relativ zur Größe der Institution – neutral und unwidersprüchlich formuliert sind, wirft eine genauere Betrachtung der sechs angewandten Indikatoren logische Brüche auf.

1. Zu zehn Prozent gewichtet wird die Anzahl der Absolventen der Institution, die einen Nobelpreis oder eine Fields Medaille gewonnen haben. Graz erhält hier 12,5 Prozent gegenüber der bestplatzierten Harvard Universtiy als Referenzwert mit 100 Prozent.

2. Zu 20 Prozent gewertet wird, ob der Nobelpreis oder die Fields Medaille zu einem Zeitpunkt verliehen wurde, als der Wissenschaftler für die jeweilige Universität tätig war. Eine Gewichtung erfolgt nach dem Zeitpunkt der Verleihung. Die Grazer Laureaten mit einem Schwerpunkt in den Jahren vor dem Zweiten Weltkrieg (fünf Nobelpreise zwischen Fritz Pregl (1923: Chemie) und Otto Loewi (1936: Medizin) bzw. Victor F. Hess (1936: Physik) bringen Graz auf 12,9 Prozent (Harvard: 100 Prozent).

3. Mit einer Gewichtung von 20 Prozent wird die Anzahl der Verweise auf Arbeiten von Grazer Wissenschaftlern gewertet, die anhand des vom Institute of Scientific Information erstellten Zitierungsindex erfasst werden. Die Universität Graz kommt hier auf null Prozent (Harvard: 100 Prozent).

4. 20 Prozent zählen die Anzahl der Artikel, die von Forscher der Universität in den beiden US-amerikanischen Wissenschaftsmagazinen Nature und Science zwischen 2000 und 2004 veröffentlich wurden. Hier erhält die Universität Graz sechs Prozent (Harvard: 100 Prozent).

5. Zu 20 Prozent gewichtet wird die Präsenz Grazer Forscher in drei sozialwissenschaftlichen Referenzindices im Jahr 2004. Hier kommt die Universität Graz mit 22,1 Prozent (Harvard: 100 Prozent) auf ihr bestes Ergebnis.

6. Die obigen fünf Indikatoren wurden nun durch die Zahl der vollbeschäftigten akademischen Mitarbeiter geteilt, um die akademische Leistungsfähigkeit in Bezug zur Größe der Universität zu setzen. Die Universität Graz wird mit 11,8 Prozent bewertet (California Institute of Technology: 100 Prozent).

Methodologische Missgriffe

Ein Blick auf die Indikatoren eröffnet mehrere grundlegende Problemfelder: Unter dem Stichwort „Quantität versus Qualität“ ist zu fragen, ob das Wissenschaftspotenzial einer Universität in Zahlen ausgedrückt werden kann. Der Gegensatz „Ausbildung oder Forschung“ meint das Phänomen, dass Anforderungen und Schwerpunkte einzelner Universitäten unterschiedlich sind und eine prioritäre Festzurrung des Ranking an Forschungsindikatoren eine Benachteiligung von Universitäten mit Ausbildungsschwerpunkt darstellen kann.

Weiters ist hervorzuheben, dass aus dem Ranking keine Erkenntnisse für die katholisch theologische, die rechtswissenschaftliche sowie die geisteswissenschaftliche Fakultät der Universität Graz gewonnen werden können; Abgänger dieser Fakultäten werden in der Regel nicht mit Nobelpreisen geehrt und publizieren auch nicht in Nature und Science. Im Ranking finden hervorragende Leistungen im humanistischen Bereich kaum Niederschlag. Die Ranking Group gesteht denn auch zu, dass sie „sich sehr bemühten, aber nicht erfolgreich waren“, zusätzliche Indikatoren für Geistes- und Sozialwissenschaften zu finden. Nominell erzielen somit Universitäten, die einen Forschungsschwerpunkt auf Technik oder Medizin legen, bessere Resultate als humanistisch orientierte Universitäten.

Hinsichtlich der sozial- und wirtschaftswissenschaftlichen und der naturwissenschaftlichen Fakultät sowie der Medizinischen Universität Graz ist der sich aus dem Ranking ergebende Wissenszuwachs enden wollend. Eine verhältnismäßig junge Universität kann – schon aufgrund ihres Alters – nicht viele Nobelpreisträger hervorgebracht haben und dennoch in Forschung und Lehre leistungsstark sein.

Grundlegender, und in der Entwicklung der englischen Sprache zur alleinigen Wissenschaftssprache vorgezeichnet, ist das Problem, dass in anderen Sprachen als in Englisch schreibende Wissenschaftler im Ranking nicht reflektiert werden; die Autoren argumentieren, dass diese eben weniger eng in die globale Akademia eingebunden sind, was zwar eine Erklärung, nicht aber eine Rechtfertigung für deren Außerachterlassen darzustellen vermag. Problematisch erscheint weiters, dass nur Zeitschriftenartikel ausgewertet werden. Publikationen in Buchform, die in vielen Disziplinen bedeutendere Ergebnisse zeitigen als Artikel, werden nicht beachtet.

Im Hinblick auf Rankings der folgenden Jahre sind korrigierende Lösungen der angesprochenen Probleme nicht zu erwarten; die statistischen Deformationen können wohl nur durch eine radikale Neuorientierung bei der Auswahl der Indikatoren behoben werden. Doch wie können Universitäten aussagekräftig als Ganzes bewerten werden? Oder, fundamentaler: Können Universitäten überhaupt global in Zahlen gefasst werden?

Scheinheilige Selbsterkenntnis

N.C. Liu und Y. Cheng, zwei der für das Ranking verantwortlich zeichnenden Forscher der Shanghai Jiao Tong University, führen in der Fachzeitschrift Higher Education in Europe als Argument gegen grundlegende Kritik an der Objektivität und Aussagekraft ihres Rankings einen Vergleich an: „There is always the complaint that whether the quality of students can be precisely measured by scores. However, universities and professors are continuing to score students without any significant changes, and the students are usually informed that they will not be judged by scores absolutely, the university and the potential employers will have the capacity to make sophisticated, independent judgments.” Mag die Gleichsetzung der Benotung von Studenten und der Bewertung von Universitäten in Ansätzen scheinheilig wirken, so ist den Forschern in ihrer abschließenden Feststellung zuzustimmen: „any ranking is controversial and no ranking is absolutely objective.“

Verfehlt wäre es, das Universitäten-Ranking kritiklos als wissenschaftlich fundierte Tatsachenfeststellung zu verinnerlichen. Der falsche Weg wäre es auch, eine bildungspolitische Fixierung auf das Ranking vorzunehmen und bewusst danach zu streben, einen besseren Rang zu erobern. Richtig hingegen wäre, neue bildungspolitische Akzente zu setzen und bestehende Kritikpunkte – gerade auch die universitäre Infrastruktur betreffend – zu berücksichtigen. Tendenzen, dem Ranking jegliche Relevanz abzusprechen, gehen fehl. Unabhängig von programmatischen Qualitätspostulaten und medial verbreiteten Universitätenkritik steht nämlich eines mit Sicherheit fest: Die universale Bildungshitparade gibt Qualitätshinweise – und diese sind für die österreichischen Universitäten gesamthaft nicht erfreulich.

Abschließend sei noch eine listenspezifische Problemstellung vermerkt: Die Shanghai Jiao Tong Universität, die das Ranking erstellte, ist – wie die Universität Graz – auf den Plätzen 301-400 gereiht. Was dies wohl über die wissenschaftliche Qualität des Rankings aussagt? Wiewohl auch denkbar ist, dass vom Ranking nicht direkt auf die Qualität der Forschung an einer Universität geschlossen werden kann. Quod erat demonstrandum.

Literatur: N.C. Liu und Y. Cheng, „Academic Ranking of World Universities – Methodologies and Problems“, Higher Education in Europe, Vol. 30, No 2., 2005 (im Erscheinen).