In einem früheren Beitrag wurde ausgeführt, dass die Anzahl der Publikationen (P) als Kennwert für die Aktivität und Produktivität eines Instituts oder einer Forschungsgruppe erhoben wird, wohingegen die Anzahl der Zitierungen (C) als Mass für die Resonanz und Wirkung, die diese Publikationen unter Fachkollegen hervorgerufen haben, zu betrachten ist. Die Angabe, wieviele Beiträge ein Institut oder eine Forschungsgruppe veröffentlicht hat bzw. wie häufig diese Beiträge in einem bestimmten Zeitraum zitiert wurden, sagt für sich genommen jedoch wenig aus. Die Publikations- und Zitiergepflogenheiten der einzelnen Fachgebiete sind zu unterschiedlich, als dass sich aus absoluten Zahlen eine Bewertung der Forschungsleistungen eines Instituts oder einer Forschungsgruppe ableiten liesse. Erst durch den Vergleich mit ähnlichen Einheiten (Benchmarking) oder durch die Normierung der Zitierhäufigkeiten wird eine solche Aussage möglich.

Eine angemessene Bewertung von Forschungsleistungen ist nach Martin und Irvine (1983) nur möglich, wenn “like with like” verglichen wird:

“In selecting research centres for comparison, what is ideally required is that there should be two or more groups, working in the same specialty over a similar time-period, publishing in the same journals, supported with a roughly similar level of resources, and situated in a similar institutional context.” (Martin & Irvine, 1983, S. 75)

Diese Forderung nach Vergleichbarkeit ist in der Praxis oft nur schwer umsetzbar. In der Forschungsevaluation wird die Anzahl der Publikationen und Zitierungen deshalb weit häufiger sogenannten Referenzwerten gegenübergestellt (van Leeuwen, Visser, Moed, Nederhof, & van Raan, 2003; Kostoff, 2002; Schubert & Braun, 1996). Ein häufig verwendeter Referenzwert ist die durchschnittliche Zitierhäufigkeit von wissenschaftlichen Beiträgen in Zeitschriften, in denen auch das Institut bzw. die Forschungsgruppe selbst publiziert hat (JCSm). Ferner kann die durchschnittliche Zitierhäufigkeit von wissenschaftlichen Beiträgen in Fachgebieten, in denen das Institut bzw. die Forschungsgruppe veröffentlicht hat, als Referenzwert berechnet werden (FCSm). Die Fachgebiete werden durch ein Zeitschriften-Klassifikationssystem definiert, welches jede Zeitschrift als Ganzes einem oder mehreren Fachgebieten zuweist; meistens kommt eines der Zeitschriften-Klassifikationssysteme von Thomson ISI zur Anwendung. Probleme ergeben sich bei diesem Vorgehen insbesondere bei multidisziplinären Zeitschriften wie Nature oder Science (z.B. Schubert & Braun, 1996; Rinia, De Lange, & Moed, 1993).

Die durchschnittliche Zitierhäufigkeit der Publikationen (CPP = citations per publication) eines Instituts bzw. einer Forschungsgruppe kann sodann mit diesen beiden Referenzwerten normiert werden:

• CPP/JCSm: Dieser Indikator, der ursprünglich von Schubert und Braun (1986) unter der Bezeichung Relative Citation Rate eingeführt wurde, vergleicht die durchschnittliche Zitierhäufigkeit der Publikationen eines Instituts oder einer Forschungsgruppe mit der durchschnittlichen Zitierhäufigkeit von Beiträgen in den Zeitschriften (journal normalized citation counts).
• CPP/FCSm: Dieser Indikator setzt die durchschnittliche Zitierhäufigkeit der Publikationen eines Instituts oder einer Forschungsgruppe in Beziehung mit der durchschnittlichen Zitierhäufigkeit von Beiträgen in den entsprechenden Fachgebieten (field normalized citation counts). So bedeutet beispielsweise ein Wert unter 0.8 bzw. über 1.2, dass die Wirkung der Publikationen eines Instituts oder einer Forschungsgruppe unter bzw. über dem internationalen Erwartungswert liegt (van Raan, 2004; van Leeuwen et al., 2003).

Durch die Normierung der durchschnittlichen Zitierhäufigkeit werden auch Fachgebiete mit sehr unterschiedlichen Publikations- und Zitiergewohnhheiten vergleichbar.

Literatur:

• Kostoff, R. N. (2002). Citation analysis of research performer quality. Scientometrics, 53(1), 49-71.
• Martin, B. R., & Irvine, J. (1983). Assessing basic research - Some partial indicators of scientific progress in radio astronomy. Research Policy, 12(2), 61-90.
• Rinia, E. J., Delange, C., & Moed, H. F. (1993). Measuring national output in physics - Delimitation problems. Scientometrics, 28(1), 89-110.
• Schubert, A., & Braun, T. (1986). Relative indicators and relational charts for comparative assessment of publication output and citation impact. Scientometrics, 9(5-6), 281-291.
• Schubert, A., & Braun, T. (1996). Cross-field normalization of scientometric indicators. Scientometrics, 36(3), 311-324.
• van Leeuwen, T. N., Visser, M. S., Moed, H. F., Nederhof, T. J., & van Raan, A. F. J. (2003). The Holy Grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence. Scientometrics, 57(2), 257-280.
• van Raan, A. F. J. (2004). Measuring science. Capita selecta of current main issues. In H. F. Moed, W. Glänzel & U. Schmoch (Eds.), Handbook of quantitative science and technology research. The use of publication and patent statistics in studies of S&T systems (pp. 19-51). Dordrecht: Kluwer Academic Publishers.

[aktualisiert am 4.6.2006]