Impact Factor

Der Impact Factor (IF) oder genauer der Journal Impact Factor (JIF), deutsch Impakt-Faktor (Einflussfaktor), ist eine errechnete Zahl, deren Höhe die Zitationshäufigkeit einer wissenschaftlichen Fachzeitschrift wiedergibt. Er dient zum bibliometrischen Vergleich verschiedener Zeitschriften. Der Impact-Faktor ist kein Maß für die Qualität der Artikel einer Zeitschrift, sondern gibt Auskunft darüber, wie oft die Artikel einer bestimmten Zeitschrift in anderen wissenschaftlichen Publikationen durchschnittlich pro Jahr zitiert werden. Journal-Impact-Faktoren entstanden ursprünglich aus Zitationsanalysen, die für Bibliothekare eine Orientierung zum Wachstum des Bestandes der verschiedenen Wissenschaftsdisziplinen und beim Erwerb von Zeitschriften für ihre Einrichtungen bieten sollten. In der Praxis werden Impact-Faktoren häufig für die Beurteilung wissenschaftlicher Publikationsleistungen verwendet, was seit langem als problematisch erkannt und vielfach kritisiert wurde.

Begriffsabgrenzung

Wegen mehrerer Umbenennungen und ähnlicher Produkte verschiedener Anbieter ist eine Begriffsabgrenzung erforderlich. Der Begriff Einflussfaktor (englisch impact factor) beschreibt allgemein die Möglichkeit zur Messung des Einflusses von Zeitschriften. Das bekannteste Produkt, das dieser Idee folgt, ist der Clarivate Analytics Impact Factor (ehemals ISI Impact Factor, später Thomson Reuters Impact Factor).

Erstmals hatte das Institute for Scientific Information (ISI) (heute Teil von Clarivate Analytics) den Impact Factor von Zeitschriften in den 1960er Jahren berechnet und im Science Citation Index intern verwendet. Der Impact Factor wird heute aus zwei Artikeldatenbanken ermittelt, dem Social Sciences Citation Index (für die sozialwissenschaftlichen Fächer) und dem Science Citation Index (für Medizin, Technik und Naturwissenschaften). Beide Datenbanken werden von Clarivate Analytics bereitgestellt und sind auch als Web of Science bekannt. Die zugehörigen Faktoren werden jährlich in den Journal Citation Reports (JCR) in zwei Ausgaben veröffentlicht (Science Edition und Social Sciences Edition). Für die Verwendung der Journal Citation Reports durch wissenschaftliche Einrichtungen muss eine Lizenzgebühr entrichtet werden.

Stärken

Zu den Stärken des Impact Factors gehört es, einfach verständlich und schnell verfügbar zu sein. So ist er zentral und online in den Journal Citations Reports erfasst. Zudem geben Verlage ihn auf ihren Internetseiten an, um ihre Zeitschriften zu bewerben.

Probleme

Aber er ist nicht nur eine „quantitative Bewertungsgröße, sondern mittlerweile auch ein veritabler Wirtschafts- und Einflussfaktor: Bibliotheken orientieren ihre Bestückung am IF, Regierungen stellen anhand des IF die Performanz ihrer Forschungsinstitutionen fest, Wissenschaftler publizieren in Journalen mit möglichst hohen IF-Werten und Komitees beurteilen im Gegenzug die Güte von Publikationen nach IF-Kriterien.“^[1] Hirnforscher der Universität Lübeck untersuchten, welchen subjektiven Wert der IF für Wissenschaftler darstellt, und kamen zu dem Ergebnis, dass in Erwartung eines hohen Impact Factors deren Belohnungszentrum im Gehirn aktiviert wird.^[2]

Bewertung von Zeitschriften und Wissenschaftlern

Der Impact Factor wird vor allem in den Naturwissenschaften und der Medizin verwendet, zunehmend aber auch in anderen Fachgebieten. Er eignet sich nicht, um große Fachdisziplinen – mit vielen Forschern und Publikationsorganen und somit höheren Zitierfrequenzen – mit kleineren Disziplinen zu vergleichen.^[3] Es sollten nur Zitationen innerhalb einer Disziplin, also von thematisch ähnlichen Fachzeitschriften verglichen werden. Auch die Dauer, während der ein Artikel durchschnittlich zitiert wurde, steht neben der Zitierhäufigkeit für die langfristige Bedeutung einzelner Veröffentlichungen. Sie ergibt sich aus der „Halbwertszeit“ eines Artikels (Cited half-life) ebenfalls vom ISI aus. Bei modernen und schnelllebigen Disziplinen wie der Molekularbiologie liegt der Wert für die meisten Fachzeitschriften unter fünf Jahren. Bei Disziplinen wie der biologischen Systematik, deren Zeitschriften einen längerfristigen Anspruch erheben, eher über fünf, oft über zehn Jahre. Es ist daher beim Vergleich wissenschaftlicher Publikationsleistungen legitim, den Impact Factor mit dem Wert für Cited half-life zu multiplizieren: Das gleicht die geringere Zitierfrequenz in einigen Wissenschaftsbereichen durch die längere Halbwertszeit der Artikel aus.

Die Größenordnung des Impact Factors zeigt sich an zwei Beispielen von Journalen aus dem Bereich der Ökologie: Das Wiley-Journal Diversity and Distributions hatte 2011 den Impact Factor 4,83.^[4] Das im selben Verlag erscheinende Journal Ecology Letters hatte 2011 hingegen einen IF von 17,56.^[5]

Besonders in den medizinischen und naturwissenschaftlichen Forschungsrichtungen wenden Wissenschaftler weltweit den Impact Factor von Publikationen an, um Forschungsleistungen quantitativ zu bewerten – vor allem, weil die so ermittelte Zahl Objektivität verspricht. Ein zusätzlicher bibliometrischer Indikator für die Qualität von individuellen Forschungsleistungen, der einige spezifische Probleme des Impact Factors vermeidet, ist der „Science Impact Index“ (SII). Er gehört ebenfalls zu den Zitationsraten.

Die Suchmaschine Google benutzt ähnliche Vorgehensweisen. Google verwendet für die Bewertung der Internet-Seiten einen Algorithmus, der die Häufigkeit von Links („Zitat“) zu Grunde legt; siehe PageRank. Nach diesem Muster ermittelt Eigenfactor die einflussreichsten Zeitschriften mit Hilfe der Häufigkeit der Zitationen. Allerdings kann diese Auswertung manipuliert werden.

Der Impact Factor gibt zwar Aufschluss über die Häufigkeit von Zitierungen, jedoch nicht über die „handwerkliche“ (methodische) Qualität einer Fachzeitschrift. Hierfür eignet sich die Zeitschriftenbewertung.

Inzwischen gibt es mehrere Varianten des Faktors:^[6][7] Neben dem klassischen 2-Jahres-Impact-Factor hat Thomson Scientific einen 5-Jahres-Impact-Factor eingeführt. An Googles PageRank orientierte Varianten sind der Eigenfactor Score sowie der SCImago Journal Rank und der Source-Normalized Impact per Paper (SNIP).^[8]

Berechnung

Die Berechnung des Journal Impact Factors (JIF) erfolgt für eine Zweijahresspanne nach folgender Formel:

${\displaystyle {\frac {\text{Anzahl der Zitate im Bezugsjahr auf alle Publikationen der vorangehenden zwei Jahre}}{\text{Anzahl der Artikel in den vorangehenden zwei Jahren}}}}$

Daraus folgt: Es kann keinen Impact Factor für ein noch nicht abgelaufenes Jahr geben. Beispiel: Eine Zeitschrift hat in den Jahren 2006–2007 insgesamt 116 Artikel publiziert (A), im Jahr 2008 wurden alle Publikationen dieser Zeitschrift aus den vergangenen zwei Jahren insgesamt 224 mal zitiert (B), daraus ergibt sich für 2008 ein Impact Factor der Zeitschrift von 1,931 (B/A).

Zu beachten ist, dass die Bezugsgrößen im Zähler und Nenner unterschiedlich sind. So werden z. B. redaktionelle Beiträge und Leserbriefe für die Anzahl der Publikationen nicht berücksichtigt, obwohl sie zitiert werden und diese Zitate nicht ausgeschlossen werden.

Nur für Zeitschriften, die im Science Citation Index und im Social Science Citation Index enthalten sind, werden JIFs berechnet. Viele geisteswissenschaftliche Zeitschriften haben aus diesem Grund keinen JIF.

Die Zeitschriften eines Themenbereichs werden nach ihrem Impact Factor in eine Rangliste eingestuft und sind nur innerhalb einer Kategorie vergleichbar, nicht zwischen Kategorien.^[9]

Kritik

Der Journal Impact Factor ist umstritten. Die Kritik bezieht sich dabei vor allem auf die Verwendung als Qualitätsmaßzahl,^[10] aber auch auf die grundsätzliche Art der Berechnung,^[11] die mangelhafte unabhängige Reproduzierbarkeit^[12] und die fehlende Vergleichbarkeit zwischen verschiedenen Themenfeldern (s. o.).

Art der Berechnung

Vielfach kritisch bewertet wird die Art der Berechnung des JIF. Denn nur einige wenige Artikel erhalten die meisten Zitationen, viele andere Artikel werden kaum oder gar nicht zitiert. So ergab eine Zitationsanalyse von elf Wissenschaftsjournalen (darunter Nature und Science), dass ca. 75 % der enthaltenen Artikel seltener zitiert werden, als es deren IF aussagt. Knapp 20 % aller Publikationen in Nature und Science werden nie zitiert.

Da die Verteilung von Zitationen in der Regel sehr schief ist, ist der verwendete Mittelwert keine geeignete Maßzahl.

Einige Verlage kündigten daraufhin an, den IF nicht mehr in ihren Zeitschriften und Werbemitteln anzugeben.^[13]

Manipulierbarkeit

Ein weiterer Kritikpunkt ist die Verhandelbarkeit des Impact Factors. Für die Häufigkeit, mit der eine Zeitschrift zitiert wurde, werden von ISI alle Zitierungen gezählt – egal ob sie Artikel, Editorials, Meetings, Letters oder Conference Proceedings betreffen. Welche Veröffentlichungen als „Artikel“ im Nenner in die Berechnung eingehen, kann zwischen Zeitschrift und ISI ausgehandelt werden.^[14]

Zeitschriften können ihren eigenen Impact Factor manipulieren, etwa indem Autoren angehalten werden, die eigenen Publikationen bevorzugt in ihre Referenzen aufzunehmen. Auch durch vorzeitige Veröffentlichungen wird die Anzahl der Zitierungen und damit die Größe des Zählers künstlich erhöht.^[15]

Ob Selbstzitierungen, d. h. Zitierungen der eigenen Arbeiten bei der Berechnung des Impact-Faktors berücksichtigt werden sollten, wie das momentan der Fall ist, ist umstritten. Ferner besteht die Gefahr, dass sich Zitierkartelle bilden.

Mittel zur Bewertung von Forschungsleistungen

Die Deutsche Forschungsgemeinschaft sieht das immer stärkere Heranziehen des Impact Factors zur Beurteilung wissenschaftlicher Qualität sehr kritisch. So „hängt die Zitierhäufigkeit offenkundig nicht nur vom Ansehen einer Zeitschrift oder einer Arbeitsgruppe ab, sondern vor allem von der Größe der Gruppe von Wissenschaftlern, die sich für das Thema interessiert. Spezialisierte Zeitschriften haben geringere ‚impact factors‘ als solche mit breiter Leserschaft; in einem kleinen Fach gelten andere quantitative Maßstäbe als in einem großen.“^[16]

Der Wissenschaftsrat teilt diese Kritik und fordert, dass „mehr qualitäts- statt quantitätsbezogene Kriterien in der Leistungsbewertung“ berücksichtigt werden sollten.^[17]

Alternativen zum IF fordert die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften und kritisiert, dass der IF kein geeignetes Instrument für die Bewertung einer Forschungsleistung sei und schnellstmöglich durch geeignete Indikatoren ersetzt werden müsse.^[18]

In der San Francisco Declaration on Research Assessment (DORA) protestieren rund 13.000 Wissenschaftler und Organisationen gegen den Impact Factor als zentrales Mittel zur Bewertung wissenschaftlicher Leistung und fordern: „Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions. (Nutzt keine zeitschriftenbasierte Messung, etwa Impact-Faktoren, als Ersatzmaß der Qualität individueller Forschungsartikel, um die Beiträge einzelner Wissenschaftler zu bewerten, oder bei Anstellungs-, Beförderungs- und Finanzierungsentscheidungen.)“ Die DORA wurde 2012 von der American Society for Cell Biology initiiert. Zu ihren Unterzeichnern gehören auch Hochschulen (darunter die League of European Research Universities) und Förderorganisationen wie der FWF – österreichische Wissenschaftsfonds und der Schweizerische Nationalfonds (SNF)^[19].

Nobelpreisträger Randy Schekman erneuerte seine Kritik 2016 in einem Vortrag an der Universität Regensburg: Der Journal Impact Factor sei eine „künstliche Zahl“ und nicht für die Bewertung wissenschaftlicher Qualität geeignet: „Wir müssen diesen Blödsinn hinter uns lassen und andere Methoden entwickeln, um die schöpferische Leistung zu messen“.^[20]

Siehe auch

• Web Impact Factor
• h-Index
• CiteScore

Literatur

• N. M. Meenen: Der Impact-Faktor – ein zuverlässiger scientometrischer Parameter? In: Unfallchirurgie. Bd. 23, Nr. 4, 1997, S. 128–134. PMID 9381604
• A. Hakansson: The Impact Factor – a dubious measure of scientific quality. In: Scandinavian Journal of Primary Health Care. Bd. 23, Nr. 4, 2005, S. 193–194.
• S. Lehrl: Der Impact Faktor als Bewertungskriterium für wissenschaftliche Leistungen – das Recht auf Chancengleichheit. In: Strahlentherapie und Onkologie. Bd. 175, 1999, S. 141–153.
• Arnd Krüger: Wo steht die deutsche sportwissenschaftliche Forschung? Impact-Faktor, Halbwertzeit, Aktualitäts- und Immediacy Index. In: Leistungssport. Bd. 28, Nr. 2, 1998, S. 30–34.
• S. N. Groesser: Dynamics of Journal Impact Factors. In: Systems Research and Behavioral Science. Bd. 29, Nr. 6, 2012, S. 624–644. abstract
• W. Golder: Der Impact Faktor: Eine kritische Analyse. In: RöFo – Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. Bd. 169, 1998, S. 220–226.
• T. Opthof: Sense and Nonsense About the Impact Factor. In: Cardiovasc Res. Bd. 33, Nr. 1, 1997, S. 1–7, doi:10.1016/S0008-6363(96)00215-5.
• Per O. Seglen: Why the impact factor of journals should not be used for evaluating research. In: British Medical Journal. Bd. 314, 1997, S. 497.
• M. West: Impactopoly. In: Laborjournal. Nr. 11, 2006, S. 40–45 (PDF)
• Vladimir Pislyakov: Comparing two “thermometers”: Impact factors of 20 leading economic journals according to Journal Citation Reports and Scopus. In: Scientometrics. Bd. 79, Nr. 3, 2009, S. 541–550 (doi:10.1007/s11192-007-2016-1, (PDF))
• J. Stegmann: How to evaluate Journal impact factors. In: Nature. Bd. 390, Nr. 6660, 1997, S. 550, doi:10.1038/37463.
• Dirk Schoonbaert, Gilbert Roelants: Impact takes precedence over interest. In: Nature. Bd. 391, Nr. 6664, 1998, S. 222, doi:10.1038/34519.
• Darren Greenwood: Reliability of journal impact factor rankings. In: BMC Medical Research Methodology. Bd. 7, Nr. 1, 2007, S. 48, doi:10.1186/1471-2288-7-48.
• Borja Gonzalez-Pereira, Vicente Guerrero-Bote, Felix Moya-Anegon: The SJR indicator: A new indicator of journals’ scientific prestige, Conference paper, Dezember 2009, ArXiv
• Petra Heidenkummer: Wenn das Undurchschaubare zum Maß wird: Probleme und Schwankungen des Impact Factors. In: b.i.t. online. Bd. 16, Nr. 3, 2013, S. 201–210 (PDF)
• U. Böhme, S. Tesch: Die Vermessung der Fachliteratur. In: Nachr. Chem. Bd. 61, Nr. 9, 2013, S. 905–908, doi:10.1002/nadc.201390279.
• U. Böhme, S. Tesch: Die dunkle Seite der Bibliometrie. In: Nachr. Chem. Bd. 65, Nr. 10, 2017, S. 1024–1027, doi:10.1002/nadc.20174065326.

Weblinks

• Christopher Baethge: Nichtperfekter Impact-Faktor. In: Deutsches Ärzteblatt, 109 (2012) Nr. 15, doi:10.3238/arztebl.2012.0267
• Ulrich Herb: Alte Hüte und neue Konzepte: Qualitätssicherung, Qualitätsmessung und Zitationshäufigkeiten. In: Telepolis. 8. November 2006.
• The “impact factor” revisited – Besprechung des Impact Factors, mit Erläuterungen zu seiner Berechnung, seinen Zielen und seinen Grenzen (engl. Übersichtsartikel)
• clarivate.com, Clarivate Analytics zu ihrem Impact Factor (englisch)
• Kommentar von Kai Simons, Editorial in “Science” (englisch)
• San Francisco Declaration on Research Assessment

Einzelnachweise

1. Robert Czepel: Kann wissenschaftliche Qualität gemessen werden?. (science.ORF.at), abgerufen am 5. September 2016.
2. F. M. Paulus, L. Rademacher, T. A. J. Schäfer, L. Müller-Pinzler, S. Krach: Journal Impact Factor Shapes Scientists’ Reward Signal in the Prospect of Publication. In: PLOS ONE. November 2015.
3. N. M. Meenen: Der Impact-Faktor – ein zuverlässiger scientometrischer Parameter? In: Unfallchirurgie. Bd. 23, Nr. 4, 1997, S. 128–134. PMID 9381604
4. Diversity and Distributions. In: Wiley Online Library. Abgerufen am 23. November 2012.
5. Ecology Letters. In: Wiley Online Library. Abgerufen am 23. November 2012.
6. Wolfgang G. Stock: The inflation of impact factors of scientific journals. In: ChemPhysChem. 10, Nr. 13, 2009, S. 2193–2196, doi:10.1002/cphc.200900495.
7. Bibliometrics (Memento vom 18. August 2012 im Internet Archive)
8. Brunel university: SJR and SNIP journal metrics (Memento vom 9. Januar 2017 im Internet Archive)
9. Journal Citation Ranking and Quartile Scores. In: Research Assessment. abgerufen am 3. Februar 2014.
10. B. Brembs, K. Button, M. Munafò: Deep impact: unintended consequences of journal rank. In: Front Hum Neurosci. Band 7, Nr. 291, 2013, doi:10.3389/fnhum.2013.00291.
11. Joint Committee on Quantitative Assessment of Research: Citation Statistics. 2008. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS).
12. M. Rossner, H. Van Epps, E. Hill: Show me the data. In: J Cell Biol. Band 179, Nr. 6, 2007, doi:10.1083/jcb.200711140 (jcb.org).
13. Ewen Callaway: Beat it, impact factor! Publishing elite turns against controversial metric. In: Nature. 535, 14. Juli 2016, 210–211.
14. The PLoS Medicine Editors: The Impact Factor Game. In: Plos Medi. Band 3, 2006, Artikel e291, doi:10.1371/journal.pmed.0030291 (plosmedicine.org).
15. A. B. L. Tort, Z. H. Targino, O. B. Amaral: Rising Publication Delays Inflate Journal Impact Factors. In: PLoS ONE. Band 7, 2012, Artikel e53374, doi:10.1371/journal.pone.0053374.
16. PDF-Dokument Sicherung guter wissenschaftlicher Praxis (Deutsche Forschungsgemeinschaft, am 3. Juli 2013 verabschiedete Denkschrift), abgerufen am 9. Januar 2015.
17. PDF-Dokument „Empfehlungen zu wissenschaftlicher Integrität“ (Wissenschaftsrat, Positionspapier 2015), abgerufen am 7. Juli 2016.
18. AWMF-Positionspapier zur Evaluation der medizinischen Forschungsleistung (GMS Ger Med Sci 2014;12:Doc11).
20. Von Louisa Knobloch: Kleine Moleküle, große Wissenschaft. In: Mittelbayerische Zeitung. 10. März 2016, abgerufen am 7. Juli 2016.