Un facteur d'impact ou FI (en anglais, impact factor ou IF, journal impact factor ou JIF) est un indicateur qui estime indirectement la visibilité d'une revue scientifique. Pour une année donnée, le FI d'une revue est égal à la moyenne des nombres de citations des articles de cette revue publiés durant les deux années précédentes. Ce facteur d'impact, qui mesure une certaine visibilité, est considéré par certains gestionnaires de la recherche et certains chercheurs comme un critère pertinent: une revue avec un FI élevé serait ainsi considérée comme plus importante (parce que plus visible: plus lue et plus citée) qu'une revue avec un FI faible. Ces facteurs d'impact ont une influence certaine dans le domaine de la publication scientifique. Ils sont utilisés par ailleurs comme critère pertinent d'évaluation par les tenants d'une évaluation quantitative de la recherche (sujet à controverse).
Un graphique du facteur d'impact de la revue Acta Veterinaria Scandinavica au fil du temps
Le top 2% des revues scientifiques a un FI supérieur à 10 et le top 10% des revues a un FI supérieur à 4. Près de trois-quarts des revues scientifiques ont un FI supérieur à 1[1]. Les revues scientifiques avec un FI faible (inférieur à 1) sont peu citées, soit parce qu'elles sont de bonne qualité mais très spécialisées, soit parce qu'elles sont reconnues comme des revues dites «prédatrices»[2].
Pour une année donnée, le FI d'une revue scientifique est égal à la moyenne des nombres de citations des articles de cette revue publiés durant les deux années précédentes (citations faites dans les autres revues et dans celle-ci)[3]. Les nouvelles revues, indexées depuis leur premier numéro, recevront un facteur d'impact après une période de deux ans. Certaines publications annuelles ou irrégulières ne publient rien pendant un an, ce qui a une incidence sur ce calcul. Le FI concerne une période de temps définie. Il est possible de le calculer pour n'importe quelle période désirée. Les Journal Citation Reports (JCR) incluent aussi un FI de cinq ans[4]. Le JCR montre aussi les rangs de journaux par FI, et si nécessaire par discipline, comme la chimie organique ou la psychiatrie.
Par exemple, les deux revues scientifiques considérées comme les plus prestigieuses sont Nature et Science. Toutes les deux ont des facteurs d'impact autour de 40. Certaines revues biomédicales ont des valeurs plus importantes, par exemple les plus prestigieuses The New England Journal of Medicine (facteur d'impact: 79,3) et The Lancet (facteur d'impact: 53,3). Nombre de revues de domaines spécialisés de haut niveau ont des facteurs d'impact inférieurs à 5.
Le FI est utilisé pour comparer différentes revues dans un même domaine. L'index de l'Institute for Scientific Information (ISI) recense plus de 11 000 revues scientifiques[9].
Il est parfois commode de pouvoir faire des comparaisons entre différentes revues ou différents groupes de recherche. Par exemple, le financeur d'une recherche scientifique désire un critère pour juger la productivité de son investissement. Une mesure quantitative apparemment objective de l'importance des publications peut lui sembler alors nécessaire, laquelle peut utiliser le facteur d'impact.
Utilisation détournée
Les facteurs d'impact ne sont cependant pas sans biais, surtout quand on utilise le FI dans des situations dans lesquelles il n'est pas adapté.
Comme d'autres outils de bibliométrie, leur usage est critiqué[10].
Bien que le facteur d'impact ait été créé à l'origine comme mesure de la réputation d'une revue, il est de plus en plus employé comme mesure de la productivité des chercheurs[11].
C'est une mesure trop grossière de la fiabilité de l'information donnée. Un postulat voudrait que, par exemple, un essai qui démontre l'efficacité d'un traitement dans un article d'une grande revue médicale à FI élevé pourrait changer la pratique médicale quotidienne et que ce serait rarement le cas dans une revue avec un FI faible (avec le postulat secondaire que si l'essai possédait des résultats intéressants, il serait publié dans une plus grande revue). Ce postulat n'est pas démontré: en effet, seul un petit nombre d'articles de ces revues à FI élevé sont très cités (ce que cache la moyenne). Par exemple, environ 90% du FI de Nature en 2004 était basé sur seulement le quart des publications[12]. Ainsi, l'importance des publications sera très variable dans une même revue. Le FI sous-estime l'importance des articles d'une même revue les plus cités, et sur-estime l'importance des articles les moins cités qui sont la grande majorité d'une revue.
Avantage
L'avantage du facteur d'impact est lié à sa facilité d'usage, au fait qu'il est très facilement calculable, et couvre 15 000 revues de plus 60 pays différents. Cela en fait un des outils bibliométriques les plus simples et les plus connus.
Inconvénients et critiques
Inconvénients, difficultés
Le nombre de citations n'est pas une mesure correcte de la qualité ni même de la quantité d'informations nouvelles des publications. Il y a d'autres critères que la qualité scientifique brute du travail qui font qu'un article est lu et cité: la clarté de l'article, le fait qu'il soit dans une thématique «à la mode» ou non, voire que l'article soit cité comme exemple de mauvaise recherche scientifique.
La fenêtre temporelle est trop courte. Dans la recherche de pointe, l'importance de l'article peut ne devenir apparente qu'après plusieurs années, et ne sera donc pas prise en compte par le facteur d'impact de l'ISI[13]. De plus, les articles classiques sont cités fréquemment, même après plusieurs décennies. Pour les revues ayant des processus de publication assez longs, les auteurs n'auront cité que des articles qu'ils ont lus au moment de la rédaction de leur travail. En effet, pour certaines revues, le temps entre la soumission de l'article et sa publication peut prendre plus de deux ans. Seules les citations d'articles de moins de 3 ans avant la publication et de moins de 1 an avant la rédaction seraient alors pris en compte. Un FI d'au moins 5 ans et plus serait alors plus pertinent.
La nature d'un domaine scientifique implique des rythmes et des quantités différentes de publication, ce qui affecte le facteur d'impact. Par exemple, les revues médicales ont des facteurs d'impact supérieurs à ceux de revues de mathématiques; il est illogique de comparer sur le même plan une revue médicale avec une revue mathématique tant le travail d'un chercheur en biomédecine diffère de celui d'un chercheur en mathématiques. Dans le même ordre d'idées, le facteur d'impact médian dans les domaines de l’économie de la santé (2,06), des systèmes d’information (1,97), de l'innovation (1,73) de la stratégie et du management (1,73) sont nettement plus élevés que, entre autres exemples, dans le domaine de la théorie économique (0,83), du travail (0,77), voire de l'économie publique (0,59) ou de l'histoire économique et de l'histoire de la pensée économique (0,41)[14]. Le nombre de publications et le FI des revues qui les ont publiées ne reflètent pas les mêmes types d'effets.
Le facteur d'impact augmente avec le prestige de la revue, qui peut être artificiellement augmenté par une politique éditoriale adéquate et ses moyens en termes de publicité. Comptant la fréquence de citation par article et négligeant le prestige de la revue, le facteur d'impact confond des mesures de popularité, de prestige et d'impacts réels. Le facteur d'impact étant fortement lié à la revue plus qu'à l'article; un article publié dans une revue à fort impact peut avoir un nombre de citations très bas, voire nul, et inversement.
Le facteur d'impact ne prend pas en compte l'impact d'une information scientifique nouvelle diffusée par le biais des cours et d'autres formations. Il «représente» mieux les chercheurs qui publient le plus, que ceux qui enseignent ou par exemple améliorent ou enrichissent le contenu de Wikipédia[15].
Il existe un biais linguistique: les revues non-anglophones étant moins bien répertoriées, elles ne bénéficient pas ou peu d'un facteur d'impact, même quand elles sont internationalement reconnues (en sciences sociales particulièrement). Elles souffrent également de bugs dus aux diacritiques propres aux langues autres que l'anglais[11].
Le facteur d'impact pourrait tendre à uniformiser la recherche. Il encourage aussi la «multiplication des publications avec tronçonnement des résultats» (afin de gonfler artificiellement les chiffres)[11].
Le FI ne pourrait pas être reproduit à partir d'un audit indépendant, les données brutes n'étant pas accessibles[16].
À court terme, surtout dans le cas de journaux à FI faible, de nombreuses citations sont faites dans les articles sur les travaux précédents du chercheur (auto-citation)[17]; Garfield maintient cependant que ce phénomène influence peu le FI d'une revue[18]. Une étude d'auto-citations d'auteur dans la littérature sur le diabète montre que la fréquence des auto-citations n'est pas associée à la qualité des publications[19]. Par ailleurs, une auto-citation de la revue est fréquente dans les revues qui traitent de sujets spécialisés et qui ont de forts regroupements entre leur lectorat et leurs auteurs. Ce n'est pas nécessairement un signe de mauvaise qualité ou de manipulation[20].
Les listes de classement des revues basés sur le FI ou sur les résultats d'une enquête d'expert ont une corrélation modérée[21].
La politique éditoriale d'une revue peut affecter le FI[22],[23]:
Une revue peut publier un pourcentage important d'articles de synthèse (review article en anglais) qui sont généralement plus souvent cités que les articles de recherche proprement dit [24]. Par conséquent, ces articles de synthèse peuvent augmenter le FI d'une revue et les revues qui se consacrent à ces états de l'art ont souvent le FI le plus élevé dans leur domaine respectif. A contrario, des revues peuvent décider de ne pas publier des articles sur des études de cas qui ont moins de chance d'être cités et qui diminueraient le nombre moyen de citation par article.
Les journaux changent la fraction d'objets citables (chiffre au dénominateur). Il s'agit d'un sujet de négociation avec Thomson Scientifique. Par conséquent, des variations du FI pouvant atteindre 300% ont été décelées[25]. Par exemple, les éditoriaux dans une revue ne sont pas considérés comme des articles citables et ainsi n'entrent pas dans le dénominateur dans le nombre d'articles citables. Cependant, les citations de ces articles vont toujours entrer dans le numérateur, augmentant ainsi le FI. Par ailleurs, si de tels articles citent d'autres articles (souvent d'une même revue) ces citations seront comptées et augmenteront le FI. Cet effet est difficile à évaluer. La distinction entre un éditorial et un article court est difficile à établir, par exemple les lettres aux éditeurs/rédacteurs.
Les journaux peuvent publier une plus grande proportion de leurs articles ou surtout les articles qu'ils s'attendent à voir cités dans le début de l'année. Cela donne plus de temps à la revue pour récolter les citations.
L'«impact factor» est manipulable:
En 2007, la revue spécialisée Folia Phoniatrica et Logopaedica, avec un FI de 0,66, publia un éditorial qui citait tous ses articles de 2005 à 2006, en protestation contre l'utilisation absurde du FI[26]. Le grand nombre de citations entraîna une augmentation du FI à 1,44. Par conséquent, la revue n'a pas été incluse dans le Journal Citation Reports de 2008 et 2009[27].
En 2008, un article unique (en anglais), «Une brève histoire du SHELX», incluait la phrase «Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d'un cristal.» Cet article a reçu plus de 6 600 citations. Par conséquent, le FI de Acta Crystallographica Section A augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103)[28]. Le second article le plus cité dans Acta Crystallographica Section A en 2008 avait seulement 28 citations[29].
Incitation à l'auto-citation C'est la pratique d'éditeurs qui forcent un auteur à ajouter des auto-citations de sa revue pour accepter la publication de son article, ce qui permet d'augmenter artificiellement le FI. Une étude de 2012 indique que ceci a été vécu par un chercheur sur cinq dans les domaines de l'économie, sociologie, psychologie et du commerce. Cette pratique est plus fréquente dans le monde du commerce et dans les journaux avec un faible FI[30]. Même si des cas d'incitation à l'auto-citation ont rarement été rapportés dans les autres disciplines scientifiques[31], cette pratique y a tout de même été détectée, par exemple en sciences du sol[32].
Critiques, recherches d'alternatives
Mi 2013, plus de 150 scientifiques et 75 sociétés savantes avaient signé la Déclaration de San Francisco sur l'évaluation de la recherche (DORA) initiée par l'American Society for Cell Biology(en) (ASCB) en collaboration avec un groupe d’éditeurs de journaux scientifiques.
L'algorithme Pagerank En 1976, un FI récursif, qui donne aux citations provenant de revues avec un plus grand impact une plus grande importance que les citations provenant de revues de faible impact, a été proposé[33]. Un tel système ressemble à l’algorithme Pagerank du moteur de recherche Google. De nombreuses approches différentes ont été proposées[34],[35],[36].
L'Eigenfactor est un autre type de mesure de type Pagerank de l'influence d'une revue. Ces classements qui s’appuient sur le corpus du Journal Citation Reports sont librement accessibles en ligne.
«Que disent les indicateurs?», entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d’évaluation de l’INRIA, Lettre d'information de l'INRIA, no59, mai 2007.
Jean-Bernard Châtelain, Kirsten Ralf. «Les revues d'excellence en économie et en gestion: discordances entre la classification de l'AERES et les facteurs d'impact par les citations». 2009, <hal-00430528>, lire en ligne
(en) Sayed-Amir Marashi, «On the identity of "citers": are papers promptly recognized by other investigators?», Medical hypotheses, vol.65, no4, , p.822 (PMID15990244, DOI10.1016/j.mehy.2005.05.003).
(en) Serenko A, Dohan M, «Comparing the expert survey and citation impact journal ranking methods: Example from the field of Artificial Intelligence», Journal of Informetrics, vol.5, no4, , p.629–648. (DOI10.1016/j.joi.2011.06.002, lire en ligne[PDF])
(en) Schuttea HK, Svec JG, «Reaction of Folia Phoniatrica et Logopaedica on the Current Trend of Impact Factor Measures», Folia Phoniatrica et Logopaedica, vol.59, no6, , p.281-285 (PMID17965570, DOI10.1159/000108334)
(en) A. W. Wilhite et E. A. Fong, «Coercive Citation in Academic Publishing», Science, vol.335, no6068, , p.542–3. (PMID22301307, DOI10.1126/science.1212540)
(en) Gabriel Pinski and Francis Narin, «Citation influence for journal aggregates of scientific publications: Theory with application to literature of physics», Information Processing & Management, vol.12, no5, , p.297–312 (DOI10.1016/0306-4573(76)90048-0)
(en) S. J. Liebowitz and J. P. Palmer., «Assessing the relative impacts of economics journals», Journal of Economic Literature, American Economic Association, vol.22, no1, , p.77–88 (JSTOR2725228, lire en ligne[PDF])
(en) I. Palacios-Huerta and O. Volij, «The measurement of intellectual influence», Econometrica, vol.72, no3, , p.963–977 (DOI10.1111/j.1468-0262.2004.00519.x)
(en) Y. K. Kodrzycki et P. D. Yu, «New approaches to ranking economics journals», B. E. Journal of Economics Analysis and Policy, vol.5, no1, (DOI10.2202/1538-0645.1520).
(en) Le nombre qui dévore la science, un article en anglais publié dans The Chronicle of Higher Education sur l'utilisation du facteur d'impact dans le recrutement académique.
