There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.
La Déclaration de San-Francisco sur l'évaluation de la recherche (San Francisco Declaration on Research Assessment ; DORA) ou « Déclaration de San-Francisco » est une déclaration publiée par des membres de la Société américaine de biologie cellulaire et un groupe d'éditeurs de revues scientifiques. Elle remet en cause l'usage croissant du classement bibliométrique comme indicateur de qualité dans l’évaluation de la recherche et des chercheurs.
Préparée dès 2012, cette déclaration a été publiée en 2013. La DORA se présente comme une initiative de portée mondiale visant toutes les disciplines scientifiques. Toute personne physique ou morale ou institution sensible aux besoins d'amélioration de l’évaluation de la recherche scientifique peut la signer[1]. Après seulement quelques mois, en mai 2013, plus de 6 000 personnes l'avaient signé. Le nombre d'organisations scientifiques signataires est passé de 78 à 231 en moins de deux semaines[2].
La déclaration découle des conclusions d'une réunion organisée en 2012 en marge du congrès annuel de la société mentionnée ci-dessus qui portait sur le thème des citations scientifiques et de l'évaluation de la recherche scientifique, et remettait en cause l'utilisation du facteur d'impact, tel que calculé par Thomson Reuters, de plus en plus utilisé pour évaluer les chercheurs malgré sa définition et les biais qu'il implique[3],[4],[5].
Le facteur d'impact est par définition une mesure indirecte de la visibilité ou de la notoriété d'une revue et non de la qualité intrinsèque de chercheurs individuels. Selon les auteurs de la déclaration, elle souffre de biais importants. Or c'est un des critères utilisé pour l'évaluation des chercheurs et des laboratoires par certains organismes. En France, c'était le cas de l'AERES, une autorité administrative indépendante créée en 2007 pour évaluer la recherche. Le HCERES, qui remplace l'AERES depuis 2013, est par contre signataire de la DORA depuis 2021[6] ainsi que la plupart des grands organismes de recherche français (CNRS, Inria, Cirad, INSERM[7]...).
Contexte
Il est naturellement difficile d'évaluer la qualité et l'impact des travaux de recherche aussi objectivement que possible, c'est-à-dire d'en faire la mesure.
L'évaluation de personnes, d'organisations, de réseaux scientifiques, et celle de leurs activités et impacts (utilité) est intrinsèquement difficile, tant pour les pairs que par des outils mathématiques ou informatiques supposés neutres et indépendants.
Avant la réunion de San-Francisco, des chercheurs se demandaient déjà quelle part l'évaluation doit accorder au critères de vulgarisation scientifique, de « valorisation de la recherche » (par les brevets ou par la mise à disposition de tous de données et solutions essentielles ?) par rapport à la notoriété d'un article supposé lié à celle de la revue dans laquelle il parait[8].
Le contexte est aussi celui de la crise de 2008 et des crises écologiques, climatiques ou géopolitiques qui appellent des analyses et réponses scientifiques alors que les budgets sont limités pour la recherche.
La publication scientifique doit aussi répondre à des critiques concernant le poids et l'influence de certains lobbys (industriels, agroalimentaires, nucléaires, etc.) qui orientent parfois les budgets et contenus de la recherche à leur profit. Les révélations de conflits d'intérêts à des haut niveaux de décision dans certaines agences de financement ou d'évaluation d'importance nationale ou européenne, par exemple, on montré que ce risque existait bien.
Parallèlement à une demande sociale d'intégrité scientifique, il existe aussi une demande pour l'ouverture des données et le libre accès aux publications, en particulier quand les études ont été pour tout ou partie financées avec de l'argent public. Ce sont des questions que les financeurs de la recherche, dont l'ANR en France, commencent à étudier de manière plus coordonnée, par exemple via le Global Research Council(en) (GRC)[9].
De larges enjeux moraux, éthiques et de justice ou financiers sont donc sous-jacents à ces débats et à la déclaration de San-Francisco.
Objectifs
L'enjeu principal de la déclaration de San-Francisco (DORA) est de mettre fin à la pratique d'établir une corrélation entre le facteur d'impact d'une revue scientifique et le fond ou la qualité de la contribution individuelle d'un scientifique. Cette pratique est de plus en plus fréquente et systématique notamment en Chine, en Inde et en France, selon Joël Bockaert[10], membre de l'Académie des sciences.
Contenu
Ce texte reconnait le besoin d’améliorer la façon dont les découvertes et la vulgarisation scientifique sont évaluées (en particulier par la remise en cause du facteur d’impact).
Selon cette déclaration, cette pratique (qui s'est fortement répandue depuis quelques décennies) crée des distorsions et des biais d'évaluation lors de l'appréciation de la recherche scientifique d'un scientifique, de son équipe ou de son laboratoire.
La déclaration affirme que le facteur d'impact ne doit pas être utilisée comme un substitut à la « mesure de la qualité des articles de recherche individuelle, ni en matière d'embauche, de promotion, ou de prise de décisions de financement »[4].
Le contenu de la déclaration consiste en une synthèse des résultats des discussions de la conférence de 2012, traduites en un ensemble de recommandations publiées en mai 2013[3].
Motivations sous-jacentes à la déclaration
Cette section ne cite aucune source et peut contenir des informations erronées (novembre 2024).
La motivation de la rencontre qui a produit cette déclaration était de rompre l'apparent consensus sur le lien entre qualité scientifique et facteurs d'impact, et de montrer que les facteurs d'impact (dans ce cas pour de nombreuses revues scientifiques spécialisées dans le domaine de la biologie cellulaire) ne reflètent pas correctement la valeur des travaux publiés dans ces revues pour la communauté scientifique du domaine de la biologie cellulaire ; ceci valant aussi pour d'autres domaines de le biologie.
Le groupe a aussi voulu discuter des façons de mieux corréler les « mesures » d'impact d'un article et d'un journal avec la qualité de la revue et des auteurs.
Il a également insisté sur une tendance qu'il juge alarmante : les auteurs citent de plus en plus des articles de revue et de moins en moins de sources primaires, ce qui induit outre une perte d'informations vérifiables par le lecteur, des biais d'interprétation. Cette tendance serait en partie due au manque d'espace imposé aux auteurs par certains journaux.
Ce « biais de citation » contribue aussi à réduire ou modifier les « indices de citation » pour des revues qui se concentrent principalement sur la « littérature primaire ». Le groupe a discuté des moyens de combattre cette tendance.
Réaction des éditeurs
Certains grands éditeurs ou groupements d'éditeurs ont signé la DORA. Elsevier a déclaré adhérer à certains de ses éléments[11].
