Améliorer la façon dont nous évaluons la recherche : comment nous mettons en œuvre DORA

Cancer Research UK Homepage

Chez CRUK, nous dépensons chaque année plus de 380 millions de livres sterling de l’argent de nos donateurs pour la recherche. Nous travaillons dur pour nous assurer de financer les projets de la plus haute qualité qui auront le plus grand impact possible sur la lutte contre le cancer, et nous avons amélioré la façon dont nous évaluons les demandes de recherche.

En tant que signataires de la Déclaration sur l’évaluation de la recherche (DORA), nous nous engageons à évaluer la qualité et l’impact de la recherche scientifique par des moyens autres que les facteurs d’impact des revues, et nous avons mis en œuvre plusieurs initiatives au cours de la dernière année qui s’alignent sur les principes DORA.

Nous avons rencontré le Dr Fiona Reddington, responsable de la recherche sur la population, la prévention et le comportement au CRUK, qui siège également au comité directeur de DORA, pour en savoir plus sur ce qui se passe au CRUK et dans la communauté de recherche au sens large.

Qu’est-ce que DORA ?

La Déclaration de San Francisco sur l’évaluation de la recherche (DORA) reconnaît la nécessité d’améliorer les méthodes d’évaluation des résultats de la recherche universitaire. Il a été développé en 2012 et est une initiative mondiale couvrant toutes les disciplines universitaires et toutes les parties prenantes clés, y compris les bailleurs de fonds, les éditeurs, les sociétés professionnelles, les institutions et les chercheurs.

Pourquoi CRUK se soucie-t-il d’améliorer la façon dont nous évaluons la recherche ?

Nous nous engageons à voir le jour où tous les cancers seront guéris, et nous nous sommes fixé un objectif ambitieux de voir trois patients sur quatre atteints d’un cancer survivre à leur maladie d’ici 2034. Pour atteindre cet objectif, nous voulons financer une recherche compétitive au niveau international qui est du de la plus haute qualité et soutenir des scientifiques exceptionnels dans le domaine du cancer dans leur transition vers l’indépendance. Un élément central qui alimente nos décisions de financement est la façon dont nous évaluons la qualité de la recherche qui nous est présentée par les candidats ; cela peut déterminer les décisions de financement, de promotion, d’embauche et de titularisation, il est donc essentiel que nous prenions les bonnes décisions.

Historiquement, les facteurs d’impact des revues ont été utilisés comme substitut pour juger les chercheurs individuels ; cela semble plutôt contre-intuitif lorsque l’on considère à quel point la relation est inexacte, et ici, chez CRUK, nous reconnaissons la nécessité de changer cela. Depuis notre inscription à DORA, nous avons progressé dans la mise en œuvre de changements dans notre processus de candidature et nos critères d’évaluation de la qualité des chercheurs. Nous soulignons que même si les articles de revues sont importants, nous valorisons et récompensons tous les types de résultats de recherche. Nous veillons à ce que les candidats disposent d’un espace approprié pour mettre en évidence leurs principales réalisations en matière de recherche, et que nos examinateurs soient bien conscients de la reconnaissance et de l’évaluation de ces données pour prendre des décisions de financement éclairées.

Quels sont les faits saillants de l’année écoulée ?

Nous avons été occupés à modifier nos directives de candidature conformément aux principes de DORA, et nous avons travaillé dur pour nous assurer que nos processus de financement sont alignés sur les meilleures pratiques. L’un des premiers changements que nous avons apportés a été de commencer à interroger les candidats spécifiquement sur leurs « résultats de recherche » de manière plus générale, plutôt que simplement sur leur dossier de publication.

Un autre changement notable est l’introduction d’une nouvelle politique de carrières dans la recherche flexible qui soutient des parcours de carrière variés et flexibles. Nous reconnaissons la nécessité d’être flexibles avec les critères d’éligibilité des candidats aux bourses, en particulier après des périodes de congé de longue durée, et nous soutenons fortement les chercheurs qui postulent et travaillent à temps partiel ou de manière flexible sur l’une de nos bourses. Notre nouvelle politique reflète cela en permettant la prise en compte des modifications apportées aux subventions actives et de toute période de congé lors de l’évaluation de l’admissibilité aux subventions et de toute décision de financement ultérieure.

Comment avez-vous équipé vos pairs évaluateurs et membres de comités pour garantir que les principes de DORA sont mis en œuvre pendant le processus de financement ?

Nous avons développé un système juste, robuste et transparent pour évaluer les demandes de financement. Toutes nos subventions sont attribuées dans le cadre d’un concours ouvert et elles sont examinées par des experts indépendants de la communauté de la recherche. Nous rappelons maintenant à nos pairs évaluateurs et aux membres du comité les principes de DORA tout au long du processus de financement, et nous avons également modifié nos lignes directrices pour les candidats afin de refléter cela.

Lors de l’examen des antécédents des chercheurs et de leur aptitude à réaliser la recherche proposée, nos examinateurs sont invités à prendre en compte la valeur et l’impact de tous les résultats de la recherche, y compris les prépublications, la formation, la contribution à des consortiums, les brevets et le partage d’ensembles de données clés, de logiciels, de nouveaux dosages et réactifs, en plus des publications de recherche. Lors de l’examen des publications de recherche, il est rappelé à nos examinateurs que le contenu d’un article scientifique et son influence sur le terrain ont plus d’importance que les métriques de publication ou le lieu où il a été publié.

Lorsque de nouveaux membres sont nommés à nos comités de financement, nous veillons à ce que les principes de DORA leur soient soulignés dans leur lettre de nomination, lors d’une journée d’intronisation annuelle et chaque fois qu’ils reçoivent des documents à examiner.

Comment CRUK a-t-il modifié son processus de candidature ?

Nous demandons maintenant aux chercheurs d’énumérer trois à cinq réalisations ou contributions clés à la science lorsqu’ils postulent pour nos subventions. Cela leur permet de décrire tous les types de résultats pertinents pour leur recherche, qu’il s’agisse d’ensembles de données, de prépublications, de déclarations de consensus ou de tout autre élément. Nous collectons toujours des informations sur les publications, mais reconnaissons absolument qu’il ne s’agit que d’un type de résultat de recherche et encourageons les chercheurs à réfléchir largement aux types de résultats qui découlent de leur recherche.

La recherche ouverte est une priorité clé de DORA ; comment CRUK promeut-il la recherche ouverte ?

Nous voulons nous assurer que toutes les données issues de la recherche que nous finançons sont gérées et rendues disponibles aussi largement et librement que possible afin de maximiser l’intérêt public. Non seulement il s’agit d’une bonne pratique de recherche, mais nous pensons qu’elle nous aidera à atteindre notre objectif de 3 patients sur 4 survivants d’un cancer d’ici 2034. En 2009, nous avons introduit notre stratégie de partage et de préservation des données, stipulant que les candidats doivent fournir un outil de gestion et de partage des données. dans le cadre de leur demande de financement. Les données doivent être partagées en temps opportun et de manière responsable et les chercheurs qui fournissent et reçoivent des données sont tenus de se conformer à toutes les exigences réglementaires pertinentes, y compris celles relatives à l’utilisation éthique des données. Ce plan est examiné dans le cadre de la décision de financement, et il est également pris en considération lors des examens d’étape et des rapports de fin de subvention.

Nous attendons également de nos chercheurs qu’ils publient leurs travaux en libre accès. Nous pensons que cela maximise l’impact de la recherche que nous finançons et facilite le partage rapide des connaissances, garantissant en fin de compte que les patients peuvent accéder plus rapidement à de meilleurs traitements. Nous fournissons également des fonds à nos chercheurs pour qu’ils publient en libre accès.

Comment voyez-vous l’évaluation évoluer à l’avenir ?

Notre équipe d’évaluation de la recherche au CRUK a travaillé dur pour transformer la façon dont nous évaluons la recherche que nous finançons. Researchfish nous fournit un large éventail de données sur les résultats de notre financement de la recherche – publications, mais aussi des informations sur le financement supplémentaire, la production et la réutilisation d’ensembles de données, les résultats translationnels, les impacts sur les politiques et bien d’autres. Nous voulons comprendre l’impact de notre recherche à travers une variété de mesures, nous nous engageons donc activement avec les parties prenantes pour améliorer nos techniques d’évaluation et investir dans de nouvelles technologies et sources de données pour nous aider à le faire.

Quelle est la position de CRUK sur les prépublications ?

Nous pensons que la publication de prépublications sur des serveurs publics accélérera la diffusion des résultats de la recherche, accordera du crédit aux chercheurs qui pourront revendiquer leur travail plus tôt et, en fin de compte, accélérera et améliorera les progrès scientifiques. Nous encourageons donc fortement nos chercheurs à déposer des prépublications de leurs publications et à les citer, ainsi que d’autres résultats de recherche non traditionnels dans les demandes de financement.

CRUK a récemment financé un gestionnaire de communauté DORA ; pouvez-vous nous en dire un peu plus sur les avantages potentiels que cela apportera ?

Vers la fin de l’année dernière, nous avons collaboré avec d’autres bailleurs de fonds et éditeurs pour embaucher un responsable de communauté DORA, qui est maintenant en poste à Washington DC. Leur seul objectif est de promouvoir DORA, ainsi que d’aider les signataires à planifier la mise en œuvre. Nous espérons que ce poste renforcera les liens entre les agences de financement, les éditeurs et les instituts de recherche, recrutera de nouveaux signataires de DORA et établira une forte présence sur les réseaux sociaux. Nous envisageons que cela conduise à une plus grande reconnaissance des principes DORA dans la communauté des chercheurs, et à la création d’une ressource précieuse où des exemples de progrès réels peuvent être collectés et les meilleures pratiques documentées.

Pensez-vous que DORA affectera les patients à l’avenir ?

Le bénéfice du patient est toujours au cœur de tout ce que nous faisons chez CRUK. Nous voulons financer la recherche qui a le potentiel d’avoir un impact positif sur les patients, que ce soit par la découverte de nouvelles thérapies, la mise en œuvre de schémas thérapeutiques innovants ou des changements de politique ou de pratique. Ces résultats de recherche ne donnent pas nécessairement lieu à des publications. Par conséquent, lors de l’évaluation des subventions, nous accordons désormais une grande importance à l’évaluation de la manière dont la recherche que nous finançons a profité ou profitera aux patients. De plus, nous demandons maintenant à tous nos candidats de souligner le potentiel de leur proposition de recherche au profit des patients à l’avenir.

En savoir plus

Lorsque vous nous présentez une demande de financement de recherche, votre demande sera soumise à un processus d’évaluation par les pairs approfondi.