Dutch academics are moderately positive about the Recognition & Rewards programme. That is the outcome of the survey of 314 respondents launched by the online platform ScienceGuide in early April. The expected impact of the Recognition & Rewards programme on their own profession is rated positively by almost half of the respondents (46% positive, 21% neutral). The impact of the programme on assessing their personal performance is rated positively by 39 per cent of respondents (33% neutral). We are pleased to read that at the stage the programme is in, Dutch academics are moderately positive about the changes for their own field and own performance.

Change process

We realise that with such a major culture change, questions and uncertainties also arise. In the midst of this change process, it is therefore pleasing that the majority of respondents indicate a positive perception of the changes resulting from the Recognition & Rewards programme. Moreover, we see that respondents view the evaluation of various scientific activities such as education and open science positively. Especially compared to the current situation in which the evaluation of open science, side activities and administrative matters receive insufficient marks. The results of ScienceGuide’s research fit with the approach of the Recognition & Rewards programme which aims to recognise and reward all core tasks of a scientist.

Difference between disciplines

In the survey ScienceGuide also looked at the results of respondents from different subject areas. What is prominent here is that beta scientists are above average satisfied with the current situation. They expect the Recognition & Rewards programme to have a negative impact on the assessment of research. In local committees at universities, there is a lot of focus on involving scientists with different scientific disciplines. The results of this survey show even more that it is important to ensure that the implementation of the programme suits the work in practice. As a programme team, we therefore continue to seek dialogue and strive for national alignment in terms of assessment criteria. For instance, the road map Room for everyone’s talent in practice, published earlier this year, states that in 2024 we will clarify which quality characteristics we will use in the various core domains. We thereby take into account differences between disciplines.

Concerns among postdocs

When zooming in on the stage of the career the respondent is in, differences can be seen between professors and PhDs and between PhDs and postdocs. ScienceGuide indicates in its article that PhDs are pleased with the Recognition & Rewards programme, but postdocs have concerns about it. We recognise these concerns, which were also discussed at the recent Recognition & Rewards Festival in Utrecht. We are currently discussing which role postdocs and PhDs can take within the programme, so that they are even more actively involved in the implementation of the programme.

Recognition & Rewards ‘Cultuurbarometer’

ScienceGuide’s research provides interesting insights. We are always interested in data and information that offers the programme insights and can therefore help it move forward. We therefore look forward with interest to the next updates with results from ScienceGuide.  From the Recognition & Rewards programme we also have a survey planned for later this year. The Recognition & Rewards Cultuurbarometer is an initiative from the joint programme Recognition & Rewards and will be circulated among staff at participating institutions.

Register now: Recognition & Rewards Festival, 13 april 2023

On April 13^th, 2023 from 9:30 to 17:00h we organise the third edition of the Recognition & Rewards Festival at the University of Humanistic Studies in Utrecht. It will be the first time the Recognition and Rewards programme is able to host an in-person festival, so we are very much looking forward to meeting you. Sign up now!

REGISTER

Curious about the programme? You will find the description of the plenary programme and workshops on the website.

PROGRAMME

We kindly ask you to register for the festival as soon as possible. We have limited space at the location and to ensure the quality of the workshops, we had to maximise the number of participants. 

Theme ‘Rethinking Assessment’ 

This year the Recognition & Rewards Festival has a special focus on ‘Rethinking Assessment’. In our broad movement on a different way of recognising and rewarding in academia, questions arise on ‘how’ to do so. How can we implement our ambitions? On which basis will we assess research, teaching, teamwork and so on? How do we ensure the quality of assessment? And how do assessment and development relate to each other? There is a big international movement regarding Reforming Research Assessment. But what are the main developments in the other domains of academia? 

Programme 

The festival kicks off at the Pieterkerk in Utrecht with a warm welcome by Joke van Saane, Rector magnificus of the University of Humanistic Studies, and our host of the day Eveline van Rijswijk. We then continue with a plenary table discussion on Rethinking Excellence with, among others, Onur Sahin, Marieke Adriaanse and Yarin Eski.  

Following the plenary opening, we move on to two rounds of workshops. The workshops provide insight into the day’s theme ‘Rethinking Assessment’. You can indicate your choice of workshops in the registration form. More information on the workshops can be found here. 

We will conclude the day with a plenary session covering the highlights of the day. This will be followed by closing drinks where it will be possible to continue the dialogue and meet other participants. 

Practicalities:
Location: University of Humanistic Studies, Utrecht 
(Note: Registration and the plenary sessions will take place in the Pieterskerk, Utrecht)
Registration: 09:30 – 10:00
Recognition & Rewards Festival: 09:30-17:00 

About the Recognition & Rewards Festival 

The Recognition & Rewards Festival is primarily a live event. However, the plenary sessions will be streamed online as well. Workshops can solely be attended in person. The language used at the Recognition & Rewards Festival will be English and admission will be free. 

The festival is organised by the Recognition & Rewards Programme, a partnership between the Royal Netherlands Academy of Arts and Sciences (KNAW), the Netherlands Federation of University Medical Centres (NFU), the Dutch Denominational Universities (NLU), the Netherlands Organisation for Scientific Research (NWO), the of Universities of the Netherlands (UNL) and the Netherlands Organisation for Health Research and Development (ZonMw).  

We are looking forward to the festival and to seeing you there on April 13^th! 

Gedurende de laatste weken zijn enkele opiniestukken verschenen die vragen stellen over het nieuwe Erkennen & Waarderen (Recognition & Rewards) en Open Science in de Nederlandse wetenschap. Op 13 juli publiceerde de TU/e Cursor interviews met hoogleraren die het nut van een nieuwe visie op Erkennen & Waarderen in twijfel trekken. Een dag later, op 14 juli, vergeleek de voorzitter van de raad van bestuur van NWO wetenschap met topsport, een gedachtegang die past bij de traditionele manier van Erkennen & Waarderen in de wetenschap. Op 19 juli werd een opiniestuk gepubliceerd door 171 universitair (hoofd)docenten en hoogleraren, deze keer op ScienceGuide.nl, waarin opnieuw de nieuwe visie op Erkennen & Waarderen in twijfel wordt getrokken. Deze artikelen, allen gepubliceerd binnen een week, laten zien dat, nu de nieuwe Erkennen & Waarderen meer tractie krijgt binnen universiteiten, gevestigde wetenschappers het nut en de effectiviteit ervan in twijfel trekken. Net als anderen voor ons willen wij hierop reageren.

Wij, de ondergetekenden, vertegenwoordigen hier niet de mening van alle Open Science Community leden, maar alleen hun eigen individuele visie. Een deel van de ondertekenaars is actief in diverse Open Science Communities op basis van de overtuiging, conform wijlen Jon Tennant’s slogan, dat “open science is just science done right”. Zij zien Open Science als betere wetenschap. Dit beschouwen wij niet als een conflict of interest, maar in het kader van transparantie (zie de Nederlandse Gedragscode Wetenschappelijke Integriteit) vermelden wij dit hier zodat de lezer zelf een mening kan vormen.

De kritiek rondom Erkennen & Waarderen baseert zich op een aantal punten:

• wetenschap komt voor alles;
• prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor;
• E&W brengt onze internationale toppositie in gevaar;
• open science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen.

Wetenschap komt voor alles
De huidige status quo is dat een “goede” wetenschapper persoonlijke offers brengt bij het bedrijven van de wetenschap. Deze status quo werkt ongezonde werktijden en werkdruk in de hand met als resultaat een hoge kans op mentale problemen als depressie en burn-out. Kwantiteit en kwaliteit lopen in deze discussie vaak door elkaar. Zo acht men het belangrijk dat onderzoekers zo vaak mogelijk publiceren, maar tegelijkertijd publiceren in prestigieuze journals, die liefst grote, uitgebreide, en dus tijdrovende onderzoeken publiceren. Deze selectie op de hoeveelheid output van een onderzoeker maakt de positie van wetenschappers die dit ongezonde klimaat niet aan kunnen of willen extra moeilijk, bijvoorbeeld die van onderzoekers met zorgtaken. Veel van hen, veelal vrouwen en mensen met chronische aandoeningen, besluiten dan ook uit de wetenschap te stappen, waardoor veel talenten verloren gaan. Er is dus selectie niet op kwaliteit van het onderzoek, maar op hoeveel de onderzoeker wil overwerken. Bovendien doet dit perspectief geen recht aan de rol van wetenschappers als docenten en voorlichters.

Prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor
De Journal Impact Factor en andere metrics die al jaren gebruikt worden ter beoordeling van academici komen vaak ter sprake bij wetenschappers die zich afzetten tegen de geclaimde onmeetbaarheid van het nieuwe Erkennen & Waarderen. Prestigieuze journals zoals Nature en Science staan bekend om hun hoge Journal Impact Factor. Nu nog steeds kan een Nature artikel een wetenschappelijke carrière een boost geven door de prestige die daarbij komt kijken. Tegelijkertijd zegt de Journal Impact Factor weinig tot niets over individuele artikelen, laat staan individuele onderzoekers. Niet voor niets zegt Nature dat de Journal lmpact Factor niet voor evaluatie van onderzoekers gebruikt kan worden. Het bewijs achter de Journal Impact Factor laat ook zien dat de impact factor niet gelijk staat aan excellente wetenschap en ook niet gelijk staat aan de hoeveelheid citaties of de kwaliteit van de gepubliceerde artikelen. Voor zover de Journal Impact Factor wetenschappelijke kwaliteit voorspelt, zijn publicaties in hogere Journal Impact Factor journals gemiddeld genomen van lagere kwaliteit (Prestigious Science Journals Struggle to Reach even Average Reliability en Stagnation and Scientific Incentives). Mocht je toch de kwaliteit van tijdschriften willen kwantificeren zoals de hoogleraren in hun opiniestuk aangeven, dan is het kijken naar ondersteunde standaarden zoals pre-registratie, open data, en standaarden voor verslaggeving een beter idee.

Een bijkomend probleem is dat deze prestigieuze journals vaak niet geïnteresseerd zijn in replicatiestudies. Deze desinteresse in een kernonderdeel van de wetenschappelijke methode verlaagt de gemiddelde kwaliteit van het gepubliceerde onderzoek, maar maakt niet dat wetenschappelijke doorbraken vooral in Nature, Science en Cell staan: die suggestie is niet met literatuur te onderbouwen.

Een derde probleem is dat de focus op de Journal Impact Factor en prestige van tijdschriften leidt tot exorbitante prijzen voor open access publiceren, waardoor veel onderzoekers die hechten aan het toepassen van Open Science principes (of daartoe verplicht zijn door hun subsidieverstrekker), en/of maar weinig financiering hebben, worden buitengesloten.

Erkennen & Waarderen brengt onze toppositie in de internationale wetenschap in gevaar
Een veel genoemd kritiekpunt is de notie dat Erkennen & Waarderen de toppositie van de Nederlandse wetenschap in internationale rankings in het geding brengt. De auteurs verwijzen naar het National Institute of Health (NIH) die zich volgens hen exclusief op excellentie richt, maar een Amerikaanse NIH grant aanvrager kan in zijn/haar profielschets alleen maar artikelen noemen uit eerdere NIH grants als die open access zijn. De Journal Impact Factor speelt bij het NIH helemaal geen rol meer. Daarnaast zorgt het Matthew effect voor extra willekeur die de huidige status quo van ongelijkheid in stand houdt. Juist door de nieuwe Erkennen & Waarderen toe te passen binnen de Nederlandse wetenschap zal onze ervaring diversifiëren, zowel op inhoud (wetenschap, onderwijs, public outreach) als in het onderzoek zelf.

De wereldwijde trend richting Open Science (zie ook de UNESCO verklaring) en de problematiek in de wereldwijde wetenschap zullen uiteindelijk leiden tot de adoptie van de Nederlandse Erkennen & Waarderen praktijken in andere landen. Tot op heden hebben meer dan 2000 organisaties en meer dan 17000 individuele onderzoekers de DORA-verklaring (Declaration on Research Assessment) ondertekend, waaronder belangrijke internationale spelers zoals de European Research Council en prominente tijdschriften als Nature. Hoe mooi zou het zijn als we over tien jaar kunnen zeggen dat de evenwichtige manier waarop we in de internationale wetenschap wetenschappers nu beoordelen, begonnen is in Nederland?

Open Science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen
Het inzicht dat wetenschap onvermijdelijk deels politiek is, en de keuze voor openheid of geslotenheid en evaluatie op basis van Journal Impact Factor of andere criteria niet is gebaseerd op onomstotelijk vastgestelde objectieve optima, is een van de fundamenten van Open Science en DORA. Sinds dit inzicht gemeengoed is geworden, is het bevreemdend om te lezen dat de status quo wordt gepresenteerd alsof die ooit is ingesteld omdat het de beste benadering is. Dit geldt temeer daar we allemaal de problematiek kennen met betrekking tot de reproduceerbaarheid van individuele resultaten. Dit is in de meeste gevallen niet per definitie terug te leiden naar fraude, hoewel dit in enkele gevallen wel zo is. De grootste oorzaak zit in het slecht beschrijven van methodieken en de onzichtbare vrijheidsgraden die wetenschappers hebben, waarbij ze (vaak onbewust) vervallen in praktijken zoals “p-hacking”. Open Science, een belangrijk speerpunt van het nieuwe Erkennen & Waarderen, zorgt voor meer transparantie in het opzetten, uitvoeren en rapporteren van onderzoek. En juist dit leidt tot beter onderzoek en dus de excellentie die de hoogleraren heel belangrijk achten.

Bovendien heeft Open Science ook als doel het samenwerken met andere onderzoekers, waardoor in een zeer vroeg stadium peer review plaatsvindt op basis van het eigenlijke onderzoek, en niet het gepolijste verhaal in het latere tijdschriftartikel. Open Science is veel meer dan Open Access, wanneer wetenschappelijke artikelen gratis en/of met een open licentie beschikbaar zijn voor onderzoekers en andere geïnteresseerden binnen en buiten de universiteit. Andere belangrijke aspecten van Open Science kunnen de transparantie en daardoor de kwaliteit van onderzoek verhogen door het beschikbaar stellen van de data (open data), analyse scripts (open code & software), en rapportage standaarden in wetenschappelijk publiceren waarop onderzoek is gebaseerd. De keuze voor Open Science is overigens al gemaakt door de universiteiten, VSNU en KNAW, en ligt besloten in het transparantiebeginsel van de Nederlandse Gedragscode Wetenschappelijke Integriteit. Ook als dit als een politieke keuze wordt gezien, is het er wel een die het kader vormt voor integer handelen voor Nederlandse wetenschappers.

Op weg naar een nieuwe standaard
Wij betogen dat het nieuwe Erkennen & Waarderen absoluut de juiste weg vooruit is. Dit wil niet zeggen dat we alles van de “oude manier” moeten loslaten. Wetenschap is gebaseerd op verandering en de vaardigheden en outputs die we vroeger waardeerden (degelijk onderzoek doen, artikelen publiceren) zijn nog steeds belangrijk, maar het zijn niet de enige waardevolle vaardigheden en outputs. Het zit in ons vak om onze inzichten aan te passen op basis van nieuwe inzichten. Deze nieuwe inzichten laten ons nu zien dat er verandering moet komen. Om alle onderzoekers een eerlijke kans te geven, ongeacht hun geslacht, huidskleur, achtergrond, afkomst en persoonlijke situatie. Excellentie kan niet worden gemeten met enkele arbitraire metrics, maar heeft een bredere kijk nodig.

Wij erkennen dat dit tijd kost, en waarderen de discussie die hier momenteel over wordt gevoerd. Er is ongetwijfeld nog veel winst te behalen door bijvoorbeeld het beter trainen van reviewers bij NWO om narratieve CV’s te beoordelen. Toch zijn wij van mening dat dit nieuwe systeem, hoewel nog niet perfect, de ruimte geeft aan alle aan wetenschap gerelateerde output, en een stap vooruit is en de wetenschap. Dit zal uiteindelijk ook de positie van Nederlandse wetenschappers in het internationale speelveld ten goede zal komen.

Op 3 augustus 2021 ondertekend door:
Als je dit bericht onderteunt, onderteken het dan hier: https://forms.gle/TodrxDe3NGoN2m6Z9

1. Dr. Rianne Fijten, Maastro Clinic & Maastricht University, Open Science Community Maastricht
2. Dr. Gjalt-Jorn Peters, Open University of the Netherlands, Open Science Community Heerlen
3. Dr. Egon Willighagen, Maastricht University, Open Science Community Maastricht
4. Dr. Anita Eerland, Utrecht University, Open Science Community Utrecht
5. Dr. Markus Konkol, ITC, University of Twente, Open Science Community Twente
6. Dr. Dennie Hebels, Maastricht University, Open Science Community Maastricht
7. Dr. Vera E. Heininga, University of Groningen, Open Science Community Groningen
8. Dr. Maurits Masselink, Radboudumc, Open Science Community Groningen
9. Prof. Dr. Raul Zurita-Milla, University of Twente, Open Science Community Twente
10. Dr. Jonas Sundberg, Technical University of Denmark
11. Mehmet Necip Tunc (PhD Candidate), Tilburg University
12. Didi Lamers (PhD), Radboud University Nijmegen
13. Hanne Oberman (MSc), Utrecht University, Open Science Community Utrecht
14. Dr. Maikel Waardenburg (UD), Utrecht University
15. Erik Roelofs, Maastricht University
16. Marieke Schreuder (PhD student), UMCG, Open Science Community Groningen
17. Dr. Jeanette Mostert, Radboudumc Nijmegen, Open Science Community Nijmegen
18. Dr. Alie de Boer, Maastricht University
19. Fionneke Bos (Postdoctoral researcher), University Medical Center Groningen
20. Naomi Nota (PhD), Radboud Universiteit, Max Planck Instituut voor Psycholinguïstiek
21. Leonard Wee (Docent / Assistant Professor), Maastricht University
22. Patricia Romero Verdugo, Radboud University; Radboud University Medical Centre
23. Stefan Frank (UHD), Radboud Universiteit
24. Joanna Rutkowska, Radboud University
25. Dr. Sander W. van der Laan, University Medical Center Utrecht, Open Science Community Utrecht
26. Dr. Eva Poort, Max Planck Instituut voor Psycholinguïstiek, Open Science Community Nijmegen
27. Prof. dr. Arjan Bos, Open Universiteit
28. Dr. Sander Bosch, VU Amsterdam, Open Science Community Amsterdam
29. Bram Zandbelt, Nederlandse Spoorwegen
30. Frederik D. Weber, National institute for Neuroscience, Amsterdam & Donders Institute/ Radboudumc, Nijmegen, Open Science Community Nijmegen
31. Kasper Gossink-Melenhorst (MSc), Responsible Research Assessment, NWO
32. M. Dingemanse (Associate Professor), Radboud University, Open Science Community Nijmegen
33. Dr. Christopher McCrum, Maastricht University
34. Dr. Dominique Maciejewski, Radboud University Nijmegen
35. Dr. Ir. Bram van Es, UMCU
36. Annika Tensi (PhD Candidate), Wageningen University & Research, Open Science Community Wageningen
37. Rowan Sommers, MSc., Max Planck Instituut voor Psycholinguïstiek
38. Lino von Klipstein, MSc., University Medical Center Groningen
39. Hajar Hasannejadasl, Maastricht University
40. Ruud Houben, Maastricht University
41. Dr. Karin Sanders, Utrecht University, Open Science Community Utrecht
42. Dr. Surya Gayet, Donders Institute & Utrecht University
43. Anshu Ankolekar (PhD Candidate), Maastro Clinic/Maastricht University
44. Dr. Loek Brinkman, UMC Utrecht, Open Science Community Utrecht
45. Prof. dr. Maarten Kleinhans, Universiteit Utrecht, Open Science Community Utrecht
46. Merle-Marie Pittelkow (MSc), University of Groningen, Open Science Community Groningen
47. Dr. Eiko Fried, Leiden University
48. Alexandra Emmendorfer (PhD Candidate), Maastricht University
49. Joyce Hoek (PhD student), University of Groningen
50. Dr. Thomas Nagler, Leiden University
51. Dr. Dagmar Eleveld, Radboudumc Nijmegen
52. Erik Bijleveld (PhD), Radboud University
53. Ine Noben (PhD Candidate), University of Groningen
54. Dr. Marieke van Vugt, University of Groningen, Open Science Community Groningen
55. Petros Kalendralis (PhD candidate), Maastricht University Medical Centre
56. Dr. Marcello Seri, University of Groningen
57. Michael D. Nunez (UD / Assistant Professor), University of Amsterdam
58. Dr. ir. Yann de Mey, Wageningen University & Research, Open Science Community Wageningen
59. Dirk van Gorp, Radboud University, Open Science Community Nijmegen
60. Dr. Julia Höhler, Wageningen University, Open Science Community Wageningen
61. Justin J.J. van der Hooft (Assistant Professor), Wageningen University
62. Dr. Eveline Verhulst, Wageningen University, Open Science Community Wageningen
63. Shanice Janssens (PhD candidate), Maastricht University
64. Tessel Galesloot (PhD), Radboud university medical center, Open Science Community Nijmegen
65. Prof.dr. Liesbeth Boersma, University Maastricht
66. Dr. Rink Hoekstra, Rijksuniversiteit Groningen, Open Science Community Groningen
67. Prof. Dr. Tim Hahn, University of Münster
68. Else Eising (PhD), Max Planck Institute for Psycholinguistics
69. Prof.dr.ir. Andre Dekker, Universiteit Maastricht
70. Dr. Anna E. van ‘t Veer, Leiden University, Open Science Community Leiden
71. Rebecca Calcott (Postdoc), Radboud University, Radboudumc
72. Peder M. Isager, Eindhoven University of Technology
73. Daan Ornée (MSc), Universitair Medisch Centrum Groningen, Groningen
74. Dr. Sanne Booij, UMCG
75. Ineke Wessel (Phd), University of Groningen
76. Dr. Zsuzsika Sjoerds, Leiden University, Open Science Community Leiden
77. Mariëlle Prevoo (Open Science officer), Maastricht University Library
78. Marie Stadel, University of Groningen, Open Science Community Groningen
79. Dr. Antonio Schettino (Coordinator Open Science), Erasmus Universiteit Rotterdam, Open Science Community Rotterdam
80. Lorenza Dall’Aglio (PhD Student), Erasmus MC, Rotterdam R.I.O.T. Science club
81. Laura Dijkhuizen (PhD candidate), Utrecht University, Open Science Community Utrecht
82. Dr. Maikel Waardenburg (Assistant professor), Utrecht University
83. Aiara Lobo Gomes (Postdoc), Maastricht University
84. Dr. Jan Rijnders, Radboud Universiteit
85. Carien Hilvering (Bibliometrics & Impact Specialist), Maastricht University Library
86. Prof. Bartel Van de Walle, UNU-MERIT and Maastricht University
87. Dr. Roman Briker, Maastricht University, Open Science Community Maastricht