Posted on

Why the new Recognition & Rewards actually boosts excellent science

During the last few weeks, several opinion pieces have appeared questioning the new Recognition & Rewards (R&R) and Open Science in Dutch academia. On July 13, the TU/e Cursor published interviews with professors who question the usefulness of a new vision on Recognition & Rewards. A day later, on July 14, the chairman of the board of NWO compared science to top sport, with an emphasis on sacrifice and top performance, a line of thinking that fits the traditional way of Recognition & Rewards in academia. On July 19, an opinion piece was published by 171 university (head) teachers and professors, this time on ScienceGuide.nl questioning again the new vision of Recognition & Rewards. These articles, all published within a week, show that as the new Recognition & Rewards gains traction within universities, established scholars are questioning its usefulness and effectiveness. Like others before us, we would like to respond.

We, the signatories, do not represent the views of all Open Science Community members, just the views of the individual signatories. However, some of the signatories are active in various Open Science Communities based on the belief, in keeping with the late Jon Tennant’s slogan, that “Open Science is just science done right.” They see Open Science as better science. We do not consider this a conflict of interest, but in the context of transparency (see the Dutch Code of Conduct on Scientific Integrity) we mention it here so that the reader can form their own opinion.

The criticism surrounding Recognition & Rewards is based on a number of points:

  • science comes before everything else;
  • performance should be measured against existing metrics such as the Journal Impact Factor;
  • Recognition & Rewards jeopardizes our top position in international science;
  • open science is political and therefore should not shape how we practice science.

Science comes before everything else
The current status quo is that a “good” scientist makes personal sacrifices when doing science. This status quo encourages unhealthy working hours and workloads resulting in a high risk of mental problems such as depression and burnout. Quantity and quality are often mixed up in this discussion. For example, it is considered important that researchers publish a lot, but at the same time publish large comprehensive studies in prestigious journals. But this selection on the amount of output of a researcher makes the position of scientists who cannot or do not want to cope with this unhealthy climate extra difficult, such as researchers with care responsibilities. Many of them, mostly women, therefore decide to leave academia, resulting in a loss of many talented scientists. Currently, selection is not based on the quality of the research, but on how much the researcher is willing to work overtime. Moreover, this perspective does not do justice to the role of scientists as teachers and educators.

Performance should be tested based on existing metrics such as the Journal Impact Factor
The Journal Impact Factor and other metrics that have been used for years to evaluate academics often come up among scientists who resent the claimed immeasurability of the new Recognition & Rewards. Prestigious journals like Nature and Science are known for their high Journal Impact Factor. Even now, a Nature article can boost a scientific career because of the prestige involved. At the same time, the Journal Impact Factor says little to nothing about individual articles (7), let alone individual researchers. Even Nature says that the Journal Impact Factor cannot be used for evaluation of researchers. The evidence behind the Journal Impact Factor also shows that the impact factor does not equal excellent science, nor does it equal the number of citations or the quality of published articles. As far as the Journal Impact Factor predicts scientific quality, publications in higher Journal Impact Factor journals are on average of lower quality (Prestigious Science Journals Struggle to Reach even Average Reliability and Stagnation and Scientific Incentives). If we do want to quantify journal quality, then we should investigate supported standards such as pre-registration and standards for reporting.

Additional problems are that these prestigious journals are often not interested in replication studies. The suggestion that scientific breakthroughs are primarily in Nature, Science and Cell cannot be supported with literature.

A third problem is that the focus on the Journal Impact Factor and prestige of journals leads to exorbitant prices for open access publishing, which excludes many researchers who value applying OS principles (or are required to do so by their grantor), and/or have limited funding.

Recognition & Rewards jeopardizes our top position in international science
A frequently mentioned criticism is the notion that Recognition & Rewards jeopardizes the top position of Dutch science in international rankings. The authors of the ScienceGuide article refer to the NIH which they say focuses exclusively on excellence. Yet, the NIH only allows researchers to cite articles from previous NIH grants if they are open access. Additionally, the Journal Impact Factor plays no role at all at the NIH. Furthermore, the Matthew effect creates additional randomness that maintains the current status quo inequity. Precisely by applying the new Recognition & Rewards within Dutch science, our experience will diversify, both in content (science, education, public outreach) and in the research itself.

The global trend towards Open Science (see also the UNESCO declaration) and the issues in global science will eventually lead to the adoption of the new Dutch Recognition & Rewards practices in other countries. To date, more than 2000 organizations and more than 17000 individual researchers have signed the DORA (Declaration on Research Assessment) declaration, including major international players such as the European Research Council and prominent journals such as Nature. How nice would it be if in 10 years we could say that the balanced way we now assess scientists in international science started in the Netherlands?

Open Science is political and therefore should not shape how we practice science
The understanding that science is inevitably partly political, and the choice of openness or closedness and evaluation based on Journal Impact Factor or other criteria is not based on conclusively established objective optima, is one of the foundations of Open Science and DORA. Since this understanding has become commonplace, it is alienating to read that the status quo is presented as if it was ever instituted because it is the best approach. This is all the more true since we are all familiar with the issues in science currently regarding reproducibility of science. In most cases, this is not necessarily traceable to fraud, although in a few cases it is. The biggest cause lies in the poor description of methodologies and the invisible degrees of freedom scientists have, falling (often unknowingly) into practices such as “p-hacking“. Open Science, a major spearhead of the new Recognition & Rewards, ensures more transparency in the design, execution and reporting of research. And it is precisely this that leads to better research and thus the excellence that those professors consider very important.

Moreover, Open Science also aims at collaborating with other researchers, which means that peer review takes place at a very early stage based on the actual research, and not the polished story in the later journal article. Open Science is much more than Open Access, when scientific articles are available for free and/or with an open license to researchers and other interested parties inside and outside the university. Other important aspects of Open Science can increase the transparency and therefore the quality of research by making available the data (open data), code (open software), and reporting standards on which research is based. The choice for Open Science has already been made by the universities, VSNU, and KNAW, and is embedded in the transparency principle in the Dutch Code of Conduct on Scientific Integrity. Even if this is seen as a political choice, it is one that forms the framework for acting with integrity for Dutch scientists.

Towards a new standard
We argue that the new Recognition & Rewards is absolutely the right way forward. This is not to say that we should abandon everything of the “old way”. Science is based on change and the activities and outputs we valued before (performing decent research, publishing articles) still matter, but are no longer the only important activities and outputs. It is in our profession to alter our views based on new insights. These new insights now show us that change must come. To give all researchers a fair chance, regardless of their gender, skin color, background, origin and personal situation. Excellence cannot be measured by a few arbitrary metrics, but needs a broader view.

We recognize that this takes time, and appreciate the discussion that is currently taking place about this. There is undoubtedly still much to be gained by, for example, better training of reviewers at NWO to assess narrative CVs. Nevertheless, we believe that this new system, although not yet perfect, gives space to all science-related output, and is a step forward and science. This will ultimately also benefit the position of Dutch scientists in the international playing field.

Signed by (updated on september 6th):
If you would like to support this message, please sign here: https://forms.gle/TodrxDe3NGoN2m6Z9

  1. Dr. Rianne Fijten, Maastro Clinic & Maastricht University, Open Science Community Maastricht
  2. Dr. Gjalt-Jorn Peters, Open University of the Netherlands, Open Science Community Heerlen
  3. Dr. Egon Willighagen, Maastricht University, Open Science Community Maastricht
  4. Dr. Anita Eerland, Utrecht University, Open Science Community Utrecht
  5. Dr. Markus Konkol, ITC, University of Twente, Open Science Community Twente
  6. Dr. Dennie Hebels, Maastricht University, Open Science Community Maastricht
  7. Dr. Vera E. Heininga, University of Groningen, Open Science Community Groningen
  8. Dr. Maurits Masselink, Radboudumc, Open Science Community Groningen
  9. Prof. Dr. Raul Zurita-Milla, University of Twente, Open Science Community Twente
  10. Dr. Jonas Sundberg, Technical University of Denmark
  11. Mehmet Necip Tunc (PhD Candidate), Tilburg University
  12. Didi Lamers (PhD), Radboud University Nijmegen
  13. Hanne Oberman (MSc), Utrecht University, Open Science Community Utrecht
  14. Dr. Maikel Waardenburg (UD), Utrecht University
  15. Erik Roelofs, Maastricht University
  16. Marieke Schreuder (PhD student), UMCG, Open Science Community Groningen
  17. Dr. Jeanette Mostert, Radboudumc Nijmegen, Open Science Community Nijmegen
  18. Dr. Alie de Boer, Maastricht University
  19. Fionneke Bos (Postdoctoral researcher), University Medical Center Groningen
  20. Naomi Nota (PhD), Radboud Universiteit, Max Planck Instituut voor Psycholinguïstiek
  21. Leonard Wee (Docent / Assistant Professor), Maastricht University
  22. Patricia Romero Verdugo, Radboud University; Radboud University Medical Centre
  23. Stefan Frank (UHD), Radboud Universiteit
  24. Joanna Rutkowska, Radboud University
  25. Dr. Sander W. van der Laan, University Medical Center Utrecht, Open Science Community Utrecht
  26. Dr. Eva Poort, Max Planck Instituut voor Psycholinguïstiek, Open Science Community Nijmegen
  27. Prof. dr. Arjan Bos, Open Universiteit
  28. Dr. Sander Bosch, VU Amsterdam, Open Science Community Amsterdam
  29. Bram Zandbelt, Nederlandse Spoorwegen
  30. Frederik D. Weber, National institute for Neuroscience, Amsterdam & Donders Institute/ Radboudumc, Nijmegen, Open Science Community Nijmegen
  31. Kasper Gossink-Melenhorst (MSc), Responsible Research Assessment, NWO
  32. M. Dingemanse (Associate Professor), Radboud University, Open Science Community Nijmegen
  33. Dr. Christopher McCrum, Maastricht University
  34. Dr. Dominique Maciejewski, Radboud University Nijmegen
  35. Dr. Ir. Bram van Es, UMCU
  36. Annika Tensi (PhD Candidate), Wageningen University & Research, Open Science Community Wageningen
  37. Rowan Sommers, MSc., Max Planck Instituut voor Psycholinguïstiek
  38. Lino von Klipstein, MSc., University Medical Center Groningen
  39. Hajar Hasannejadasl, Maastricht University
  40. Ruud Houben, Maastricht University
  41. Dr. Karin Sanders, Utrecht University, Open Science Community Utrecht
  42. Dr. Surya Gayet, Donders Institute & Utrecht University
  43. Anshu Ankolekar (PhD Candidate), Maastro Clinic/Maastricht University
  44. Dr. Loek Brinkman, UMC Utrecht, Open Science Community Utrecht
  45. Prof. dr. Maarten Kleinhans, Universiteit Utrecht, Open Science Community Utrecht
  46. Merle-Marie Pittelkow (MSc), University of Groningen, Open Science Community Groningen
  47. Dr. Eiko Fried, Leiden University
  48. Alexandra Emmendorfer (PhD Candidate), Maastricht University
  49. Joyce Hoek (PhD student), University of Groningen
  50. Dr. Thomas Nagler, Leiden University
  51. Dr. Dagmar Eleveld, Radboudumc Nijmegen
  52. Erik Bijleveld (PhD), Radboud University
  53. Ine Noben (PhD Candidate), University of Groningen
  54. Dr. Marieke van Vugt, University of Groningen, Open Science Community Groningen
  55. Petros Kalendralis (PhD candidate), Maastricht University Medical Centre
  56. Dr. Marcello Seri, University of Groningen
  57. Michael D. Nunez (UD / Assistant Professor), University of Amsterdam
  58. Dr. ir. Yann de Mey, Wageningen University & Research, Open Science Community Wageningen
  59. Dirk van Gorp, Radboud University, Open Science Community Nijmegen
  60. Dr. Julia Höhler, Wageningen University, Open Science Community Wageningen
  61. Justin J.J. van der Hooft (Assistant Professor), Wageningen University
  62. Dr. Eveline Verhulst, Wageningen University, Open Science Community Wageningen
  63. Shanice Janssens (PhD candidate), Maastricht University
  64. Tessel Galesloot (PhD), Radboud university medical center, Open Science Community Nijmegen
  65. Prof.dr. Liesbeth Boersma, University Maastricht
  66. Dr. Rink Hoekstra, Rijksuniversiteit Groningen, Open Science Community Groningen
  67. Prof. Dr. Tim Hahn, University of Münster
  68. Else Eising (PhD), Max Planck Institute for Psycholinguistics
  69. Prof.dr.ir. Andre Dekker, Universiteit Maastricht
  70. Dr. Anna E. van ‘t Veer, Leiden University, Open Science Community Leiden
  71. Rebecca Calcott (Postdoc), Radboud University, Radboudumc
  72. Peder M. Isager, Eindhoven University of Technology
  73. Daan Ornée (MSc), Universitair Medisch Centrum Groningen, Groningen
  74. Dr. Sanne Booij, UMCG
  75. Ineke Wessel (Phd), University of Groningen
  76. Dr. Zsuzsika Sjoerds, Leiden University, Open Science Community Leiden
  77. Mariëlle Prevoo (Open Science officer), Maastricht University Library
  78. Marie Stadel, University of Groningen, Open Science Community Groningen
  79. Dr. Antonio Schettino (Coordinator Open Science), Erasmus Universiteit Rotterdam, Open Science Community Rotterdam
  80. Lorenza Dall’Aglio (PhD Student), Erasmus MC, Rotterdam R.I.O.T. Science club
  81. Laura Dijkhuizen (PhD candidate), Utrecht University, Open Science Community Utrecht
  82. Dr. Maikel Waardenburg (Assistant professor), Utrecht University
  83. Aiara Lobo Gomes (Postdoc), Maastricht University
  84. Dr. Jan Rijnders, Radboud Universiteit
  85. Carien Hilvering (Bibliometrics & Impact Specialist), Maastricht University Library
  86. Prof. Bartel Van de Walle, UNU-MERIT and Maastricht University
  87. Dr. Roman Briker, Maastricht University, Open Science Community Maastricht
  88. Dr. Charlotte Vrijen, University of Groningen, Open Science Community Groningen
  89. Dr. Anne Looijmans (Postdoctoral researcher)
  90. Dr. Caspar van Lissa, Utrecht University, Open Science Community Utrecht
  91. Stefanos Prouskas (MSc.), Amsterdam UMC
  92. Dr. Marc Galland, University of Amsterdam, Open Science Community Amsterdam
  93. Hans de Jonge (Head of Open Science Policies), NWO
  94. Sophie Slaats, Max Planck Instituut voor Psycholinguïstiek
  95. Dr. Arkady Zgonnikov, TU Delft, Open Science Community Delft
  96. Prof. dr. Wim de Grip, Leiden University and Radboudumc
  97. Andres Felipe Ramos Padilla, University of Groningen, Open Science Community Groningen
  98. Rachelle Swart (PhD / Policy Officer Research), Maastro & Maastricht University
  99. Dr. Linda Rieswijk, Maastricht University Institute of Data Science
  100. Drs. Matthijs Sloep, Maastricht University, Maastricht open science community
  101. Salina Thijssen (MSc), Maastricht University Medical Centre
  102. Olmo van den Akker (MSc), Tilburg University, Open Science Community Tilburg
Posted on

Waarom het nieuwe Erkennen en Waarderen juist excellent onderzoek bevordert

Gedurende de laatste weken zijn enkele opiniestukken verschenen die vragen stellen over het nieuwe Erkennen & Waarderen (Recognition & Rewards) en Open Science in de Nederlandse wetenschap. Op 13 juli publiceerde de TU/e Cursor interviews met hoogleraren die het nut van een nieuwe visie op Erkennen & Waarderen in twijfel trekken. Een dag later, op 14 juli, vergeleek de voorzitter van de raad van bestuur van NWO wetenschap met topsport, een gedachtegang die past bij de traditionele manier van Erkennen & Waarderen in de wetenschap. Op 19 juli werd een opiniestuk gepubliceerd door 171 universitair (hoofd)docenten en hoogleraren, deze keer op ScienceGuide.nl, waarin opnieuw de nieuwe visie op Erkennen & Waarderen in twijfel wordt getrokken. Deze artikelen, allen gepubliceerd binnen een week, laten zien dat, nu de nieuwe Erkennen & Waarderen meer tractie krijgt binnen universiteiten, gevestigde wetenschappers het nut en de effectiviteit ervan in twijfel trekken. Net als anderen voor ons willen wij hierop reageren.

Wij, de ondergetekenden, vertegenwoordigen hier niet de mening van alle Open Science Community leden, maar alleen hun eigen individuele visie. Een deel van de ondertekenaars is actief in diverse Open Science Communities op basis van de overtuiging, conform wijlen Jon Tennant’s slogan, dat “open science is just science done right”. Zij zien Open Science als betere wetenschap. Dit beschouwen wij niet als een conflict of interest, maar in het kader van transparantie (zie de Nederlandse Gedragscode Wetenschappelijke Integriteit) vermelden wij dit hier zodat de lezer zelf een mening kan vormen.

De kritiek rondom Erkennen & Waarderen baseert zich op een aantal punten:

  • wetenschap komt voor alles;
  • prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor;
  • E&W brengt onze internationale toppositie in gevaar;
  • open science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen.

Wetenschap komt voor alles
De huidige status quo is dat een “goede” wetenschapper persoonlijke offers brengt bij het bedrijven van de wetenschap. Deze status quo werkt ongezonde werktijden en werkdruk in de hand met als resultaat een hoge kans op mentale problemen als depressie en burn-out. Kwantiteit en kwaliteit lopen in deze discussie vaak door elkaar. Zo acht men het belangrijk dat onderzoekers zo vaak mogelijk publiceren, maar tegelijkertijd publiceren in prestigieuze journals, die liefst grote, uitgebreide, en dus tijdrovende onderzoeken publiceren. Deze selectie op de hoeveelheid output van een onderzoeker maakt de positie van wetenschappers die dit ongezonde klimaat niet aan kunnen of willen extra moeilijk, bijvoorbeeld die van onderzoekers met zorgtaken. Veel van hen, veelal vrouwen en mensen met chronische aandoeningen, besluiten dan ook uit de wetenschap te stappen, waardoor veel talenten verloren gaan. Er is dus selectie niet op kwaliteit van het onderzoek, maar op hoeveel de onderzoeker wil overwerken. Bovendien doet dit perspectief geen recht aan de rol van wetenschappers als docenten en voorlichters.

Prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor
De Journal Impact Factor en andere metrics die al jaren gebruikt worden ter beoordeling van academici komen vaak ter sprake bij wetenschappers die zich afzetten tegen de geclaimde onmeetbaarheid van het nieuwe Erkennen & Waarderen. Prestigieuze journals zoals Nature en Science staan bekend om hun hoge Journal Impact Factor. Nu nog steeds kan een Nature artikel een wetenschappelijke carrière een boost geven door de prestige die daarbij komt kijken. Tegelijkertijd zegt de Journal Impact Factor weinig tot niets over individuele artikelen, laat staan individuele onderzoekers. Niet voor niets zegt Nature dat de Journal lmpact Factor niet voor evaluatie van onderzoekers gebruikt kan worden. Het bewijs achter de Journal Impact Factor laat ook zien dat de impact factor niet gelijk staat aan excellente wetenschap en ook niet gelijk staat aan de hoeveelheid citaties of de kwaliteit van de gepubliceerde artikelen. Voor zover de Journal Impact Factor wetenschappelijke kwaliteit voorspelt, zijn publicaties in hogere Journal Impact Factor journals gemiddeld genomen van lagere kwaliteit (Prestigious Science Journals Struggle to Reach even Average Reliability en Stagnation and Scientific Incentives). Mocht je toch de kwaliteit van tijdschriften willen kwantificeren zoals de hoogleraren in hun opiniestuk aangeven, dan is het kijken naar ondersteunde standaarden zoals pre-registratie, open data, en standaarden voor verslaggeving een beter idee.

Een bijkomend probleem is dat deze prestigieuze journals vaak niet geïnteresseerd zijn in replicatiestudies. Deze desinteresse in een kernonderdeel van de wetenschappelijke methode verlaagt de gemiddelde kwaliteit van het gepubliceerde onderzoek, maar maakt niet dat wetenschappelijke doorbraken vooral in Nature, Science en Cell staan: die suggestie is niet met literatuur te onderbouwen.

Een derde probleem is dat de focus op de Journal Impact Factor en prestige van tijdschriften leidt tot exorbitante prijzen voor open access publiceren, waardoor veel onderzoekers die hechten aan het toepassen van Open Science principes (of daartoe verplicht zijn door hun subsidieverstrekker), en/of maar weinig financiering hebben, worden buitengesloten.

Erkennen & Waarderen brengt onze toppositie in de internationale wetenschap in gevaar
Een veel genoemd kritiekpunt is de notie dat Erkennen & Waarderen de toppositie van de Nederlandse wetenschap in internationale rankings in het geding brengt. De auteurs verwijzen naar het National Institute of Health (NIH) die zich volgens hen exclusief op excellentie richt, maar een Amerikaanse NIH grant aanvrager kan in zijn/haar profielschets alleen maar artikelen noemen uit eerdere NIH grants als die open access zijn. De Journal Impact Factor speelt bij het NIH helemaal geen rol meer. Daarnaast zorgt het Matthew effect voor extra willekeur die de huidige status quo van ongelijkheid in stand houdt. Juist door de nieuwe Erkennen & Waarderen toe te passen binnen de Nederlandse wetenschap zal onze ervaring diversifiëren, zowel op inhoud (wetenschap, onderwijs, public outreach) als in het onderzoek zelf.

De wereldwijde trend richting Open Science (zie ook de UNESCO verklaring) en de problematiek in de wereldwijde wetenschap zullen uiteindelijk leiden tot de adoptie van de Nederlandse Erkennen & Waarderen praktijken in andere landen. Tot op heden hebben meer dan 2000 organisaties en meer dan 17000 individuele onderzoekers de DORA-verklaring (Declaration on Research Assessment) ondertekend, waaronder belangrijke internationale spelers zoals de European Research Council en prominente tijdschriften als Nature. Hoe mooi zou het zijn als we over tien jaar kunnen zeggen dat de evenwichtige manier waarop we in de internationale wetenschap wetenschappers nu beoordelen, begonnen is in Nederland?

Open Science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen
Het inzicht dat wetenschap onvermijdelijk deels politiek is, en de keuze voor openheid of geslotenheid en evaluatie op basis van Journal Impact Factor of andere criteria niet is gebaseerd op onomstotelijk vastgestelde objectieve optima, is een van de fundamenten van Open Science en DORA. Sinds dit inzicht gemeengoed is geworden, is het bevreemdend om te lezen dat de status quo wordt gepresenteerd alsof die ooit is ingesteld omdat het de beste benadering is. Dit geldt temeer daar we allemaal de problematiek kennen met betrekking tot de reproduceerbaarheid van individuele resultaten. Dit is in de meeste gevallen niet per definitie terug te leiden naar fraude, hoewel dit in enkele gevallen wel zo is. De grootste oorzaak zit in het slecht beschrijven van methodieken en de onzichtbare vrijheidsgraden die wetenschappers hebben, waarbij ze (vaak onbewust) vervallen in praktijken zoals “p-hacking”. Open Science, een belangrijk speerpunt van het nieuwe Erkennen & Waarderen, zorgt voor meer transparantie in het opzetten, uitvoeren en rapporteren van onderzoek. En juist dit leidt tot beter onderzoek en dus de excellentie die de hoogleraren heel belangrijk achten.

Bovendien heeft Open Science ook als doel het samenwerken met andere onderzoekers, waardoor in een zeer vroeg stadium peer review plaatsvindt op basis van het eigenlijke onderzoek, en niet het gepolijste verhaal in het latere tijdschriftartikel. Open Science is veel meer dan Open Access, wanneer wetenschappelijke artikelen gratis en/of met een open licentie beschikbaar zijn voor onderzoekers en andere geïnteresseerden binnen en buiten de universiteit. Andere belangrijke aspecten van Open Science kunnen de transparantie en daardoor de kwaliteit van onderzoek verhogen door het beschikbaar stellen van de data (open data), analyse scripts (open code & software), en rapportage standaarden in wetenschappelijk publiceren waarop onderzoek is gebaseerd. De keuze voor Open Science is overigens al gemaakt door de universiteiten, VSNU en KNAW, en ligt besloten in het transparantiebeginsel van de Nederlandse Gedragscode Wetenschappelijke Integriteit. Ook als dit als een politieke keuze wordt gezien, is het er wel een die het kader vormt voor integer handelen voor Nederlandse wetenschappers.

Op weg naar een nieuwe standaard
Wij betogen dat het nieuwe Erkennen & Waarderen absoluut de juiste weg vooruit is. Dit wil niet zeggen dat we alles van de “oude manier” moeten loslaten. Wetenschap is gebaseerd op verandering en de vaardigheden en outputs die we vroeger waardeerden (degelijk onderzoek doen, artikelen publiceren) zijn nog steeds belangrijk, maar het zijn niet de enige waardevolle vaardigheden en outputs. Het zit in ons vak om onze inzichten aan te passen op basis van nieuwe inzichten. Deze nieuwe inzichten laten ons nu zien dat er verandering moet komen. Om alle onderzoekers een eerlijke kans te geven, ongeacht hun geslacht, huidskleur, achtergrond, afkomst en persoonlijke situatie. Excellentie kan niet worden gemeten met enkele arbitraire metrics, maar heeft een bredere kijk nodig.

Wij erkennen dat dit tijd kost, en waarderen de discussie die hier momenteel over wordt gevoerd. Er is ongetwijfeld nog veel winst te behalen door bijvoorbeeld het beter trainen van reviewers bij NWO om narratieve CV’s te beoordelen. Toch zijn wij van mening dat dit nieuwe systeem, hoewel nog niet perfect, de ruimte geeft aan alle aan wetenschap gerelateerde output, en een stap vooruit is en de wetenschap. Dit zal uiteindelijk ook de positie van Nederlandse wetenschappers in het internationale speelveld ten goede zal komen.

Op 3 augustus 2021 ondertekend door:
Als je dit bericht onderteunt, onderteken het dan hier: https://forms.gle/TodrxDe3NGoN2m6Z9

  1. Dr. Rianne Fijten, Maastro Clinic & Maastricht University, Open Science Community Maastricht
  2. Dr. Gjalt-Jorn Peters, Open University of the Netherlands, Open Science Community Heerlen
  3. Dr. Egon Willighagen, Maastricht University, Open Science Community Maastricht
  4. Dr. Anita Eerland, Utrecht University, Open Science Community Utrecht
  5. Dr. Markus Konkol, ITC, University of Twente, Open Science Community Twente
  6. Dr. Dennie Hebels, Maastricht University, Open Science Community Maastricht
  7. Dr. Vera E. Heininga, University of Groningen, Open Science Community Groningen
  8. Dr. Maurits Masselink, Radboudumc, Open Science Community Groningen
  9. Prof. Dr. Raul Zurita-Milla, University of Twente, Open Science Community Twente
  10. Dr. Jonas Sundberg, Technical University of Denmark
  11. Mehmet Necip Tunc (PhD Candidate), Tilburg University
  12. Didi Lamers (PhD), Radboud University Nijmegen
  13. Hanne Oberman (MSc), Utrecht University, Open Science Community Utrecht
  14. Dr. Maikel Waardenburg (UD), Utrecht University
  15. Erik Roelofs, Maastricht University
  16. Marieke Schreuder (PhD student), UMCG, Open Science Community Groningen
  17. Dr. Jeanette Mostert, Radboudumc Nijmegen, Open Science Community Nijmegen
  18. Dr. Alie de Boer, Maastricht University
  19. Fionneke Bos (Postdoctoral researcher), University Medical Center Groningen
  20. Naomi Nota (PhD), Radboud Universiteit, Max Planck Instituut voor Psycholinguïstiek
  21. Leonard Wee (Docent / Assistant Professor), Maastricht University
  22. Patricia Romero Verdugo, Radboud University; Radboud University Medical Centre
  23. Stefan Frank (UHD), Radboud Universiteit
  24. Joanna Rutkowska, Radboud University
  25. Dr. Sander W. van der Laan, University Medical Center Utrecht, Open Science Community Utrecht
  26. Dr. Eva Poort, Max Planck Instituut voor Psycholinguïstiek, Open Science Community Nijmegen
  27. Prof. dr. Arjan Bos, Open Universiteit
  28. Dr. Sander Bosch, VU Amsterdam, Open Science Community Amsterdam
  29. Bram Zandbelt, Nederlandse Spoorwegen
  30. Frederik D. Weber, National institute for Neuroscience, Amsterdam & Donders Institute/ Radboudumc, Nijmegen, Open Science Community Nijmegen
  31. Kasper Gossink-Melenhorst (MSc), Responsible Research Assessment, NWO
  32. M. Dingemanse (Associate Professor), Radboud University, Open Science Community Nijmegen
  33. Dr. Christopher McCrum, Maastricht University
  34. Dr. Dominique Maciejewski, Radboud University Nijmegen
  35. Dr. Ir. Bram van Es, UMCU
  36. Annika Tensi (PhD Candidate), Wageningen University & Research, Open Science Community Wageningen
  37. Rowan Sommers, MSc., Max Planck Instituut voor Psycholinguïstiek
  38. Lino von Klipstein, MSc., University Medical Center Groningen
  39. Hajar Hasannejadasl, Maastricht University
  40. Ruud Houben, Maastricht University
  41. Dr. Karin Sanders, Utrecht University, Open Science Community Utrecht
  42. Dr. Surya Gayet, Donders Institute & Utrecht University
  43. Anshu Ankolekar (PhD Candidate), Maastro Clinic/Maastricht University
  44. Dr. Loek Brinkman, UMC Utrecht, Open Science Community Utrecht
  45. Prof. dr. Maarten Kleinhans, Universiteit Utrecht, Open Science Community Utrecht
  46. Merle-Marie Pittelkow (MSc), University of Groningen, Open Science Community Groningen
  47. Dr. Eiko Fried, Leiden University
  48. Alexandra Emmendorfer (PhD Candidate), Maastricht University
  49. Joyce Hoek (PhD student), University of Groningen
  50. Dr. Thomas Nagler, Leiden University
  51. Dr. Dagmar Eleveld, Radboudumc Nijmegen
  52. Erik Bijleveld (PhD), Radboud University
  53. Ine Noben (PhD Candidate), University of Groningen
  54. Dr. Marieke van Vugt, University of Groningen, Open Science Community Groningen
  55. Petros Kalendralis (PhD candidate), Maastricht University Medical Centre
  56. Dr. Marcello Seri, University of Groningen
  57. Michael D. Nunez (UD / Assistant Professor), University of Amsterdam
  58. Dr. ir. Yann de Mey, Wageningen University & Research, Open Science Community Wageningen
  59. Dirk van Gorp, Radboud University, Open Science Community Nijmegen
  60. Dr. Julia Höhler, Wageningen University, Open Science Community Wageningen
  61. Justin J.J. van der Hooft (Assistant Professor), Wageningen University
  62. Dr. Eveline Verhulst, Wageningen University, Open Science Community Wageningen
  63. Shanice Janssens (PhD candidate), Maastricht University
  64. Tessel Galesloot (PhD), Radboud university medical center, Open Science Community Nijmegen
  65. Prof.dr. Liesbeth Boersma, University Maastricht
  66. Dr. Rink Hoekstra, Rijksuniversiteit Groningen, Open Science Community Groningen
  67. Prof. Dr. Tim Hahn, University of Münster
  68. Else Eising (PhD), Max Planck Institute for Psycholinguistics
  69. Prof.dr.ir. Andre Dekker, Universiteit Maastricht
  70. Dr. Anna E. van ‘t Veer, Leiden University, Open Science Community Leiden
  71. Rebecca Calcott (Postdoc), Radboud University, Radboudumc
  72. Peder M. Isager, Eindhoven University of Technology
  73. Daan Ornée (MSc), Universitair Medisch Centrum Groningen, Groningen
  74. Dr. Sanne Booij, UMCG
  75. Ineke Wessel (Phd), University of Groningen
  76. Dr. Zsuzsika Sjoerds, Leiden University, Open Science Community Leiden
  77. Mariëlle Prevoo (Open Science officer), Maastricht University Library
  78. Marie Stadel, University of Groningen, Open Science Community Groningen
  79. Dr. Antonio Schettino (Coordinator Open Science), Erasmus Universiteit Rotterdam, Open Science Community Rotterdam
  80. Lorenza Dall’Aglio (PhD Student), Erasmus MC, Rotterdam R.I.O.T. Science club
  81. Laura Dijkhuizen (PhD candidate), Utrecht University, Open Science Community Utrecht
  82. Dr. Maikel Waardenburg (Assistant professor), Utrecht University
  83. Aiara Lobo Gomes (Postdoc), Maastricht University
  84. Dr. Jan Rijnders, Radboud Universiteit
  85. Carien Hilvering (Bibliometrics & Impact Specialist), Maastricht University Library
  86. Prof. Bartel Van de Walle, UNU-MERIT and Maastricht University
  87. Dr. Roman Briker, Maastricht University, Open Science Community Maastricht
Posted on

Reactie Erkennen en Waarderen op opiniestuk in ScienceGuide

Op 19 juli 2021 verscheen een opiniestuk op de website van ScienceGuide als reactie op een artikel dat gepubliceerd is op 25 juni 2021 op de website van Nature over het loslaten van de impactfactor door de Universiteit Utrecht. In het opiniestuk worden zorgen geuit over en vraagtekens gezet bij het programma Erkennen en Waarderen.

We waarderen het dat wetenschappers hun zorgen uiten over Erkennen en Waarderen. We reageren dan ook graag op de gestelde vragen. Graag gaan we het gesprek aan om met elkaar te werken aan een nieuwe balans in het erkennen en het waarderen van de talenten van wetenschappers.

Erkennen en Waarderen
Veel wetenschappers ervaren een te eenzijdige nadruk op onderzoeksprestaties, waardoor de andere kerndomeinen, zoals onderwijs, impact, leiderschap en (voor umc’s) patiëntenzorg, regelmatig onvoldoende gewaardeerd worden. Daardoor komen de ambities
in deze domeinen onder druk te staan.

De impliciete en te eenzijdige nadruk op traditionele, meetbare outputindicatoren (zoals aantal publicaties, h-index, en journal impact factor) is medeverantwoordelijk voor de hoge werkdruk, kan de balans tussen wetenschapsgebieden verstoren, en is niet consistent met de beginselen van de San Francisco Declaration on Research Assessment (DORA) die de KNAW, NFU, NWO, VSNU en ZonMw al eerder ondertekend hebben.

Om ook in de toekomst onze kracht te behouden, is modernisering van het systeem van ‘erkennen en waarderen’ hard nodig. Deze ambitie vraagt om een wezenlijke cultuurverandering van samenwerking en wetenschapsbeoefening. Met meer diversiteit in de loopbanen van wetenschappers en met meer focus op wetenschappelijk onderwijs, onderzoek, impact, patiëntenzorg en leiderschap.

In het Erkennen en Waarderen programma staan we voor een eerlijke beoordeling van wetenschappers op basis van hun eigen profiel. Dit geeft ruimte aan diversificatie en dynamisering van loopbaanpaden. Wetenschappers die uitblinken in het geven en ontwikkelen van onderwijs, impact, leiderschap en patiëntenzorg krijgen de waardering die zij verdienen. Dat betekent niet dat er geen ruimte meer zal zijn voor wetenschappers die uitblinken in het doen van onderzoek. Deze wetenschappers en de teams waarin ze werken koesteren we.

Beoordelen van wetenschappelijke kwaliteit
De auteurs van het opiniestuk stellen dat het Erkennen en Waarderen programma een verkeerd beeld schetst van de rol van impactfactor. We willen graag voorop stellen dat wetenschappers vrij zijn in de wijze waarop zij over hun onderzoek communiceren. Dat kan in een gerenommeerd tijdschrift. Dat kan bijvoorbeeld ook door een dataset herbruikbaar en toegankelijk te maken.

Veel wetenschappers ervaren nu onvoldoende balans in de waardering van hun talent. Bibliometrische indicatoren vertellen een verhaal, maar niet het hele verhaal. Indicatoren die kunnen worden gemeten of gerangschikt zijn verleidelijk omdat ze minder subjectief aanvoelen, maar dit kan een vals gevoel van precisie voeden. Een bibliometrische indicator als de Journal Impact Factor is bijvoorbeeld niet vergelijkbaar over de grenzen van wetenschappelijke disciplines heen en doet daardoor geen recht aan de diversiteit binnen de wetenschapsdomeinen en wetenschapsbeoefening. Overmatige aandacht hiervoor kan leiden tot een verstoring van de diversiteit en de maatschappelijke impact van onderzoek en staat het uitvoeren van open science in de weg. Het is daarom belangrijk het waarderingssysteem voor onderzoek te herijken en te verbreden. En we staan hierin in Nederland niet alleen. Op 14 juli heeft de European Research Council bekend gemaakt DORA te ondertekenen. De ERC vindt dit net als NWO en ZonMw in overeenstemming met het naleven van de hoogste normen voor onderzoeksbeoordeling. NWO en ZonMw willen graag als partner in het wetenschapssysteem een bijdrage leveren in dialoog met alle betrokkenen. Dat betekent dat er ruimte is voor aanpassingen en we elke stap evalueren.

Het is een misvatting dat we met het nieuwe Erkennen en Waarderen volledig afscheid willen nemen van bibliometrische indicatoren. Veel beoordelingen van wetenschappers zullen in de toekomst gebaseerd zijn op een combinatie van narratieven over prestaties uit het verleden en toekomstvisies, ondersteund door ‘demonstrable products’ en goede bibliometrische indicatoren die zijn afgestemd op het profiel en de discipline van het individu.

Daarnaast zien wij Open Science niet als een politiek onderwerp. Open Science gaat over het verbeteren van de kwaliteit van wetenschappelijk onderzoek, over een eerlijk en transparant wetenschapssysteem. En daarmee is het een onderwerp van onderzoekers zelf. Open Access, herbruikbaar maken van data, citizen science en Erkennen en Waarderen zijn uitwerkingen van deze ontwikkelingen.

Internationaal
In het opiniestuk waarschuwen de ondertekenaars dat het nieuwe Erkennen en Waarderen grote gevolgen zal hebben voor de internationale erkenning en waardering van Nederlandse wetenschappers. De wetenschappers, bestuurders en projectleiders die een rol hebben binnen het landelijke programma spreken hier vaak over. We beseffen dat de cultuurverandering waar we naar streven onzekerheid meebrengt. Ook voor jonge wetenschappers. Daarom zijn wij blij dat jonge wetenschappers betrokken zijn in het programma. Tegelijkertijd zien wij een internationale beweging op gang komen. Niet alleen binnen Nederland, juist ook op Europees niveau worden stappen gezet om de huidige manier van beoordelen te veranderen. Het uitgangspunt in al die bewegingen is om de talenten van een wetenschapper breder te beoordelen en hierbij te kijken naar de kwaliteit en inhoud van het wetenschappelijk werk zelf. Zo heeft de European University Association het hervormen van academische loopbaanpaden opgenomen in haar visie voor de komende jaren. Dit is geheel in lijn met de ambities van het programma Erkennen en Waarderen, zoals te lezen is in de position paper Ruimte voor ieders talent. Ook op landelijk niveau zien wij veel beweging. Bijvoorbeeld in landen zoals Ierland, het Verenigd Koninkrijk, Australië en Noorwegen wordt het gesprek gevoerd over een andere manier van erkennen en waarderen.

Dialoog
Modernisering van het systeem van erkennen en waarderen vergt een cultuurverandering. Het vraagt om nationale en internationale afstemming tussen alle betrokken partijen. Het vraagt bovenal dat wetenschappers zelf deze modernisering vormgeven, invullen en omarmen. Het zijn immers de wetenschappers die de loopbanen van collega wetenschappers beoordelen. Zij vormen samen het stelsel van benoemingsadviescommissies, beoordelingscommissies, visitatiecommissies etc.
Dit betekent dat we heel graag met elkaar in dialoog blijven om onzekerheden, richtingen en perspectieven te delen en te bespreken. Cultuurveranderingen gaan niet over één nacht ijs en we merken veel enthousiasme uit binnen- en buitenland, juist vanuit ‘early career’ wetenschappers. Samen geven we de verandering vorm en we nodigen iedereen daarom van harte uit om zijn/haar mening te delen en met elkaar in gesprek te gaan.

Namens het programma Erkennen en Waarderen,
Rianne Letschert en Jeroen Geurts, voorzitters regiegroep Erkennen en Waarderen

Bij vragen kunt u contact opnemen met Rob Speekenbrink, rob@noscura.nl

Update:

Op 21 juli is er een bijdrage gedeeld op ScienceGuide vanuit het perspectief van de jonge wetenschapper. Lees hier hun bijdrage: https://www.scienceguide.nl/2021/07/we-moeten-af-van-telzucht-in-de-wetenschap/

Posted on

Response to the opinion piece ScienceGuide

On 19 July 2021, ScienceGuide featured an opinion piece in response to an article published on the website of Nature on 25 June 2021, pertaining to Utrecht University’s abandonment of the impact factor. The opinion piece expresses concern about and calls into question the Recognition & Rewards (R&R) programme.

As we appreciate the fact that academics are expressing their concerns with regard to Recognition & Rewards, we are keen to respond to the questions raised and to engage in dialogue in order to work together on striking a new balance when it comes to recognising and rewarding academics’ talents.

Recognition & Rewards
A great many academics perceive there to be an excessively one-sided emphasis on research achievements, often to the detriment of the level of appreciation shown for other key areas, such as education, impact, leadership and (for university medical centres) patient care. This puts the ambitions
in these areas under strain.

The implicit and overly one-sided emphasis on traditional, quantifiable output indicators (such as number of publications, h-index and journal impact factor) is one of the causes of a heavy workload. It can also upset the balance between academic fields and is inconsistent with the San Francisco Declaration on Research Assessment (DORA) principles, which the Royal Netherlands Academy of Arts and Sciences (KNAW), the Dutch Federation of University Medical Centres (NFU), the Netherlands Organisation for Scientific Research (NWO), the Association of Universities in the Netherlands (VSNU) and the Netherlands Organisation for Health Research and Development (ZonMw) previously signed up to.

There is a pressing need to modernise the recognition and rewards system to ensure we maintain our strength in the future. This ambition will require a substantial culture change in terms of cooperation and academic practice, as well as greater diversity in career paths for academics and an increased focus on academic education, research, impact, patient care and leadership.

The Recognition & Rewards programme supports a fair appraisal of academics based on their individual profiles. This creates space for a greater diversity and dynamism of career paths. Academics who excel at developing and delivering education, impact, leadership and patient care will be given the recognition they deserve. This should not be taken to imply diminished scope for academics who excel at research. We very much appreciate these academics and the teams in which they are working.

Assessing academic quality
The authors of the opinion piece claim that the Recognition & Rewards programme paints a skewed picture of the role of the impact factor. We would like to start by saying that academics are free to choose how to communicate about their research. This could be in a reputable journal, for instance, or they might opt to make a data set accessible and reusable.

Many academics currently feel that there is a lack of balance in the appreciation of their talents. Bibliometric indicators tell a story, but not the whole story. There is a temptation to draw on indicators that are quantifiable or classifiable, as these are perceived to be less subjective, but there is a potential here to foster a false sense of precision. Bibliometric indicators such as the Journal Impact Factor, for instance, are not equivalent across academic disciplines, and so do not do justice to the diversity that exists within academic domains and academic practice Relying too strongly on such indicators can disrupt diversity and the social impact of research, as well as impede the practice of open science. It is important, therefore, to recalibrate and broaden the assessment system for research. In this regard, the Netherlands is not alone. On 14 July, the European Research Council (ERC) announced that it was signing up to DORA. Just like NWO and ZonMw, the ERC takes this to be compatible with compliance with the highest standards in the appraisal of research. As partners in the academic system, NWO and ZonMw are keen to contribute to the discussion with all those involved. What this means is that there is scope for adaptation and we will evaluate each and every step.

It would be a mistake to assume that the new Recognition & Rewards programme will be abandoning bibliometric indicators completely. In the future, many assessments of academics will be based on a combination of narratives on past performance and future visions, bolstered by demonstrable products and sound bibliometric indicators fine-tuned to the individual’s profile and discipline.

Moreover, we do not regard open science as a political topic. Open science is about improving the quality of academic research as well as about an honest, transparent academic system. This makes it a topic for researchers themselves. Open access, making data reusable, citizen science and recognition and rewards are effects of these developments.

International
In the opinion piece, the signatories caution that the new Recognition & Rewards programme will have major repercussions for the international recognition of and rewards for Dutch academics. This point is one that is frequently raised by those academics, directors and project managers playing a role in the nationwide programme. We realise that the culture change towards which we are striving will entail a degree of uncertainty, including for young academics. That is why we are glad that young academics are involved in the programme. At the same time, we see an international movement getting under way. Steps are being taken to change the current assessment method not only in the Netherlands, but also at the European level. The fundamental principle in all these movements is to assess academics’ talents more broadly, looking at the quality and content of the academic work itself. For example, the European University Association has incorporated the reform of academic career paths into its vision for the next few years. This is entirely in keeping with the ambitions of the Recognition & Rewards programme, as made manifest by the position paper ‘Room for Everyone’s Talent’. We are seeing a great deal of movement at the national level as well. For example, talks are being held in countries such as the Republic of Ireland, the UK, Australia and Norway on introducing a different recognition and rewards method.

Dialogue
Modernising the system of recognition and rewards requires a culture change as well as national and international coordination between all parties involved Moreover, it requires the academics themselves to give shape to this modernisation and to embrace it. After all, it is academics who assess the career paths of fellow academics. Together, they form the system of appointment advisory committees, selection committees, assessment committees etc.

It follows that we are eager to keep communicating with one another to share and discuss uncertainties, directions and perspectives. Culture changes do not happen overnight, but we are noticing a great deal of enthusiasm from within the Netherlands and abroad, particularly from academics who are in the early stages of their career. We must shape the change collectively. That is why we are encouraging everyone to share their opinions and engage in dialogue with one another.

On behalf of the Recognition & Rewards programme,
Rianne Letschert and Jeroen Geurts, chairs of the Recognition & Rewards steering group

Contact person: Rob Speekenbrink, rob@noscura.nl

Update: 

On July 21st an article was published on ScienceGuide from the perspective of young academics. Read there contribution (in Dutch) here: https://www.scienceguide.nl/2021/07/we-moeten-af-van-telzucht-in-de-wetenschap/