by Gedurende de laatste weken zijn enkele opiniestukken verschenen die vragen stellen over het nieuwe Erkennen & Waarderen (Recognition & Rewards) en Open Science in de Nederlandse wetenschap. Op 13 juli publiceerde de TU/e Cursor interviews met hoogleraren die het nut van een nieuwe visie op Erkennen & Waarderen in twijfel trekken. Een dag later, op 14 juli, vergeleek de voorzitter van de raad van bestuur van NWO wetenschap met topsport, een gedachtegang die past bij de traditionele manier van Erkennen & Waarderen in de wetenschap. Op 19 juli werd een opiniestuk gepubliceerd door 171 universitair (hoofd)docenten en hoogleraren, deze keer op ScienceGuide.nl, waarin opnieuw de nieuwe visie op Erkennen & Waarderen in twijfel wordt getrokken. Deze artikelen, allen gepubliceerd binnen een week, laten zien dat, nu de nieuwe Erkennen & Waarderen meer tractie krijgt binnen universiteiten, gevestigde wetenschappers het nut en de effectiviteit ervan in twijfel trekken. Net als anderen voor ons willen wij hierop reageren.
Wij, de ondergetekenden, vertegenwoordigen hier niet de mening van alle Open Science Community leden, maar alleen hun eigen individuele visie. Een deel van de ondertekenaars is actief in diverse Open Science Communities op basis van de overtuiging, conform wijlen Jon Tennant’s slogan, dat “open science is just science done right”. Zij zien Open Science als betere wetenschap. Dit beschouwen wij niet als een conflict of interest, maar in het kader van transparantie (zie de Nederlandse Gedragscode Wetenschappelijke Integriteit) vermelden wij dit hier zodat de lezer zelf een mening kan vormen.
De kritiek rondom Erkennen & Waarderen baseert zich op een aantal punten:
- wetenschap komt voor alles;
- prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor;
- E&W brengt onze internationale toppositie in gevaar;
- open science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen.
Wetenschap komt voor alles
De huidige status quo is dat een “goede” wetenschapper persoonlijke offers brengt bij het bedrijven van de wetenschap. Deze status quo werkt ongezonde werktijden en werkdruk in de hand met als resultaat een hoge kans op mentale problemen als depressie en burn-out. Kwantiteit en kwaliteit lopen in deze discussie vaak door elkaar. Zo acht men het belangrijk dat onderzoekers zo vaak mogelijk publiceren, maar tegelijkertijd publiceren in prestigieuze journals, die liefst grote, uitgebreide, en dus tijdrovende onderzoeken publiceren. Deze selectie op de hoeveelheid output van een onderzoeker maakt de positie van wetenschappers die dit ongezonde klimaat niet aan kunnen of willen extra moeilijk, bijvoorbeeld die van onderzoekers met zorgtaken. Veel van hen, veelal vrouwen en mensen met chronische aandoeningen, besluiten dan ook uit de wetenschap te stappen, waardoor veel talenten verloren gaan. Er is dus selectie niet op kwaliteit van het onderzoek, maar op hoeveel de onderzoeker wil overwerken. Bovendien doet dit perspectief geen recht aan de rol van wetenschappers als docenten en voorlichters.
Prestaties moeten getoetst worden op basis van objectieve bestaande metrics zoals de Journal Impact Factor
De Journal Impact Factor en andere metrics die al jaren gebruikt worden ter beoordeling van academici komen vaak ter sprake bij wetenschappers die zich afzetten tegen de geclaimde onmeetbaarheid van het nieuwe Erkennen & Waarderen. Prestigieuze journals zoals Nature en Science staan bekend om hun hoge Journal Impact Factor. Nu nog steeds kan een Nature artikel een wetenschappelijke carrière een boost geven door de prestige die daarbij komt kijken. Tegelijkertijd zegt de Journal Impact Factor weinig tot niets over individuele artikelen, laat staan individuele onderzoekers. Niet voor niets zegt Nature dat de Journal lmpact Factor niet voor evaluatie van onderzoekers gebruikt kan worden. Het bewijs achter de Journal Impact Factor laat ook zien dat de impact factor niet gelijk staat aan excellente wetenschap en ook niet gelijk staat aan de hoeveelheid citaties of de kwaliteit van de gepubliceerde artikelen. Voor zover de Journal Impact Factor wetenschappelijke kwaliteit voorspelt, zijn publicaties in hogere Journal Impact Factor journals gemiddeld genomen van lagere kwaliteit (Prestigious Science Journals Struggle to Reach even Average Reliability en Stagnation and Scientific Incentives). Mocht je toch de kwaliteit van tijdschriften willen kwantificeren zoals de hoogleraren in hun opiniestuk aangeven, dan is het kijken naar ondersteunde standaarden zoals pre-registratie, open data, en standaarden voor verslaggeving een beter idee.
Een bijkomend probleem is dat deze prestigieuze journals vaak niet geïnteresseerd zijn in replicatiestudies. Deze desinteresse in een kernonderdeel van de wetenschappelijke methode verlaagt de gemiddelde kwaliteit van het gepubliceerde onderzoek, maar maakt niet dat wetenschappelijke doorbraken vooral in Nature, Science en Cell staan: die suggestie is niet met literatuur te onderbouwen.
Een derde probleem is dat de focus op de Journal Impact Factor en prestige van tijdschriften leidt tot exorbitante prijzen voor open access publiceren, waardoor veel onderzoekers die hechten aan het toepassen van Open Science principes (of daartoe verplicht zijn door hun subsidieverstrekker), en/of maar weinig financiering hebben, worden buitengesloten.
Erkennen & Waarderen brengt onze toppositie in de internationale wetenschap in gevaar
Een veel genoemd kritiekpunt is de notie dat Erkennen & Waarderen de toppositie van de Nederlandse wetenschap in internationale rankings in het geding brengt. De auteurs verwijzen naar het National Institute of Health (NIH) die zich volgens hen exclusief op excellentie richt, maar een Amerikaanse NIH grant aanvrager kan in zijn/haar profielschets alleen maar artikelen noemen uit eerdere NIH grants als die open access zijn. De Journal Impact Factor speelt bij het NIH helemaal geen rol meer. Daarnaast zorgt het Matthew effect voor extra willekeur die de huidige status quo van ongelijkheid in stand houdt. Juist door de nieuwe Erkennen & Waarderen toe te passen binnen de Nederlandse wetenschap zal onze ervaring diversifiëren, zowel op inhoud (wetenschap, onderwijs, public outreach) als in het onderzoek zelf.
De wereldwijde trend richting Open Science (zie ook de UNESCO verklaring) en de problematiek in de wereldwijde wetenschap zullen uiteindelijk leiden tot de adoptie van de Nederlandse Erkennen & Waarderen praktijken in andere landen. Tot op heden hebben meer dan 2000 organisaties en meer dan 17000 individuele onderzoekers de DORA-verklaring (Declaration on Research Assessment) ondertekend, waaronder belangrijke internationale spelers zoals de European Research Council en prominente tijdschriften als Nature. Hoe mooi zou het zijn als we over tien jaar kunnen zeggen dat de evenwichtige manier waarop we in de internationale wetenschap wetenschappers nu beoordelen, begonnen is in Nederland?
Open Science is politiek en moet daarom niet vormen hoe we wetenschap uitoefenen
Het inzicht dat wetenschap onvermijdelijk deels politiek is, en de keuze voor openheid of geslotenheid en evaluatie op basis van Journal Impact Factor of andere criteria niet is gebaseerd op onomstotelijk vastgestelde objectieve optima, is een van de fundamenten van Open Science en DORA. Sinds dit inzicht gemeengoed is geworden, is het bevreemdend om te lezen dat de status quo wordt gepresenteerd alsof die ooit is ingesteld omdat het de beste benadering is. Dit geldt temeer daar we allemaal de problematiek kennen met betrekking tot de reproduceerbaarheid van individuele resultaten. Dit is in de meeste gevallen niet per definitie terug te leiden naar fraude, hoewel dit in enkele gevallen wel zo is. De grootste oorzaak zit in het slecht beschrijven van methodieken en de onzichtbare vrijheidsgraden die wetenschappers hebben, waarbij ze (vaak onbewust) vervallen in praktijken zoals “p-hacking”. Open Science, een belangrijk speerpunt van het nieuwe Erkennen & Waarderen, zorgt voor meer transparantie in het opzetten, uitvoeren en rapporteren van onderzoek. En juist dit leidt tot beter onderzoek en dus de excellentie die de hoogleraren heel belangrijk achten.
Bovendien heeft Open Science ook als doel het samenwerken met andere onderzoekers, waardoor in een zeer vroeg stadium peer review plaatsvindt op basis van het eigenlijke onderzoek, en niet het gepolijste verhaal in het latere tijdschriftartikel. Open Science is veel meer dan Open Access, wanneer wetenschappelijke artikelen gratis en/of met een open licentie beschikbaar zijn voor onderzoekers en andere geïnteresseerden binnen en buiten de universiteit. Andere belangrijke aspecten van Open Science kunnen de transparantie en daardoor de kwaliteit van onderzoek verhogen door het beschikbaar stellen van de data (open data), analyse scripts (open code & software), en rapportage standaarden in wetenschappelijk publiceren waarop onderzoek is gebaseerd. De keuze voor Open Science is overigens al gemaakt door de universiteiten, VSNU en KNAW, en ligt besloten in het transparantiebeginsel van de Nederlandse Gedragscode Wetenschappelijke Integriteit. Ook als dit als een politieke keuze wordt gezien, is het er wel een die het kader vormt voor integer handelen voor Nederlandse wetenschappers.
Op weg naar een nieuwe standaard
Wij betogen dat het nieuwe Erkennen & Waarderen absoluut de juiste weg vooruit is. Dit wil niet zeggen dat we alles van de “oude manier” moeten loslaten. Wetenschap is gebaseerd op verandering en de vaardigheden en outputs die we vroeger waardeerden (degelijk onderzoek doen, artikelen publiceren) zijn nog steeds belangrijk, maar het zijn niet de enige waardevolle vaardigheden en outputs. Het zit in ons vak om onze inzichten aan te passen op basis van nieuwe inzichten. Deze nieuwe inzichten laten ons nu zien dat er verandering moet komen. Om alle onderzoekers een eerlijke kans te geven, ongeacht hun geslacht, huidskleur, achtergrond, afkomst en persoonlijke situatie. Excellentie kan niet worden gemeten met enkele arbitraire metrics, maar heeft een bredere kijk nodig.
Wij erkennen dat dit tijd kost, en waarderen de discussie die hier momenteel over wordt gevoerd. Er is ongetwijfeld nog veel winst te behalen door bijvoorbeeld het beter trainen van reviewers bij NWO om narratieve CV’s te beoordelen. Toch zijn wij van mening dat dit nieuwe systeem, hoewel nog niet perfect, de ruimte geeft aan alle aan wetenschap gerelateerde output, en een stap vooruit is en de wetenschap. Dit zal uiteindelijk ook de positie van Nederlandse wetenschappers in het internationale speelveld ten goede zal komen.
Op 3 augustus 2021 ondertekend door:
Als je dit bericht onderteunt, onderteken het dan hier: https://forms.gle/TodrxDe3NGoN2m6Z9
- Dr. Rianne Fijten, Maastro Clinic & Maastricht University, Open Science Community Maastricht
- Dr. Gjalt-Jorn Peters, Open University of the Netherlands, Open Science Community Heerlen
- Dr. Egon Willighagen, Maastricht University, Open Science Community Maastricht
- Dr. Anita Eerland, Utrecht University, Open Science Community Utrecht
- Dr. Markus Konkol, ITC, University of Twente, Open Science Community Twente
- Dr. Dennie Hebels, Maastricht University, Open Science Community Maastricht
- Dr. Vera E. Heininga, University of Groningen, Open Science Community Groningen
- Dr. Maurits Masselink, Radboudumc, Open Science Community Groningen
- Prof. Dr. Raul Zurita-Milla, University of Twente, Open Science Community Twente
- Dr. Jonas Sundberg, Technical University of Denmark
- Mehmet Necip Tunc (PhD Candidate), Tilburg University
- Didi Lamers (PhD), Radboud University Nijmegen
- Hanne Oberman (MSc), Utrecht University, Open Science Community Utrecht
- Dr. Maikel Waardenburg (UD), Utrecht University
- Erik Roelofs, Maastricht University
- Marieke Schreuder (PhD student), UMCG, Open Science Community Groningen
- Dr. Jeanette Mostert, Radboudumc Nijmegen, Open Science Community Nijmegen
- Dr. Alie de Boer, Maastricht University
- Fionneke Bos (Postdoctoral researcher), University Medical Center Groningen
- Naomi Nota (PhD), Radboud Universiteit, Max Planck Instituut voor Psycholinguïstiek
- Leonard Wee (Docent / Assistant Professor), Maastricht University
- Patricia Romero Verdugo, Radboud University; Radboud University Medical Centre
- Stefan Frank (UHD), Radboud Universiteit
- Joanna Rutkowska, Radboud University
- Dr. Sander W. van der Laan, University Medical Center Utrecht, Open Science Community Utrecht
- Dr. Eva Poort, Max Planck Instituut voor Psycholinguïstiek, Open Science Community Nijmegen
- Prof. dr. Arjan Bos, Open Universiteit
- Dr. Sander Bosch, VU Amsterdam, Open Science Community Amsterdam
- Bram Zandbelt, Nederlandse Spoorwegen
- Frederik D. Weber, National institute for Neuroscience, Amsterdam & Donders Institute/ Radboudumc, Nijmegen, Open Science Community Nijmegen
- Kasper Gossink-Melenhorst (MSc), Responsible Research Assessment, NWO
- M. Dingemanse (Associate Professor), Radboud University, Open Science Community Nijmegen
- Dr. Christopher McCrum, Maastricht University
- Dr. Dominique Maciejewski, Radboud University Nijmegen
- Dr. Ir. Bram van Es, UMCU
- Annika Tensi (PhD Candidate), Wageningen University & Research, Open Science Community Wageningen
- Rowan Sommers, MSc., Max Planck Instituut voor Psycholinguïstiek
- Lino von Klipstein, MSc., University Medical Center Groningen
- Hajar Hasannejadasl, Maastricht University
- Ruud Houben, Maastricht University
- Dr. Karin Sanders, Utrecht University, Open Science Community Utrecht
- Dr. Surya Gayet, Donders Institute & Utrecht University
- Anshu Ankolekar (PhD Candidate), Maastro Clinic/Maastricht University
- Dr. Loek Brinkman, UMC Utrecht, Open Science Community Utrecht
- Prof. dr. Maarten Kleinhans, Universiteit Utrecht, Open Science Community Utrecht
- Merle-Marie Pittelkow (MSc), University of Groningen, Open Science Community Groningen
- Dr. Eiko Fried, Leiden University
- Alexandra Emmendorfer (PhD Candidate), Maastricht University
- Joyce Hoek (PhD student), University of Groningen
- Dr. Thomas Nagler, Leiden University
- Dr. Dagmar Eleveld, Radboudumc Nijmegen
- Erik Bijleveld (PhD), Radboud University
- Ine Noben (PhD Candidate), University of Groningen
- Dr. Marieke van Vugt, University of Groningen, Open Science Community Groningen
- Petros Kalendralis (PhD candidate), Maastricht University Medical Centre
- Dr. Marcello Seri, University of Groningen
- Michael D. Nunez (UD / Assistant Professor), University of Amsterdam
- Dr. ir. Yann de Mey, Wageningen University & Research, Open Science Community Wageningen
- Dirk van Gorp, Radboud University, Open Science Community Nijmegen
- Dr. Julia Höhler, Wageningen University, Open Science Community Wageningen
- Justin J.J. van der Hooft (Assistant Professor), Wageningen University
- Dr. Eveline Verhulst, Wageningen University, Open Science Community Wageningen
- Shanice Janssens (PhD candidate), Maastricht University
- Tessel Galesloot (PhD), Radboud university medical center, Open Science Community Nijmegen
- Prof.dr. Liesbeth Boersma, University Maastricht
- Dr. Rink Hoekstra, Rijksuniversiteit Groningen, Open Science Community Groningen
- Prof. Dr. Tim Hahn, University of Münster
- Else Eising (PhD), Max Planck Institute for Psycholinguistics
- Prof.dr.ir. Andre Dekker, Universiteit Maastricht
- Dr. Anna E. van ‘t Veer, Leiden University, Open Science Community Leiden
- Rebecca Calcott (Postdoc), Radboud University, Radboudumc
- Peder M. Isager, Eindhoven University of Technology
- Daan Ornée (MSc), Universitair Medisch Centrum Groningen, Groningen
- Dr. Sanne Booij, UMCG
- Ineke Wessel (Phd), University of Groningen
- Dr. Zsuzsika Sjoerds, Leiden University, Open Science Community Leiden
- Mariëlle Prevoo (Open Science officer), Maastricht University Library
- Marie Stadel, University of Groningen, Open Science Community Groningen
- Dr. Antonio Schettino (Coordinator Open Science), Erasmus Universiteit Rotterdam, Open Science Community Rotterdam
- Lorenza Dall’Aglio (PhD Student), Erasmus MC, Rotterdam R.I.O.T. Science club
- Laura Dijkhuizen (PhD candidate), Utrecht University, Open Science Community Utrecht
- Dr. Maikel Waardenburg (Assistant professor), Utrecht University
- Aiara Lobo Gomes (Postdoc), Maastricht University
- Dr. Jan Rijnders, Radboud Universiteit
- Carien Hilvering (Bibliometrics & Impact Specialist), Maastricht University Library
- Prof. Bartel Van de Walle, UNU-MERIT and Maastricht University
- Dr. Roman Briker, Maastricht University, Open Science Community Maastricht
Leave a Reply