Page 3 of 7

Open science means better science

Leiden University has an active open science community. Open science means transparency in all phases of research by precisely documenting every step of the way and making this publicly available. ‘It’s time to be open,’ say psychologists Anna van ’t Veer and Zsuzsika Sjoerds. There is increasing awareness of the need for open science, or open scholarship as it is sometimes called, also at Leiden University.

Perhaps it’s no coincidence that psychologists Van ’t Veer and Sjoerds are advocates of open science. Because theirs is one of the disciplines in which studies have been replicated in recent years but did not always produce the same results. How this could be has generally remained unanswered, since it was not possible to establish exactly how the researchers had achieved their results in the first place. The premise of open science is to make science more traceable.

Open Science Community 2021
Anna van ‘t Veer: ‘Open science is very practical.’

Behaviour change

Open science is a broad, overarching theme, the researchers explain. It ranges from being aware of human bias – unconscious prejudices or assumptions – to publishing in open access journals. But it is also very practical: a different mentality and working method that requires behaviour change. The brainwork often ends up more towards the start of the research process. This means precisely planning, explaining and documenting aspects such as the hypothesis, methodology, process and data analysis. This removes any flexibility that might prompt decisions that would lead to the desired (often positive) result. 

Equally important is to keep a record of the ins and outs of the research, not only for your own benefit but also for others to reproduce and replicate the research. Van ‘t Veer: ‘The principle of transparency runs through the project from beginning to end.’ 

Sjoerds: ‘It’s also important to make the data and materials FAIR: Findable, Accessible, Interoperable and Reusable.’ This concept has gained wide recognition. ‘At the start of a project,’ Sjoerds continues, ‘it’s already covered in the Leiden data management plan, and at the end, if we make the work more accessible through an open access publication. Transparency is also making a preprint public before journal submission, and even the reviews.’

Open Science Community 2021
FAIR (graphic: Sangya Pundir).

Learning from other disciplines

At the last count, around 700 people at 11 universities in the Netherlands were active in an open science community, which means our country is taking the lead. The open science community includes not only scientists and lecturers but also IT specialists, library staff and other support staff. They document scientific research, so have an important role in the scientific infrastructure, making them natural open science partners.

The open science community helps people learn from one another in the most efficient way possible. One discipline knows more about one aspect, whereas another discipline knows more about another. The community’s workshops are often very practical, covering, for instance, how exactly to describe everything precisely beforehand. That is a skill that you have to learn. Van ‘t Veer: ‘My first pre-registration probably wasn’t very good, but the point is that you learn by doing.’ Many disciplines, she adds, now face the challenge of learning the art of advance planning and making their choices transparent. ‘But I hear from colleagues that the first hurdle, working out how to do that, is the most challenging and once you’ve cracked that, it’s easy to get behind the new method of working. After all, research is about generating reliable knowledge for society. Some researchers are relieved even, because during the analysis they no longer have to think: if I tried something else, would that be significant?’

Open Science Communityt 2021
Zsuzsika Sjoerds: ‘Researchers are already used to many aspects of open science.’

Baby steps

If this new working method is so important, why isn’t everyone doing it already? Sjoerds: ‘Scientists feel that it is a lot of work and that they don’t have time for it. What I always try to tell them is that they do a lot already. They record much in advance in ethics proposals and data management plans, and often publish open access. Making datasets available is on the rise as it is. And I tell them it’s about becoming more aware and restructuring your habits, and therefore often about baby steps.’ 

Van ‘t Veer: ‘Awareness and motivation are important. Checklists alone are not enough. That won’t achieve optimal science. Change takes time, and the departmental culture and leadership are very important too. But it will ultimately pay off in terms of quality, and later still, in terms of time. The science of the future will be more transparent, and therefore more open for correction. Recognition of this is also changing. Alongside the university’s open science programme, you can currently see this in the national Recognition and Rewards programme that is running in Leiden.’

Figurehead

The university now has an open science figurehead: Paul Wouters, dean of the Faculty of Social and Behavioural Sciences and keen supporter of open science. The Executive Board is also an advocate, and there is a workgroup with linking pins, including Van ’t Veer, the holders of the open science portfolio in the Strategic and Academic Affairs directorate at the Administration and Central Services department and Leiden University Libraries, and there is a sounding board with representatives from all the faculties. But will it be enforced? No, that’s not how it works at a university. It’s about facilitating, ensuring that it’s easier for everyone to take the necessary steps and to gently steer them in the right direction.

Van ‘t Veer: ‘Ultimately the increasing recognition that open science will be essential will one way or another result in legislation in the national or international arena. The good thing about the combination of bottom up and top down is that we can give shape to an open future together.’

Source: https://www.staff.universiteitleiden.nl/news/2021/02/open-science-means-better-science

Interview: Academia in Motion – Leiden University

With Academia in Motion, Leiden University has joined the national initiative for a new form of recognition and rewards in academia. 

The paper is the result of many discussions that the members of the steering group held at the faculties. Manon van der Heijden and Sarah de Rijcke are the chairs of the steering group. Van der Heijden is Academic Director and a professor at the Institute for History. De Rijcke is Scientific Director and Professor of Science and Evaluation Studies at the Centre for Science and Technology Studies. What do they hope to achieve?

Address the imbalance in duties

The staff workload is an important issue. One reason why this is too high, say the two chairs, is because too much emphasis is placed on research performance, whereas teaching and societal relevance are undervalued. Van der Heijden: ‘The balance in these tasks and their recognition is skewed. This is a problem if you want to become an associate professor and are only assessed on your research, when 80 percent of your duties consist of teaching.’

Eliminate simplistic criteria

Another shortcoming is the way in which the quality of research is valued and measured. This is generally with simplistic quantitative indicators, such as the number of academic publications and the journal impact factor, which indicates how often an academic journal is cited. De Rijcke: ‘This is now also used to assess individual researchers when it is in fact a measure of a journal. The risk of using unsuitable one-dimensional measures is a possible narrowing of the research space.’ Only suitable criteria should be used in evaluations, and there should be more room for the quality and creativity of staff.

More recognition of team performances

Academia in Motion is also calling for more recognition of team performances. Van der Heijden: ‘In Leiden a great deal of attention is paid to the ambitions of that brilliant researcher who receives plenty of recognition, but such performances are possible because that individual works in a good team or institute. Too much attention for the prima donnas comes at the expense of the team.’

De Rijcke adds: ‘When I was following training on applying for an individual grant I had to learn to stop saying “we” because apparently I would stand less of a chance. That didn’t do justice to the reality.’

Fortunately, grant providers like the Dutch Research Council (NWO) and umbrella organisations like the Association of Universities in the Netherlands (VSNU) and the Royal Netherlands Academy of Arts and Sciences (KNAW) also believe that the system should change and are working on a different application and assessment method.

Response from Vice-Rector Hester Bijl

Academia in Motion has the full backing of the Executive Board. Vice-Rector Hester Bijl supports the steering group’s findings and is pleased that the paper clearly describes the ambitions and main obstacles. In a response, she said: ‘This paper offers some good ideas on how to effect a much-needed culture change. Over the coming months we will all be discussing how to give this concrete shape. Obviously, it’s not something that you just roll out, but it begins with identifying the problems and gaining more awareness throughout the organisation of how we can do things differently.’

Share best practices and recognise differences

Bijl, Van der Heijden and De Rijcke all point to the many good initiatives that are already underway. The national Senior Teaching Qualification programme and the associate professor promotion pathway demonstrate greater recognition of the teaching, as do various faculty initiatives. De Rijcke: ‘The trick is to make the good examples more visible and to share them more with one another.’ That is not to say that the solution will be one size fits all. The paper emphasises that differences between disciplines and institutes should be taken into account.

Join dots with the strategic plan

The steering group hopes to be able to carry out a survey in February of differences in careers, transparency and leadership. And it may enlist focus groups to further develop the plans. De Rijcke: ‘When the steering group has finished this won’t mean that the process is complete. What we will have are pointers and scenarios for which steps to take next. And there is plenty of opportunity to join the dots with the strategic plans of the University and the faculties.’

Van der Heijden adds: ‘This is a long-term development that will happen in steps as it gains the buy-in of the wider organisation.’

Share experiences in national movement

De Rijcke and Van der Heijden are also in close contact with the chairs of similar steering groups at other Dutch universities and in regular international consultation. Van der Heijden: ‘A lot of information is exchanged about good practices and the different takes on recognition and rewards.’

De Rijcke: ‘It’s a national movement with a local translation in all the different steering groups. In Leiden we have consciously chosen a bottom-up process because it won’t work otherwise.’

The words of scientists of Tilburg University

In these videos, a number of Tilburg University academics share what the Recognition & Rewards programme means to them. They are asked what they hope Recognition & Rewards will mean for them in their careers, but also what it will mean for Tilburg University and for academia in general.

Dutch: ‘We moeten alleen talent investeren in wat er echt toe doet’

Prof. dr. Nelly Litvak, Professor of Algorithms for Complex Networks, University of Twente and Eindhoven University of Technology. Sinds ze hoogleraar is, wordt Nelly Litvak gewaardeerd om haar inzet voor onderwijsinnovatie. Maar vroeger waren de reacties ontmoedigend. Dat ze tegen de klippen op onderzoeksaanvragen moest schrijven gaf haar veel stress.

Als je terugkijkt op je carrière tot nu toe, vind je dan dat je het gebaande pad hebt bewandeld?
Ik zou zeggen van niet. Met projectvoorstellen heb ik heel veel pech gehad, maar ook een verkeerde strategie gekozen. Zo richtte ik me lange tijd op twee onderzoeksrichtingen in plaats van een. Ik heb heel veel onderwijs gegeven, en heb altijd met veel plezier steeds gezocht naar nieuwe aanpakken in onderwijs. Ik heb hart voor het uitleggen van wiskunde aan een breed publiek en schreef daarover verschillende boeken, die in Rusland zijn uitgegeven. Er zijn duizenden van verkocht, en in 2017 zat ik in de finale voor het beste populairwetenschappelijke boek in Rusland. Ook heb ik een Facebook groep opgericht over wiskunde voor `hopeloze alfa’s’, die inmiddels 23.000 leden heeft.

Ben je tevreden met de plek die je nu hebt?
Ja, absoluut. Ik ben blij met mijn onderzoekslijn aan complexe netwerken, heb artikelen waar ik oprecht trots op ben en geef keynote-lezingen op internationale conferenties. Desalniettemin zou ik graag zien dat jonge mensen die net als ik een ‘alternatief’ pad bewandelen niet zo veel stress hoeven te ervaren als ik in de afgelopen jaren. Projectvoorstellen schrijven was voor mij een gigantische bron van frustratie. Ik wil zo graag dat jonge mensen dit bespaard wordt! Met al mijn ervaring in verschillende NWOcommissies heb ik bij onze faculteit een ondersteuningsprogramma opgezet om Veni- en Vidi-kandidaten te helpen.

Ik zou graag willen dat mensen waardering krijgen voor wat ze doen, en niet voor de functie die ze bekleden. Ik probeerde bijvoorbeeld altijd iets nieuws en beters te doen in mijn onderwijs, dat vind ik leuk. Sinds ik hoogleraar ben, krijg ik daar ook veel waardering voor. Maar vroeger waren de reacties anders: ‘Dat is leuk, maar ik heb er geen tijd voor’, ‘Het is niet goed voor je loopbaan’. En wat ik het ergste vond is dat ik als UHD vaak werk moest doen waar ik geen eigen invulling aan kon geven. Niet iedereen vindt het erg, maar voor mij was het heel frustrerend want ik had zo veel ideeën over onderwijs!

Omdat we van alle onderzoekers eisen dat ze geld binnenhalen, creëren we kunstmatige competitie. Mensen schrijven ’s-nachts aanvragen, onder gigantische druk, omdat hun hele carrière ervan afhangt. Het resultaat is dat we heel lage slagingspercentages hebben en dat er veel uren, dagen enjaren verloren gaan, van tientallen talenten die veel beter benut hadden kunnen worden. Ook voor onderzoek! Als wiskundige bijvoorbeeld kun je prima gewoon met collega’s hoogwaardig onderzoek doen; je heb niet eens per se een aio nodig! Wie heeft baat bij dit dichtgeslibde systeem? Waar is het goed voor? Ik zie hier geen goede verklaring voor.

Welke mensen in je professionele omgeving zijn belangrijk geweest en waarom?
Ik heb geluk gehad met een mentor. Ik was UHD toen ik hem heb ontmoet en ik was echt zwaar gefrustreerd dat dat traditionele carrièrepad bij mij maar niet wilde lukken. En hij zei: ‘Het is oké.’ Hij wees me erop dat ik misschien niet de gebruikelijke successen had behaald, maar wel andere dingen had geleerd terwijl ik zo hard aan de weg timmerde. Dat begin ik zelf ook steeds beter in te zien.

Wat zijn voor jou essentiële eigenschappen die in het huidige systeem onvoldoende aandacht krijgen?
Ten eerste het vermogen om vernieuwing te brengen in het onderwijs. De uitdagingen in het onderwijs van 21ste eeuw gaan veel verder dan e-learning en moderne onderwijsvormen. Neem bijvoorbeeld toetsen. Toen corona de kop opstak was de grootste vraag: wat doen we met de tentamens? Alsof we de campus vooral nodig hebben om te kunnen surveilleren, zodat studenten tijdens de toets niet op hun telefoon kunnen kijken! Ik vond het best wel triest. Ze kunnen immers in het echte leven altijd op hun telefoon kijken. Het wordt steeds lastiger om uit te leggen waarom dat bij een tentamen niet mag. Eigenlijk moeten we het hele beoordelingssysteem herzien. We moeten ook blijven nadenken over hoe we de kracht van online learning optimaal kunnen benutten. Ik heb een reeks colleges statistiek opgenomen net voor de coronatijd. Dat was heel veel werk. Toen de lockdown begon betaalde het zich terug. Ik zie echter dat de opgenomen colleges veel meer betekenen dan gewoon een uitweg als de campus is gesloten.

‘ook talent voor leiderschap moeten we laten groeien, anders wordt de wetenschap straks niet professioneel gerund, en dat kan niet meer in de 21ste eeuw.’

Door de opnames heb ik veel meer tijd om tijdens colleges (al dan niet online) echt in gesprek te gaan met de studenten en interessante vragen te stellen. Ook nogal onverwacht: op YouTube werden deze colleges al bijna 11.000 keer bekeken! Ik heb dus veel meer studenten bereikt dan de honderd studenten die ik in de collegezaal had.

Tegenwoordig ligt de lat voor onderwijskwaliteit heel hoog. En vooral na de coronacrisis zal de behoefte aan innovaties groot zijn. Televisieprogramma’s en kranten zeggen allemaal hetzelfde: het hoger onderwijs gaat voorgoed veranderen. En ja, dat kost tijd en veel inspanning. We hebben eigenlijk veel meer budget en mensen nodig om dit bij te kunnen houden.

Ten tweede het vermogen om wetenschap te delen met een groot publiek. Het gaf mij enorme voldoening om mijn onderzoek aan netwerken te presenteren van achthonderd wiskundeleraren. Ik kreeg zo veel vragen en zo veel positieve reacties, sommigen wilden mijn onderzoek meteen toepassen in de klas. De coronacrisis heeft laten zien hoe weinig mensen wetenschap begrijpen. Dat iemand serieus kan denken dat corona van 5G-zendmasten komt! We moeten beter communiceren met de maatschappij. Dat vraagt heel veel van een wetenschapper. Het wordt denk ik vaak onderschat.

Ten derde teamwetenschap. Ooit was wetenschap een bezigheid van individuele geniën. Die tijden zijn lang voorbij. Zelfs in de wiskunde werken we met steeds grotere groepen. We moeten leren communiceren en elkaar waarderen.

Voel je je gewaardeerd in je werk? En wat draagt daaraan bij?
Nu wel. Maar ik weet zeker dat veel mensen onder het niveau van hoogleraar zich ondergewaardeerd voelen. Dat voelde ik me ook voordat ik hoogleraar werd. Het is een complex probleem, want het ligt aan de `sfeer’ en de sfeer is niet tastbaar. In een softwarebedrijf heb je ontwikkelaars en verkopers, iedereen krijgt waardering voor waar hij of zij goed in is. Bij de universiteit is de onderliggende gedachte dat je goed bent in alles, en hoe hoger op de ladder, hoe beter je in alles bent. Terwijl we allemaal weten dat het niet zo is. We moeten stoppen met doen alsof.

Welke agendapunten op het gebied van erkennen en waarderen verdienen wat jou betreft prioriteit?
Ten eerste een focus op kwaliteit in plaats van kwantiteit. Zoveel artikelen, zoveel voorstellen, hebben we niet nodig. We moeten alleen talent investeren in wat er echt toe doet. Ten tweede diversificatie. Juist omdat onze budgetten beperkt zijn, moeten we elk talent optimaal benutten. Ik heb bijvoorbeeld recent met een jonge UD gesproken die interesse heeft in leiderschap, die wil er een cursus over volgen etc. Ook dat soort talent moeten we laten groeien, anders wordt de wetenschap straks niet professioneel gerund, en dat kan niet meer in de 21ste eeuw. Diepte-investeringen in leiderschapsontwikkeling of onderwijsinnovaties of wetenschapscommunicatie kunnen niet bovenop alle andere zaken komen, dat is gewoon fysiek onmogelijk! We moeten mensen twee of drie richtingen laten kiezen waarin ze zich willen ontwikkelen en ze daarin steunen.

Dit interview maakt onderdeel uit van de De Jonge Akademie publicatie ‘Goed voorbeeld doet goed volgen – het nieuwe erkennen en waarderen volgens De Jonge Akademie’. Het interview is met toestemming doorgeplaatst. De hele publicatie is te downloaden op de website van KNAW.