La ricerca scientifica, in ogni ambito, è un’attività complessa, che coinvolge molti attori: ricercatrici e ricercatori, le aziende, la società, lo Stato nelle sue varie componenti, le pazienti e i pazienti nella ricerca medica e farmaceutica.
Le metriche convenzionali impiegate nella valutazione della ricerca si basano tradizionalmente sull’Impact Factor (IF), che a sua volta è funzione delle citazioni ricevute del prodotto della ricerca, inteso come pubblicazione. L’Impact Factor però non tiene conto delle istanze e degli obiettivi dei vari stakeholder che ruotano attorno al mondo della ricerca. In altri termini, noi possiamo avere un articolo scientifico con un IF molto elevato, quindi molto citato e molto importante all’interno della comunità scientifica, ma apparentemente con un impatto molto modesto al di fuori del mondo della ricerca.
In letteratura sono analizzati molto bene gli effetti distorsivi dei parametri utilizzati nella valutazione delle performance in generale. Ad esempio, vi sono evidenze di una crisi dell'innovazione nella ricerca sanitaria causata dall’utilizzo miope di criteri di misurazione finanziaria e accademica delle produzioni e dell'impatto della ricerca (Zaratin, et al., 2014, Zaratin, et al., 2016).
Una possibile risposta a questo “fallimento” prevede di spostare l’attenzione verso un processo di “co-valutazione”, in grado di abbandonare l’unica prospettiva dell’Impact Factor, per adottare un vettore di parametri in grado di cogliere gli obiettivi che i vari attori coinvolti si pongono in merito alla ricerca oggetto di valutazione.
Al fine di definire un nuovo approccio alla ricerca, la Commissione europea ha creato un'azione di ricerca denominata Responsible Research and Innovation (RRI), che è una strategia che anticipa e valuta le potenziali implicazioni e le aspettative della società riguardo appunto alla ricerca e all'innovazione. L’obiettivo di questa azione è quello di promuovere una ricerca e un’innovazione inclusiva e sostenibile. La RRI implica che gli attori della società (ricercatori, ricercatrici, cittadinanza, chi ha responsabilità politiche, imprese, organizzazioni del terzo settore, ecc.) lavorino insieme durante l'intero processo di ricerca e di innovazione, al fine di allineare sia il processo di ricerca che i suoi risultati ai valori, ai bisogni e alle aspettative della società.
L’obiettivo di questa azione è rendere gli obiettivi della ricerca più vicini alle aspettative della società. In altri termini, il vero problema è come la ricerca possa migliorare la società, considerando il suo impatto sulla vita delle persone, nel senso più ampio del termine. Questo approccio è applicabile a tutti i settori. In una fase molto preliminare, possiamo ad esempio considerare sanità e welfare, cambiamento climatico, diritti umani e sociali: qual è il reale impatto della ricerca su questi temi? Inoltre, un requisito importante della Responsible Research and Innovation è una valutazione della ricerca in termini di impatto sulle persone e sulla società.
L’Università di Trento è coinvolta su questi temi con il gruppo di ricerca RIBES (Research and Instruments on Business Ethics and Social and Environmental Accounting) del Dipartimento di Economia e Management che sta lavorando al progetto Horizon 2020: “A collective Research Impact Framework and multi-variate models to foster the true engagement of actors and stakeholders in Health Research and Innovation”. Premiato con un finanziamento di circa 3.5 milioni di euro dalla Commissione europea, il progetto è focalizzato sulla definizione di metriche innovative per la valutazione d’impatto della ricerca farmaceutica.
Ora tale progetto, partito nel 2018, è in dirittura d’arrivo e, tra le varie attività che da esso si stanno generando, il gruppo accademico ha lanciato una call for paper per la rivista scientifica internazionale Sustainability Accounting, Management and Policy Journal, edita da Emerald. Si sta preparando un numero speciale intitolato The (un)sustainability of impact factor. How can we make research more accountable? coordinato oltre che da me, in qualità di associate editor della rivista, dai professori Carlos Larrinaga dell’Università di Burgos (Spagna) ed Ejia Vinnari dell’Università di Tampere (Finlandia). La scadenza per l’invio dei paper, che saranno sottoposti a tripla blind review, come tutti i paper ad essa inviati, è il 30 giugno. In particolare, tale numero monografico è aperto a contributi di tutte le discipline e non solo del management, proprio per il taglio interdisciplinare e trasversale che caratterizza questo tema.
Il gruppo di ricerca RIBES del Dipartimento di Economia e Management dell’Università di Trento (composto da Michele Andreaus, Ericka Costa e Caterina Pesci) ha vinto nel 2018 il progetto Horizon 2020 European Grant “A collective Research Impact Framework and multi-variate models to foster the true engagement of actors and stakeholders in Health Research and Innovation” (H2020-Swafs-2017-1, project No. 787570).
Il progetto triennale, finalizzato a definire di metriche innovative per valutare l’impatto della ricerca farmaceutica, viene portato avanti da un consorzio, guidato dalla Fondazione Italiana Sclerosi Multipla (FISM), composto da undici membri distribuiti in tutta Europa; Michele Andreaus coordina il gruppo accademico formato da quattro università.
Towards a more accountable research
New approaches to measure the impact of research
by Michele Andreaus
Professor of the Department of Economics and Management of the University of Trento
Scientific research, in any area, is a complex activity involving many stakeholders: researchers, businesses, society, states and their entities, patients, in the area of health and pharmaceutical research.
Conventional metrics for the evaluation of research are usually based on the Impact Factor (IF), which is based on the number of citations a research output, i.e. a publication, has received. The Impact Factor, however, does not take into account the aspirations and objectives of the various stakeholders of the research industry. In other words, a scientific paper may have a very high IF, which means it has been cited and is very important within the scientific community, but a rather low impact outside the research world.
Many papers have focused on the parameters used in the evaluation of the performance, in general, and the distortions they create. It seems, for example, that there is an innovation crisis in health research, caused by a misuse of the academic and financial parameters employed to measure the impact of research (Zaratin, et al., 2014, Zaratin, et al., 2016).
To address this issue, we could shift the focus to a co-evaluation approach in order to abandon the unique perspective of the Impact Factor and adopt a vector of parameters capable of describing the objectives of the various stakeholders regarding the research that is being examined.
To define a new approach to research, the European Commission launched a research action named Responsible Research and Innovation (RRI), a strategy that anticipates and assesses potential implications and societal expectations with regard to research and innovation. The objective of this action is to foster the design of inclusive and sustainable research and innovation. Responsible Research and Innovation (RRI) implies that societal actors (researchers, citizens, policy makers, business, third sector organisations, etc.) work together during the whole research and innovation process in order to better align both the process and its outcomes with the values, needs and expectations of society.
This action aims to bring research closer to the expectations of society. In other words, the issue here is how research can benefit society, given its impact on people's lives, in general terms. An approach that can be applied to all sectors. At a very early stage, for example, we can consider health and wellbeing, climate change, human and social rights: what is the real impact of research on these aspects? Besides, a key requirement for Responsible Research and Innovation is an assessment of research based on its impact on people and society.
The University of Trento is working on these themes with the RIBES research group (Research and Instruments on Business Ethics and Social and Environmental Accounting) of the Department of Economics and Management, which is involved in a Horizon 2020 project named “A collective Research Impact Framework and multi-variate models to foster the true engagement of actors and stakeholders in Health Research and Innovation”. Funded by the European Commission with a budget of 3.5 million euro, the project aims to identify new metrics to measure the impact of pharmaceutical research.
Now the project, which started in 2018, is coming to an end and, to continue on the same path, the group of academic researchers launched a call for papers for the international journal Sustainability Accounting, Management and Policy Journal, published by Emerald publishing. The researchers are currently working on a special issue on “The (un)sustainability of impact factor. How can we make research more accountable?”, coordinated by myself as associate editor of the journal and by professors Carlos Larrinaga of the University of Burgos (Spain) and Ejia Vinnari of Tampere University (Finland). The deadline to submit contributions, which will be subject to the regular triple peer review process, is 30 June. In particular, this issue welcomes contributions from all disciplines and not only from the management area, because of the interdisciplinary and cross-sectoral nature of the topic.
RIBES a research group of the Department of Economics and Management of the University of Trento (members are Michele Andreaus, Ericka Costa and Caterina Pesci) was awarded a Horizon 2020 Grant in 2018 for the project “A collective Research Impact Framework and multi-variate models to foster the true engagement of actors and stakeholders in Health Research and Innovation” (H2020-Swafs-2017-1, project No. 787570).
The three-year project, whose goal is to define new metrics to evaluate the impact of health research, involves a consortium of partners led by Fondazione Italiana Sclerosi Multipla (Italian foundation for multiple sclerosis, FISM) and other eleven entities from all over Europe. Michele Andreaus is the coordinator of a group of four universities.
[Traduzione Paola Bonadiman]