James Wilsdon, professor de polítiques de recerca a la Universitat de Sheffield, ha encapçalat estudis tant al Regne Unit com en altres països per analitzar l’ús i els efectes de les mètriques o indicadors numèrics a l’hora d’avaluar i gestionar la recerca. És vicepresident de l’International Network for Government Science Advice (INGSA) una plataforma que coordina diverses organitzacions científiques consultives que promouen la formulació de polítiques basades en proves empíriques.

Com poden les entitats que financen la recerca (governs, organismes, fundacions...) utilitzar les mètriques per avaluar l’excel·lència i l’impacte d’aquesta recerca? Estem d’acord en el que significa excel·lència i en quins impactes són desitjables?

Aquesta és una part important del debat. I deixi’m posar la paraula «excel·lència» entre cometes perquè sovint fa de mal definir: a l’hora de fer valoracions en el sistema, de vegades és esclaridora, però en altres ocasions resulta confusa. L’equilibri entre els criteris convencionals d’excel·lència en recerca (avaluats sobretot mitjançant les citacions, les patents, etc.), juntament amb un èmfasi creixent perquè la recerca tingui impactes més amplis en la societat i en l’economia, tot plegat crea la necessitat de fer un ús més responsable de les mètriques.

Eixamplar l’abast dels indicadors que fem servir i acompanyar-los amb una avaluació d’experts raonable i qualitativa pot resultar molt útil. Algunes altmetrics [mètriques o indicadors alternatius], per exemple, poden reconèixer les citacions d’organismes no acadèmics. Si considerem aquestes altmetrics com una part important del nostre procés d’avaluació, encoratjarem els acadèmics a interactuar amb altres audiències més enllà de la comunitat acadèmica.

Les mètriques alternatives canviaran la manera amb què avaluem els resultats de la recerca?

Bona part de l’atenció que han generat les altmetrics o mètriques alternatives ha girat entorn de les xarxes socials. Això és interessant, però és un succedani més aviat superficial per comprendre si la recerca té realment un impacte en problemes socials importants com ara canviar el funcionament del sistema judicial penal. El que passa en les xarxes socials ens pot proporcionar algunes informacions útils, però crec que seria perillós vincular el finançament a aquests indicadors.

En general, ens trobem a les beceroles del desenvolupament d’una sèrie d’indicadors eficaços per a mesurar els impactes de la recerca en la societat. Hi ha molt d’espai per a elaborar noves mètriques d’impacte que siguin realment útils.
 

Què és the Metric Tide?

The Metric Tide [La marea mètrica] era l’informe final d’un estudi independent sobre el paper de les mètriques i els indicadors quantitatius en la gestió i avaluació de la recerca feta al Regne Unit. Era un encàrrec del govern britànic i vaig ser-ne el president. Vaig treballar amb un grup de 12 experts –científics, científics socials, especialistes en bibliometria, responsables de finançament en recerca– durant un any i mig, i vam publicar l’informe l’estiu del 2015. En aquell moment, hi havia un viu debat en la comunitat investigadora global sobre les mètriques i els usos que en fem. Dues iniciatives que havien impulsat aquest debat van ser el  manifiest de Leiden y la Declaració de San Francisco sobre l'Avaluació de la Recerca (DORA).
 

Com és que el govern britànic va encarregar aquest estudi?

El motiu concret tenia relació amb el Marc d’Excel·lència en Recerca (REF). Cada cinc o sis anys, el REF avalua el sistema de recerca nacional del Regne Unit basant-se en grups temàtics d’avaluació d’experts i assigna aproximadament una tercera part del pressupost destinat a recerca entre les diverses universitats i disciplines. El 2014 el govern volia examinar si es podia millorar l’eficiència d’aquest sistema fent servir només indicadors numèrics, de manera que es va posar en marxa l’anomenada Metric Tide.

En general es va atorgar més importància als indicadors quantitatius i als diferents tipus de mètriques en la gestió de la recerca, en l’assignació dels fons i en l’avaluació dels individus i dels grups de recerca a les universitats. Ens volíem fixar en aquest fenomen d’una manera més àmplia i global i veure què significa aquesta «marea mètrica» creixent per a l’entorn i la pràctica de la recerca i per a la manera en què gestionem el nostre sistema científic i de recerca. L’informe també va despertar interès fora del Regne Unit.
 

Una de les conclusions de l’informe és que necessitem més indicadors mètrics, però que d’altra banda han de ser responsables. Què vol dir això?

Vam proposar aquest terme, «mètriques responsables», per recollir tant les possibilitats com les dificultats de l’ús d’aquests mesuraments. Tots som conscients dels múltiples casos en què certs indicadors es fan servir de manera poc adequada en els processos de gestió i avaluació de la recerca. L’exemple més obvi i notori n’és l’ús incorrecte dels factors d’impacte de les revistes. A partir d’un gran volum de treballs empírics sabem que la correlació entre la qualitat d’un article en particular i el factor d’impacte de la revista en què ha estat publicat no és satisfactòria. No obstant això, veiem constantment com els factors d’impacte es fan servir d’una manera inadequada.

Les mètriques responsables s’usen d’una manera robusta i prudent alhora, de manera que poden ser una part valuosa de la gestió del sistema de recerca. Però hem d’anar molt amb compte segons el context en què els fem servir.
 

Com són les mètriques responsables?

Les dades han de ser tan fermes com sigui possible. Volem assegurar que les diverses disciplines queden cobertes i que hi hagi una explicació per als diversos resultats de les recerques. I ens cal humilitat a l’hora de fer servir les mètriques: han de donar suport a l’avaluació d’experts, però no suplantar-la. La recerca acadèmica és un esforç de naturalesa complexa; podem fer que l’avaluació de la recerca sigui més matisada i completa si combinem aquests indicadors amb l’avaluació d’experts.

A més a més, hi ha altres factors com ara la transparència, és a dir, que aquells que són avaluats comprenguin la naturalesa dels mesuraments i els indicadors que es fan servir per avaluar la feina que fan. I també ens cal diversitat: un conjunt divers d’indicadors i resultats de recerca –des d’articles fins a exposicions, passant per bases de dades–, però també de diferents trajectòries professionals.
 

Quins podrien ser bons exemples de mètriques no responsables per comparació a les responsables?

Un exemple de mala pràctica seria la puntuació de ResearchGate. Molts acadèmics fan servir el portal ResearchGate com una manera pràctica de compartir el seu treball amb altres col·legues. Aquesta web també et dona una puntuació, però no queda gens clar a partir de quin algoritme calculen aquesta puntuació. Així, doncs, no és una mètrica responsable. Un altre exemple obvi serien molts dels rànquings internacionals d’universitats i centres de recerca, que no són gaire fiables tant des d’un punt de vista metodològic com estadístic.

En canvi, un exemple d’una bona pràctica a l’hora de contractar o avaluar persones (per exemple, per a una promoció) seria demanar als investigadors que destaquessin per escrit les dues o tres contribucions a la recerca que consideren més importants fins ara en la seva trajectòria acadèmica i per què. Aleshores el comitè d’avaluació pot llegir aquest resum i fer-se’n una idea més acurada. No importa en quines revistes es van publicar els articles; amb aquest mètode s’afegeix una dimensió més qualitativa i avaluativa al procés.
 

I què n’opina, de l’avaluació d’experts? Hi ha qui considera que pot ser molt vulnerable a biaixos intrínsecs i sistèmics. 

Idealment, el que cal és una barreja d’indicadors quantitatius i l’opinió qualitativa dels experts. L’avaluació d’experts no és perfecta; tots som conscients dels seus punts febles. Al mateix temps, però, és una mica com la democràcia: és el sistema menys dolent que hem desenvolupat a la comunitat acadèmica per autogovernar-nos.

L’avaluació d’experts, quan es fa bé, és formativa i sumatòria, és a dir, no només mirem d’avaluar sinó també de millorar la qualitat del treball que fem els uns i els altres, mentre que les mètriques solen ser només sumatòries.

Però és cert que aquests indicadors també poden actuar com un contrapès positiu i més objectiu a llocs on es donen casos de clientelisme, nepotisme o sexisme. De fet, aquest seria un ús responsable de les mètriques.
 

Veu que hi ha canvis ràpids arran del Metric Tide i altres iniciatives relacionades?

Definitivament, hi ha hagut un debat molt visible i interessant sobre aquesta qüestió en els darrers cinc o sis anys, de manera que ara en som més conscients, i això és molt positiu. Però seríem ingenus si penséssim que hi ha hagut un gir copernicà en la matèria. Ens trobem en un període de transició, de controvèrsia i debat. Suposo que passarà un cert temps abans que els diversos actors es posin d’acord i passin a l’acció. I en cap cas podem tenir la certesa que tot plegat es resoldrà d’una manera òptima.

Està d’acord amb algunes de les crítiques que diuen que en avaluar els impactes de vegades confonem les necessitats de la societat amb les necessitats de la indústria?

En avaluar l’impacte de la recerca sempre hem de tenir en compte les repercussions comercials i empresarials. Treballar amb una empresa pot ser tan important com treballar amb una administració o amb una comunitat. Bàsicament, la gestió i l’avaluació de la recerca ha de ser com més neutral millor. Volem un sistema de recerca que desemboqui en millores generals, que tingui molts impactes en llocs i sectors ben diferents.

Crec que el compromís de la recerca amb el món empresarial no té per què estar en tensió amb el compromís amb altres parts de la societat. Diria que el problema principal continua essent d’alguna manera el compromís amb la societat. El món acadèmic continua centrant l’atenció a publicar treballs que llegeixin una desena d’experts, encara que no tinguin cap mena d’impacte enlloc. Aquest és el quid de la qüestió.
 

Alguns científics es queixen d’un sistema que mira de «microgestionar-los». El nou sistema d’avaluació que estem promovent els farà més servei que l’antic?

No volem que tots els acadèmics escriguin només per al món acadèmic, tot i que això és una part important de la seva feina. Creiem encara en una ciència que gira entorn dels descobriments. Hem d’aspirar a trobar l’equilibri adequat. I a Europa, els Estats Units i a molts altres països veiem que hi ha un canvi cap a una recerca més aplicada i més orientada als impactes.

Si inclinem la balança fins a l’extrem que de cop i volta ja no es generen prou descobriments científics, és evident que això pot ser perjudicial. Les polítiques de recerca han de mantenir l’equilibri; això no canvia pas. No hi ha una sola resposta correcta.
 

Quines pautes donaria per mantenir aquest equilibri?

Si fem un pas enrere i tenim en compte el volum de les iniciatives acadèmiques en l’àmbit de la ciència, fins a quin punt s’han multiplicat en els darrers trenta anys, crec que seria pertinent demanar-nos: veiem que hi ha hagut un augment paral·lel en la contribució d’aquestes activitats per satisfer les necessitats realment urgents de l’economia i la societat? Aquesta és la gran pregunta de les polítiques de finançament. És clar que hi ha gent que es posarà nerviosa i oposarà resistència a canviar el sistema d’incentius, però cal fer més coses per garantir que la inversió que els països estem fent en ciència i en recerca doni els fruits que realment necessitem.
 

Quins són, doncs, els coneixements, les eines i l’experiència que els responsables polítics necessiten per fer aquesta tasca?

Això ens porta de nou a la recerca sobre l’avaluació i les mètriques. Un bon sistema ha de proposar-se fer-hi reformes, ha de voler comprendre les diverses vies en què hi contribueix, i com això afecta diferents sectors i marcs temporals. Penso que el Marc d’Excel·lència en Recerca a què he fet referència abans és una bona aproximació. Es pot millorar, però és un bon intent per fer això que estem dient.

La recerca en recerca, o la ciència de la ciència, és un camp en expansió que pretén abordar alguns d’aquests reptes. No es tracta tan sols de l’avaluació, però. També hi ha un neguit per les pràctiques científiques, la reproductibilitat, la integritat, els incentius perversos i la cultura de la recerca en un sentit ampli. Són algunes qüestions que, per comparació als debats de fa cinc o deu anys, ara han agafat més relleu.

El canvi cap a una recerca que tingui més en compte les necessitats de la nostra societat no té per què perjudicar els fonaments de la recerca en si. Hem d’entendre millor com funciona el sistema, quins impactes té, i trobar un equilibri entre els sistemes de finançament. Els diversos sistemes haurien de debatre aquestes qüestions per tal de trobar-hi les respostes adequades. No hi ha cap recepta màgica, però sí molta feina a fer.


Entrevista per Silvia Bravo Gallart