Les mètriques alternatives canviaran la manera amb què avaluem els resultats de la recerca?
Bona part de l’atenció que han generat les altmetrics o mètriques alternatives ha girat entorn de les xarxes socials. Això és interessant, però és un succedani més aviat superficial per comprendre si la recerca té realment un impacte en problemes socials importants com ara canviar el funcionament del sistema judicial penal. El que passa en les xarxes socials ens pot proporcionar algunes informacions útils, però crec que seria perillós vincular el finançament a aquests indicadors.
En general, ens trobem a les beceroles del desenvolupament d’una sèrie d’indicadors eficaços per a mesurar els impactes de la recerca en la societat. Hi ha molt d’espai per a elaborar noves mètriques d’impacte que siguin realment útils.
Què és the Metric Tide?
The Metric Tide [La marea mètrica] era l’informe final d’un estudi independent sobre el paper de les mètriques i els indicadors quantitatius en la gestió i avaluació de la recerca feta al Regne Unit. Era un encàrrec del govern britànic i vaig ser-ne el president. Vaig treballar amb un grup de 12 experts –científics, científics socials, especialistes en bibliometria, responsables de finançament en recerca– durant un any i mig, i vam publicar l’informe l’estiu del 2015. En aquell moment, hi havia un viu debat en la comunitat investigadora global sobre les mètriques i els usos que en fem. Dues iniciatives que havien impulsat aquest debat van ser el manifiest de Leiden y la Declaració de San Francisco sobre l'Avaluació de la Recerca (DORA).
Com és que el govern britànic va encarregar aquest estudi?
El motiu concret tenia relació amb el Marc d’Excel·lència en Recerca (REF). Cada cinc o sis anys, el REF avalua el sistema de recerca nacional del Regne Unit basant-se en grups temàtics d’avaluació d’experts i assigna aproximadament una tercera part del pressupost destinat a recerca entre les diverses universitats i disciplines. El 2014 el govern volia examinar si es podia millorar l’eficiència d’aquest sistema fent servir només indicadors numèrics, de manera que es va posar en marxa l’anomenada Metric Tide.
En general es va atorgar més importància als indicadors quantitatius i als diferents tipus de mètriques en la gestió de la recerca, en l’assignació dels fons i en l’avaluació dels individus i dels grups de recerca a les universitats. Ens volíem fixar en aquest fenomen d’una manera més àmplia i global i veure què significa aquesta «marea mètrica» creixent per a l’entorn i la pràctica de la recerca i per a la manera en què gestionem el nostre sistema científic i de recerca. L’informe també va despertar interès fora del Regne Unit.
Una de les conclusions de l’informe és que necessitem més indicadors mètrics, però que d’altra banda han de ser responsables. Què vol dir això?
Vam proposar aquest terme, «mètriques responsables», per recollir tant les possibilitats com les dificultats de l’ús d’aquests mesuraments. Tots som conscients dels múltiples casos en què certs indicadors es fan servir de manera poc adequada en els processos de gestió i avaluació de la recerca. L’exemple més obvi i notori n’és l’ús incorrecte dels factors d’impacte de les revistes. A partir d’un gran volum de treballs empírics sabem que la correlació entre la qualitat d’un article en particular i el factor d’impacte de la revista en què ha estat publicat no és satisfactòria. No obstant això, veiem constantment com els factors d’impacte es fan servir d’una manera inadequada.
Les mètriques responsables s’usen d’una manera robusta i prudent alhora, de manera que poden ser una part valuosa de la gestió del sistema de recerca. Però hem d’anar molt amb compte segons el context en què els fem servir.
Com són les mètriques responsables?
Les dades han de ser tan fermes com sigui possible. Volem assegurar que les diverses disciplines queden cobertes i que hi hagi una explicació per als diversos resultats de les recerques. I ens cal humilitat a l’hora de fer servir les mètriques: han de donar suport a l’avaluació d’experts, però no suplantar-la. La recerca acadèmica és un esforç de naturalesa complexa; podem fer que l’avaluació de la recerca sigui més matisada i completa si combinem aquests indicadors amb l’avaluació d’experts.
A més a més, hi ha altres factors com ara la transparència, és a dir, que aquells que són avaluats comprenguin la naturalesa dels mesuraments i els indicadors que es fan servir per avaluar la feina que fan. I també ens cal diversitat: un conjunt divers d’indicadors i resultats de recerca –des d’articles fins a exposicions, passant per bases de dades–, però també de diferents trajectòries professionals.
Quins podrien ser bons exemples de mètriques no responsables per comparació a les responsables?
Un exemple de mala pràctica seria la puntuació de ResearchGate. Molts acadèmics fan servir el portal ResearchGate com una manera pràctica de compartir el seu treball amb altres col·legues. Aquesta web també et dona una puntuació, però no queda gens clar a partir de quin algoritme calculen aquesta puntuació. Així, doncs, no és una mètrica responsable. Un altre exemple obvi serien molts dels rànquings internacionals d’universitats i centres de recerca, que no són gaire fiables tant des d’un punt de vista metodològic com estadístic.
En canvi, un exemple d’una bona pràctica a l’hora de contractar o avaluar persones (per exemple, per a una promoció) seria demanar als investigadors que destaquessin per escrit les dues o tres contribucions a la recerca que consideren més importants fins ara en la seva trajectòria acadèmica i per què. Aleshores el comitè d’avaluació pot llegir aquest resum i fer-se’n una idea més acurada. No importa en quines revistes es van publicar els articles; amb aquest mètode s’afegeix una dimensió més qualitativa i avaluativa al procés.
I què n’opina, de l’avaluació d’experts? Hi ha qui considera que pot ser molt vulnerable a biaixos intrínsecs i sistèmics.
Idealment, el que cal és una barreja d’indicadors quantitatius i l’opinió qualitativa dels experts. L’avaluació d’experts no és perfecta; tots som conscients dels seus punts febles. Al mateix temps, però, és una mica com la democràcia: és el sistema menys dolent que hem desenvolupat a la comunitat acadèmica per autogovernar-nos.
L’avaluació d’experts, quan es fa bé, és formativa i sumatòria, és a dir, no només mirem d’avaluar sinó també de millorar la qualitat del treball que fem els uns i els altres, mentre que les mètriques solen ser només sumatòries.
Però és cert que aquests indicadors també poden actuar com un contrapès positiu i més objectiu a llocs on es donen casos de clientelisme, nepotisme o sexisme. De fet, aquest seria un ús responsable de les mètriques.
Veu que hi ha canvis ràpids arran del Metric Tide i altres iniciatives relacionades?
Definitivament, hi ha hagut un debat molt visible i interessant sobre aquesta qüestió en els darrers cinc o sis anys, de manera que ara en som més conscients, i això és molt positiu. Però seríem ingenus si penséssim que hi ha hagut un gir copernicà en la matèria. Ens trobem en un període de transició, de controvèrsia i debat. Suposo que passarà un cert temps abans que els diversos actors es posin d’acord i passin a l’acció. I en cap cas podem tenir la certesa que tot plegat es resoldrà d’una manera òptima.