Paul Wouters és professor de Cienciometria i director del Centre for Science and Technology Studies de la Universitat de Leiden. És especialista en sistemes d’avaluació i com aquests sistemes estan condicionant el desenvolupament del coneixement. Hem tingut l’ocasió de parlar-hi en el marc del seminari sobre “Nous models d’avaluació de la recerca”, organitzat per la Universitat de Barcelona i la Universitat Oberta de Catalunya.

 

Per què és important mesurar i avaluar l’activitat científica?

Molts investigadors s’estan fent aquesta pregunta, perquè s’adonen que cada vegada han de dedicar més temps a l’avaluació i que això els treu temps del seu interès primordial, que és la recerca i tirar endavant els projectes. Crec que hi ha bons motius perquè hi prestem atenció.

El primer és que els antics mètodes per retre comptes (basats en les relacions professionals o d’àmbit local) ja no funcionen. Com que tot s’ha compartimentat i globalitzat, un sol individu ja no pot saber-ho tot d’una disciplina. Per avaluar en quin moment et trobes de la teva pròpia evolució, calen mètodes més sofisticats.

El segon motiu també té a veure amb retre comptes: la ciència ha d’explicar a la societat allò que fa, ja que es finança principalment amb fons públics. A més a més, la recerca influeix en gran manera en la nostra vida, en la comunicació, els mitjans o l’assistència sanitària. Està esdevenint un recurs molt important per al conjunt de la societat, doncs.

I el tercer motiu potser és el més positiu: si utilitzem l’avaluació amb finalitats formatives, en realitat això és útil per a l’investigador. Parlem de finalitats formatives perquè miren de detectar els teus punts forts i dèbils, i com pots evolucionar. Si l’activitat que fas no és correcta, cal dir-ho, però una avaluació formativa sempre t’ha de servir per a millorar. El problema és que les institucions volen avaluacions quantitatives: «Han estat ben gastats, els meus diners? Per què la nostra universitat està perdent punts en les classificacions?» Solen mirar enrere, però hauríem de centrar els esforços a mirar cap al futur i a fer servir l’avaluació de manera creativa.

 

Ens podria explicar què és el manifest de Leiden?

El manifest de Leiden es va publicar l’any 2015 a Nature. La iniciativa va sorgir d’una conferència de cienciòmetres, és a dir, dels investigadors que ens dediquem a mesurar la ciència. Allà vam analitzar quins indicadors hem d’utilitzar, sobretot per a l’avaluació individual dels investigadors. I vam decidir que volíem donar veu als neguits que molts d’ells tenen.

Encara que el manifest es basa en deu principis, podríem resumir-lo en dues idees principals. La primera és que els indicadors sempre han de donar suport a una valoració, i no substituir-la. La segona és que no s’han de fer servir els mateixos criteris per a mesurar tots els treballs. Quan fas una avaluació, comences per la missió del grup de recerca en qüestió, i després ve tota la resta. Per exemple, un grup de recerca clínica no té res a veure amb un altre que estudiï el trànsit a Barcelona.

 

Com es mesura avui l’impacte de la ciència? Quins indicadors es fan servir habitualment?

En aquest moment els indicadors més habituals són el factor d’impacte de les publicacions periòdiques i l’índex h (per a cada investigador o per a l’Investigador Principal d’un grup). Un altre indicador és el percentatge de citacions dels teus articles: és a dir, si altres autors els citen sovint, i si la teva posició se situa entre l’1% o el 10% dels més citats. Pot ser que aquest indicador sigui més útil per als departaments. Un altre indicador és la quantitat de fons externs que pots atreure. Les universitats fan servir molt la posició de cada centre en els rànquings. Tots els centres universitaris revisen constantment quina és la seva posició en aquestes classificacions. A mi això em sembla una mica estrany, però aquests són els indicadors més habituals.

 

Com mesurem o comprenem la qualitat de la recerca? Hi ha algun problema amb aquests mesuraments?

En el meu camp hi ha un consens que el millor sistema és l’avaluació d’experts informada, que conjumina indicadors quantitatius i de citacions amb la mateixa avaluació sobre la qualitat de la proposta. En bibliometria alguns equiparen el nombre de citacions amb la qualitat, però no compartim aquesta opinió. Les citacions mesuren la viabilitat i l’impacte a curt termini, no la qualitat, que exigeix un enfocament més multidimensional. Els indicadors no mesuren la qualitat directament: només podem mesurar unes poques dimensions de l’activitat científica.

Hi ha dos problemes principals. El primer és que l’avaluació d’experts sol ser conservadora, perquè es basa en la situació actual de la disciplina. El segon són els índexs de citació, perquè es basen en l’activitat passada. Per tant, el que pretenem amb el sistema científic és combinar l’avaluació d’experts i els indicadors empírics, però també et pots trobar amb propostes que els experts no valorin, perquè són massa insòlites o radicals, o bé amb el fet que no es mesuren coses com ara la creativitat o fins a quin punt és bona la pregunta que dona peu a una recerca.

 

Com podem saber quines recerques són socialment rellevants?

No hi ha una resposta única per a aquesta pregunta. Realment calen estudis de cas que puguin incorporar indicadors i bases de dades molt concrets. La definició de l’impacte ha de ser molt específica, encara que la disciplina sigui molt general.

Per exemple, tenim un projecte sobre l’impacte de la recerca sobre malalties cardíaques finançat per la Fundació Neerlandesa del Cor. Hi observem com influeix en les revistes clíniques professionals, en l’organització de l’assistència sanitària, en les pràctiques hospitalàries i en els tractaments mèdics. Però també tenim un projecte amb un grup de recerca teològica. En aquest altre grup parlem de coses molt diferents: com aborden els problemes els mitjans de comunicació o com influeixen en el discurs general sobre, per exemple, el sentit de la vida.

 

Aquests mesuraments poden canviar la manera amb què investiguem? Com ho poden fer?

Sí, a través de dos mecanismes principals: el finançament i les trajectòries professionals. Conec diverses persones el camp de recerca de les quals ja no rep finançament perquè els organismes que els finançaven ja no els consideren interessants. Per exemple, algunes universitats dels Països Baixos han expulsat economistes dels departaments d’Economia perquè no estaven publicant en revistes d’aquesta disciplina, de manera que s’han traslladat a Sociologia o Dret, on combinen la recerca econòmica amb aquestes matèries. A curt termini, l’avaluació pot tenir molta influència en la manera com investiguem.

A llarg termini, però, també hi influeix. Determina quina concepció tenen de l’investigador els qui s’estan formant o educant. La nova generació d’investigadors entra en un sistema en què aquests indicadors són molt importants, no coneixen res més. Per a ells, és una cosa normal. L’inconvenient és que així no pensaran mai que l’objectiu de la recerca és resoldre problemes concrets, sinó que és un instrument professional basat en la publicació en revistes de gran impacte. D’aquesta manera no fem sinó corrompre el veritable sistema científic: anem en contra de la motivació fonamental de tot aquest sistema.

 

Els indicadors, poden canviar la definició d’excel·lència científica?

Sí, i tant. Abans el reconeixement de l’excel·lència científica estava a les mans dels experts. Avui dia es defineix com el que es publica a les revistes més importants. En el futur tornarà a canviar, perquè el factor d’impacte de les revistes no és la millor manera d’avaluar la qualitat. A la llarga, el que voldrem detectar és quina innovació influeix més en l’estructura del nostre coneixement. Però això només ho sabrem quan passin vint anys, de manera que és difícil fer prediccions.

Això també explica el fet que ens interessi tant l’avaluació. La manera de crear indicadors influeix en la definició de la mateixa activitat que vols mesurar i la transforma. És una mica allò del peix que es mossega la cua.

 

La ciència oberta representa una innovació a l’hora de fer recerca; per què aquest enfocament és rellevant per a la societat actual?

Els investigadors també s’enfronten a aquest problema, perquè de vegades comproven que la ciència oberta s’assembla a l’avaluació, els fa l’efecte que és una imposició. Es pregunten: «Però, què passa? Si ho estic fent bé!»

A mi em sembla que obrir el procés de creació del coneixement encaixa millor amb una societat en què hi hagi molts ciutadans ben formats que puguin dir-los coses útils als investigadors. Ja no hi ha motiu per tenir tancada la ciència, que ara podria ser com un fòrum d’intercanvi d’idees. Així es reduiria el capital necessari per accedir a l’activitat científica i això només pot significar avantatges. I també s’acceleraria la innovació.

 

Com hauria de canviar l’avaluació si passem dels procediments actuals a la ciència oberta?

L’avaluació i els sistemes d’avaluació d’experts també haurien d’esdevenir més transparents i oberts. És lògic que en un sistema d’avaluació d’experts els avaluadors assumeixin responsabilitats per la feina que fan. És important incorporar al procés d’avaluació tant els interessats en el coneixement com els seus usuaris. Per exemple, estem participant en un experiment de la Universitat d’Utrecht, que vol que els pacients d’un hospital participin en l’avaluació de les recerques. Però aquest és només un primer pas, perquè crec que el projecte no s’hauria de limitar als pacients.

 

En què consisteix el moviment altmetrics [mesuraments alternatius]? En quin sentit aquests mesuraments són una alternativa?

Les altmetrics mesuren els processos comunicatius i l’activitat en els mitjans socials, però no creiem que substitueixin els indicadors tradicionals de qualitat i d’impacte. No és el mateix que mesurar l’activitat científica en les revistes especialitzades. Per exemple, el fet que la teva publicació circuli profusament a Twitter pot significar diverses coses. Naturalment vol dir que el teu article suscita moltes comunicacions, que tu despertes interès. Però no podem equiparar l’activitat de Twitter amb l’impacte social, ni l’activitat de Facebook amb l’amistat, perquè una cosa i l’altra poden ser ben diferents: aquesta mena d’activitats no sempre implica que hi hagi qualitat o influències a llarg termini.

El context de cada avaluació és el que ha de definir com fer servir els indicadors en cada moment. No hi ha una fórmula única: els indicadors només apareixen al final de la història, de manera que no han de dirigir les recerques.

 

Entrevista per Chema Arcos i Mireia Pons