Entrevista

“No debemos evaluar a todos utilizando los mismos criterios”

Paul Wouters es profesor de Cienciometría y director del Centre for Science and Technology Studies de la Universidad de Leiden. Es especialista en sistemas de evaluación y en cómo estos sistemas están condicionando el desarrollo del conocimiento. Hemos tenido ocasión de hablar con él en el marco de un seminario sobre “Nuevos modelos de evaluación de la investigación”, organizado por la Universitat de Barcelona y la Universitat Oberta de Catalunya.

 

¿Por qué es importante medir y evaluar la actividad científica?

Muchos investigadores se están haciendo esta pregunta, porque se dan cuenta de que cada vez deben dedicar más tiempo a la evaluación y que esto resta tiempo a su interés primordial: la investigación y los proyectos. Me parece que hay buenas razones para prestar atención a este asunto.

Una de ellas es que los antiguos métodos de rendición de cuentas (basados en las relaciones de ámbito local o profesionales) ya no funcionan. Como todo se ha distribuido y globalizado, un solo individuo ya no puede saber de toda una disciplina. Para evaluar en qué estadio de tu propia evolución te encuentras necesitas métodos más refinados.

La segunda razón también tiene que ver con la rendición de cuentas: la ciencia debe explicar a la sociedad lo que hace, porque su financiación es mayormente pública. Además, en nuestra forma de vida —las comunicaciones, los medios o la asistencia sanitaria— influye enormemente la investigación. Así que está claro que se está convirtiendo en algo muy importante para el conjunto de la sociedad.

Y la tercera razón quizá sea la más positiva: si se utiliza la evaluación con fines formativos, en realidad es útil para el investigador. Hablamos de fines formativos porque pretenden detectar tus propias fortalezas y debilidades, y cómo puedes desarrollarte. Si tu actividad no es correcta, hay que decirlo, pero una evaluación formativa siempre debe servirte para mejorar. El problema es que las instituciones quieren evaluaciones sumativas: «¿Se ha gastado bien mi dinero? ¿Por qué mi universidad está perdiendo puestos en los rankings?» Suelen volver la vista atrás, pero deberíamos centrar nuestras energías en mirar al futuro y utilizar la evaluación de forma creativa.

 

¿Podría explicarnos qué es el manifiesto de Leiden?

El manifiesto de Leiden se publicó en 2015 en Nature. La iniciativa partió de una conferencia de cienciómetras. Allí analizamos qué indicadores tenemos que utilizar, sobre todo para la evaluación individual de los investigadores. Y decidimos que queríamos dar voz a las preocupaciones de muchos de ellos.

Aunque el manifiesto se basa en diez principios, se podrían sintetizar en dos ideas principales. La primera es que los indicadores siempre deben respaldar una valoración, no sustituirla. La segunda es que no se deben utilizar los mismos criterios para medir todos los trabajos. Cuando haces una evaluación, comienzas por la misión del grupo de investigación en cuestión, y después viene lo demás. Por ejemplo, un grupo de investigación clínica no tiene nada que ver con otro que estudie el tráfico en Barcelona.

 

¿Cómo se mide en la actualidad el impacto de la ciencia? ¿Qué indicadores suelen utilizarse?

En este momento los indicadores más habituales son el factor de impacto de las publicaciones periódicas y el índice h (para cada investigador o para el IP de un grupo). Otro indicador importante es el porcentaje de citas de tus artículos: es decir, si se citan mucho y tu posición está entre el 10 o el 1 por ciento superior. Quizá donde más útil sea este indicador es en el nivel departamental. Otro indicador es la cantidad de fondos externos que puedes atraer. En el nivel universitario se utiliza mucho la posición de cada centro en los rankings universitarios. Todas las universidades revisan constantemente cuál es su posición en esas clasificaciones. A mí me parece un poco raro, pero estos son los indicadores más habituales.

 

¿Cómo medimos o comprendemos la calidad de la investigación? ¿Hay algún problema con esas medidas?

En mi campo el consenso dicta que lo mejor es el sistema de evaluación por pares informada, que conjuga indicadores cuantitativos y de citas con la propia evaluación sobre la calidad de la propuesta. En bibliometría algunos equiparan número de citas y calidad, pero no es nuestra opinión. Las citas miden la fiabilidad y el impacto a corto plazo, no la calidad, que exige un enfoque más multidimensional.

El problema de los indicadores es que no miden la calidad directamente: solo se pueden medir unas pocas dimensiones de la actividad científica. Hay dos problemas principales. El primero es que la evaluación por pares suele ser conservadora, porque se basa en la situación actual de la disciplina. El segundo radica en los índices de citación, porque se basan en la actividad pasada. En consecuencia, lo que pretendemos con el sistema científico es conjugar la evaluación por pares y los indicadores empíricos, pero también te puedes encontrar con propuestas que, por ser demasiado insólitas o radicales, los pares no las valoren, o con que no se miden cosas como la creatividad o lo buena que es la pregunta que da pie a una investigación.

 

¿Cómo podemos saber si la ciencia es socialmente relevante?

No hay una única respuesta para esa pregunta. Se necesitan realmente estudios de caso que puedan incorporar indicadores y bases de datos muy concretos. La definición del impacto debe ser muy específica, aunque la disciplina sea demasiado general.

Por ejemplo, tenemos un proyecto sobre el impacto de la investigación sobre dolencias cardiacas financiado por la Fundación Neerlandesa del Corazón. En él observamos cómo influye en las revistas clínicas profesionales, en la organización de la asistencia sanitaria, en las prácticas hospitalarias y en los tratamientos médicos. Pero también tenemos un proyecto con un grupo de investigación teológica. En este se habla de algo muy diferente: de cómo aborda la prensa los problemas o de cómo influye en el discurso general sobre, por ejemplo, el sentido de la vida.

 

¿La métrica puede cambiar la forma de investigar? ¿Cómo?

Sí, hay dos mecanismos principales: la financiación y las carreras profesionales. Conozco a varias personas cuyo campo de investigación ya no se sufraga porque los organismos de financiación ya no lo consideran interesante. Por ejemplo, en las universidades de los Países Bajos se ha expulsado a economistas de sus departamentos de Economía porque no estaban publicando en revistas de esa disciplina, así que se han trasladado a Sociología o Derecho, donde combinan la investigación económica con esas materias. A corto plazo, la evaluación puede tener una enorme influencia en cómo se investiga.

A la larga también influye. Determina qué concepción tienen del investigador quienes se están formando o educando. La nueva generación de investigadores está entrando en un sistema en el que esos indicadores son muy importantes, no conoce nada más. Para ellos es lo normal. El inconveniente es que así nunca pensarán que el objetivo de la investigación es resolver problemas concretos, sino que es un instrumento profesional basado en la publicación en revistas de gran impacto. De ese modo estamos corrompiendo verdaderamente el sistema científico; vamos en contra de la motivación fundamental de todo ese sistema.

 

¿Pueden los indicadores cambiar la definición de excelencia científica?

Sí, en realidad la cambian. Antes el reconocimiento de la excelencia científica estaba siempre en manos de expertos. Hoy en día se define como algo que se publica en las revistas más importantes. En el futuro volverá a cambiar, porque el factor de impacto de las revistas no es la mejor manera de evaluar la calidad. A la larga, lo que querremos detectar es qué innovación influye más en la estructura de nuestro conocimiento. Pero esto solo lo sabemos cuando pasan veinte años, así es que es difícil hacer pronósticos.

Esto también explica que nos interese tanto la evaluación. La forma de crear indicadores influye en la definición de la propia actividad que quieres medir y la transforma. Así que te ves en una especie de bucle de retroalimentación.

 

La ciencia abierta representa una innovación en la forma de realizar las investigaciones: ¿qué tiene de relevante este enfoque para la sociedad actual?

Los investigadores también se enfrentan a este problema, porque a veces comprueban que la ciencia abierta se parece a la evaluación, que se les impone. Se preguntan: «¿Pero qué pasa? ¡Mi trabajo es bueno!»

A mí me parece que abrir el proceso de creación del conocimiento encaja mejor con una sociedad en la que haya muchos ciudadanos bien formados que puedan decirles algo útil a los investigadores. Ya no hay razón para tener cerrada la ciencia, que ahora podría ser como un foro de intercambio de ideas. Así se reduciría el capital necesario para acceder a la actividad científica y eso solo puede reportar ventajas. Y también se aceleraría la innovación.

 

¿Cómo tendría que cambiar la evaluación si pasáramos de los procedimientos actuales a la ciencia abierta?

La evaluación y los sistemas de evaluación por pares también deberían hacerse más transparentes y abiertos. Es lógico que en un sistema de evaluación por pares los evaluadores se hagan responsables de su trabajo, que rindan cuentas. Es importante incorporar al proceso de evaluación a los interesados en el conocimiento y a sus usuarios. Por ejemplo, estamos participando en un experimento de la universidad holandesa de Utrecht que pretende que los pacientes de un hospital participen en la evaluación de las investigaciones. Pero este es un primer paso, porque yo creo que el proyecto no debería limitarse a los pacientes.

 

¿En qué consiste el movimiento altmetrics [las otras métricas]? ¿En qué sentido son estas métricas una alternativa?

Las altmetrics miden los procesos comunicativos y la actividad en los medios sociales, pero no creemos que sustituyan los indicadores tradicionales de calidad y de impacto. No se trata de medir la actividad científica para revistas especializadas. Por ejemplo, el hecho de que tu publicación se tuitee mucho puede significar varias cosas. Desde luego significa que tu artículo suscita muchas comunicaciones, que tú suscitas interés. No se puede equiparar tuiteo con impacto social, ni actividad en Facebook con amistad, porque una y otra cosa pueden ser muy distintas: ese tipo de actividades no siempre conlleva que haya calidad o influencias a largo plazo.

El contexto de cada evaluación es lo que debe definir cómo utilizar los indicadores en cada momento. No hay una fórmula única: los indicadores solo aparecen al final de la historia, así que no deben dirigir las investigaciones.

 

Entrevista por Chema Arcos y Mireia Pons

Clasificación

Etiquetas

Temáticas

Contenidos relacionados

Artículo

Evolución de la ciencia y la tecnología en España y Portugal

La Unión Europea se fijó el objetivo de que el sector empresarial invierta en I+D el 2 % del PIB. ¿Cómo está siendo la convergencia de España y Portugal hacia esta meta?

Actividad

Coloquio “Investigación e innovación en España y Portugal"

¿Cuáles son los factores decisivos en los sistemas de investigación e innovación de un país? ¿Y los vínculos entre ciencia y empresa? Puedes ver aquí el vídeo del coloquio que organizamos para debatir sobre el tema.

Buenas prácticas

Los instrumentos de participación ciudadana en el marco de la innovación tecnológica

¿Qué opina la sociedad acerca de los posibles impactos de la ciencia y la tecnología? Establecer mecanismos de participación ciudadana es necesario para generar confianza y detectar puntos de mejora.

Infodato

Gasto en I+D por sectores

En el 2019, el porcentaje de presupuesto público total destinado a I+D fue de un 1,24 % en España y un 0,82 % en Portugal, ambos por debajo de la media de la EU-27.

Infodato

Empresas innovadoras y cooperación empresarial en actividades de I+D

En España y Portugal, la proporción de empresas innovadoras, así como el grado en el que estas colaboran con otras empresas y organizaciones, es inferior a la media de la EU-27.

También te puede interesar

La España desertificada

Artículo

La España desertificada


Ciencia

Un 17,5 % del territorio rural está expuesto simultáneamente a altas tasas de despoblación y de aridez. Este estudio analiza cómo algunos factores de mitigación de la despoblación pueden acarrear efectos no deseados, tanto de tipo social como ambiental.

Desigualdades en la investigación sobre las desigualdades de la covid-19: ¿quién tenía la capacidad de respuesta?

Artículo

Desigualdades en la investigación sobre las desigualdades de la covid-19: ¿quién tenía la capacidad de respuesta?


Ciencia

¿Existió desigualdad en la investigación sobre las desigualdades de la covid-19?Lo analizamos en este estudio comparativo centrado en la producción y distribución de investigaciones y las colaboraciones entre países.

El ámbito de las STEM no atrae el talento femenino

Artículo

El ámbito de las STEM no atrae el talento femenino


Ciencia

En España, solo el 16% de los profesionales del área de las STEM son mujeres. Analizamos esta brecha de género.