mayo 2023

CoARA: coalición para cambiar la evaluación de la investigación

Dedicamos esta entrada a una breve presentación de CoARACoalition for Advancing Research Assessment‘), alianza formada por instituciones académicas, organizaciones y expertos para promover y avanzar en la forma en que se evalúa la calidad, el impacto y la relevancia de la investigación. En España podemos citar a Fecyt, Aneca, CSIC y una amplia representación de las universidades (CRUE incluida).

logo e CoARA, alianza para cambiar la evaluación de la investigación

En el año 2020 la Comisión Europea acordó promover una reforma de la evaluación de la investigación. Casi terminado 2021, publica en diciembre el documento «Hacia una reforma del sistema de evaluación de la investigación» en el que se invitaba a las instituciones científicas europeas e internacionales a construir una coalición voluntaria para avanzar conjuntamente hacia un nuevo paradigma. El Consejo Europeo apoyó en junio de 2022 la necesidad de reformas en evaluación, en especial en relación con la ciencia abierta. De todas estas iniciativas surge CoARA.

La idea que subyace es abordar las limitaciones y desafíos actuales en los sistemas de evaluación de la investigación. Se pretende impulsar un cambio hacia enfoques más efectivos, justos y transparentes en la evaluación académica, centrados en prácticas y métricas de evaluación más sofisticadas que vayan más allá de los indicadores tradicionales, como el factor de impacto de las revistas científicas (el indicador «por excelencia» hasta ahora que juzga más el alcance de la revista que el contenido de la investigación publicada en ella).

Las iniciativas promovidas por CoARA tienen aplicaciones potenciales en el ámbito de la evaluación de la investigación:

  1. Evaluación basada en el mérito: se busca fomentar un sistema de evaluación basado en el mérito y la calidad de la investigación, en lugar de depender únicamente de indicadores cuantitativos. Esto puede permitir una evaluación más justa y equitativa de los investigadores y sus contribuciones.
  2. Diversificación de indicadores: se promueve la incorporación de una amplia variedad de indicadores para evaluar la investigación, más allá del factor de impacto de las revistas científicas. Esto incluye métricas alternativas, como el alcance y la relevancia de la investigación, su influencia en la sociedad o, por supuesto, la adopción de enfoques más cualitativos.
  3. Evaluación de impacto social: la alianza asigna importancia al impacto social de la investigación científica. Esto es considerar cómo los resultados de la investigación contribuyen al desarrollo de la sociedad, abordando y resolviendo desafíos (las vacunas contra la COVID-19, por ejemplo), mejorando políticas o beneficiando a comunidades específicas.
  4. Evaluación multidimensional: se debe avanzar hacia una evaluación multidimensional que tenga en cuenta aspectos como la reproducibilidad, la integridad científica, la colaboración, la comunicación y el liderazgo en el campo de estudio.
  5. Transparencia y apertura: se aboga por mayor transparencia y más apertura en los procesos de evaluación de la investigación. Esto implica promover la disponibilidad de datos y métodos utilizados en la evaluación, así como la comunicación clara de los criterios y estándares utilizados.

En resumen, CoARA aspira a avanzar en la evaluación de la investigación científica por medio de enfoques más efectivos, justos y transparentes, pretendiendo impulsar un cambio significativo en la forma en que se evalúa la investigación. Sus iniciativas abarcan desde la diversificación de indicadores hasta la evaluación del impacto social y el aumento de la transparencia y la apertura. Al fomentar prácticas de evaluación más sofisticadas y equitativas, tiene el potencial de mejorar la evaluación de la investigación y promover un entorno académico más justo y dinámico. Ojalá sea posible.

Falta algo de rigor y sobra bastante promiscuidad en la comunicación científica

En las últimas semanas se han detectado malas prácticas por parte de investigadores y universidades árabes que han puesto en duda el rigor de la comunicación científica.

portada antigua de una revista científica

Las primeras revistas científicas surgen en Francia e Inglaterra en la Ilustración: el Journal das Scavans y Philosophical Transactions y en ellas escribieron Pascal, Descartes, Leibniz, Newton, Locke, Halley y Bacon, entre muchos otros.

Esto representó el inicio del ecosistema de la comunicación científica, contexto donde, hoy en día, ya no solo participan los intelectuales de las sociedades aristocráticas que escribían los artículos y los eruditos que los leían. Poco a poco. Con el paso del tiempo, se incorporaron al mismo las editoriales y las distribuidoras científicas, las investigaciones abandonaron este entorno y se trasladaron a las universidades y, ya en la edad contemporánea, a institutos y centros de investigación especializados. Todo este proceso ha estado vehiculado de la mano del artículo científico, el tipo documental inédito y original que describe los resultados de una investigación y que se somete a una revisión por expertos antes de su publicación en una revista.

La teoría de la evolución por selección natural de Charles Darwin se puede aplicar a muchos ámbitos de la vida y de nuestra actividad cotidiana, no solo a los ecosistemas formados por los seres vivos. Dentro de la comunicación científica, la competencia por la publicación de artículos en las revistas de mayor prestigio es inmensa y en ella participan (antes se podía escribir «en buena lid«, ahora surgen dudas), investigadores de todos los países del mundo, buscando el mayor impacto de su investigación y el prestigio asociado. Estos factores vienen dados, hoy en día, más por el medio (la revista) que por el contenido del artículo (la investigación), lo cual es, en cierto modo, algo contradictorio y discutible, a pesar de ser lo habitual.

Las editoriales han de velar por el respeto a los principios de la comunicación científica: que no se plagie, que se cite la autoría de trabajos previos, que no se falseen o alteren los datos de investigación, etc., únicamente así podrán sobrevivir en este ecosistema. Los autores deben cumplir estas premisas y someter sus trabajos a un proceso de “revisión por pares(otros científicos expertos en la temática) que valorarán su nivel científico con vistas a su publicación. Los revisores pedirán cambios o, directamente, los rechazarán si estos textos no alcanzaran el nivel exigido por la publicación (o por si se detectan malas prácticas).

Una parte de estas revistas se publican sin ánimo de lucro, permitiendo sus editores la lectura gratuita de los artículos, compitiendo en desigualdad de condiciones con las revistas pertenecientes a las grandes editoriales científicas comerciales: Elsevier, Springer, Cambridge University Press, Nature, Royal Society of Chemistry, etc. Las suscripciones a estas revistas son muy costosas, quedando prácticamente vetado su acceso a los científicos y estudiantes de muchas partes del mundo, especialmente en aquellos países en (permanente) vía de desarrollo. Incluso cuando estas publicaciones se digitalizaron, sus editores no descendieron los costes de las suscripciones, a pesar de que ya no existen los gastos de impresión y envío.

A principios de este siglo, se aprobaron las declaraciones de Budapest, Betsheda y Berlín a favor del acceso abierto a la información: Su objetivo es hacer posible un acceso más universal a los resultados de las investigaciones a través de internet. Volviendo a la teoría darwiniana, dentro del ecosistema de la comunicación científica, los editores vieron que su negocio podía verse amenazado por estos principios tan loables como, por desgracia en muchos casos, ilusorios. Las empresas propietarias de las editoriales se adaptaron y evolucionaron, introduciendo medidas correctoras que han llegado incluso a subvertir la propia definición de acceso abierto, porque ahora ya no es libre y gratuito en todos los casos, sino que precisa de un pago previo de unas tasas para publicar un artículo (más conocidas por APCs).

caricatura sobre las revistas predadoras

Tras superar este primer intento de introducir cambios en el hábitat donde imponen el devenir de los acontecimientos, estas editoriales siguen desarrollando su actividad, en algunos casos incluso han conseguido recubrirse de una cierta pátina de responsabilidad social. Pero, en todo ecosistema, por muy seguro que parezca para la especie dominante, siempre aparecen nuevos depredadores más fuertes, viéndose los integrantes de la especie predominante obligados a luchar por defender su posición de privilegio y, en muchos casos, su vida.

No es casualidad que uno de los problemas actuales que más perjudican a la comunicación cient´fiica en particular (y a la Ciencia en general) venga de la mano de revistas conocidas como “predadoras, apelativo que se aplica a aquellas que se hacen pasar por una revista científica legítima, pero que en realidad no aplican procesos de revisión por pares rigurosos y aceptan publicar prácticamente cualquier artículo a cambio de una tasa o APC. Lo cierto es que estas revistas representan una verdadera amenaza para la integridad y la calidad de la literatura científica, sus escasos niveles de rigor y calidad no les alcanzan para ser considerados como medios de comunicación de la investigación legítimos.

publicidad de un megajournal donde queda claro que publican artículos de cualquier disciplina

De forma paralela, han surgido los ‘megajournals’, revistas que publican una amplia variedad de artículos en múltiples disciplinas a diferencia de las editoriales especializadas, que se centran en un tema o campo de investigación específico. Estas nuevas revistas no son exactamente·»depredadoras», si bien hay dudas razonables sobre sus procesos de revisión. La realidad se impone, y ahora, tanto las «predadoras» como los ‘megajurnals’ ocupan espacios en el ecosistema de la comunicación científica donde antes habitaban otros agentes que han tenido que reajustarse y trasladarse. Y esto no se ha quedado ahí porque, casi de la noche a la mañana, han aparecido nuevas editoriales que mezclan el modelo de negocio de las tradicionales revistas especializadas con el de los `megajournals’, cobrando altas cantidades dinero a modo de APC y que no parecen cumplir con unos criterios mínimos de calidad en sus revisiones, habiéndose disparado así el número de los artículos científicos retractados en revistas propiedad de algunas de estas editoriales (léase mdpi, Frontiers o Hindawi).

Por si faltaba algún elemento para distorsionar el ecosistema, comienzan a detectarse influencias nada recomendables de los distintos ránquines de universidades (en particular el ARWU o “ranking de Shangai” que en España se hizo famoso por medio del nefasto exministro de Universidades José Ignacio Wert). Uno de los criterios que se valoran en estas “listas de éxitos” (como bien escribía hace unos días la profesora Eva Méndez en El País) es contar entre tus científicos a aquellos clasificados como «altamente citados» (en el recientemente publicado informe de 2002, son 6938 los autores cuyos trabajos reciben el 1% de todas las citas a nivel mundial en su disciplina según la base de datos Web of Science).

Muchas universidades han ascendido posiciones en esos ránquines fichando falsamente a científicos de otras instituciones, pagándoles por cambiar la información sobre el lugar de trabajo que todos ponemos en nuestros artículos (la mayoría de nosotros con sincero orgullo de militancia). Personas que nunca han estado en la península arábiga, aparecen ahora como “trabajadores” de universidades de esa parte del mundo, cuando la institución que paga sus sueldos y financia las infraestructuras para que puedan llevar a cabo sus investigaciones son otras, generalmente públicas, que aportan ese dinero procedente de los presupuestos públicos. Como mínimo, esto es un inmenso desprecio a los ciudadanos y ciudadanas que pagan sus impuestos, aunque parece algo más grave.

Las noticias publicadas por Manuel Ansede en El País muestran una realidad desagradable y que no puede consentirse. La Universidad de Córdoba ha señalado el camino a seguir para corregir estas malas prácticas suspendiendo de empleo y sueldo a un investigador por 13 años, otras deberían seguir su ejemplo. En cambio, la mayoría de los 19 investigadores identificados en España por haber llevado a cabo estas malas prácticas, siguen trabajando en sus universidades o centros de investigación, aparentemente sin apertura de expedientes disciplinarios. Lo mismo ocurre con aquellas personas que han ejercido de mediadores para «captar» a estos investigadores. Incluso una investigadora de un instituto de investigación de Cataluña informa de que renuncia a ese contrato para seguir con las universidades árabes (no he podido verificar esto último, por eso no concreto mucho más).

Personalmente pienso que no es tolerable esta infidelidad, más bien promiscuidad en muchos casos.

Dejando aparte la cuestión administrativa, y para finalizar, es lógico que nos preguntemos si se puede luchar contra todos estos problemas. La respuesta es simple: se puede y se debe. Se tiene que actuar desde muchos ámbitos para corregir hábitos indeseables fuertemente asentados. La LOSU habla de valorar la ciencia con los principios FAIR (encontrabilidad, accesibilidad, interoperabilidad y reutilización) como medida correctora. Es bien sabido que estas ideas constituyen uno de los pilares de la ciencia abierta, un nuevo intento de suturar las heridas que todas estas malas prácticas han introducido y de tender puentes para aminorar las distintas brechas que impiden el libre acceso a los resultados de la investigación por parte de todas las personas.

La ciencia será abierta, o no lo será.

#CienciaAbierta ya!!

España aprueba la Estrategia Nacional de Ciencia Abierta (II)

Ciencia Abierta: estrategia nacional de España

La Estrategia Nacional de Ciencia Abierta (ENCA) aprobada esta semana se canaliza por medio de ejes de actuación y medidas concretas que parten de los objetivos estratégicos presentados en el anterior port.

Recordemos que ENCA es un plan desarrollado por el gobierno de España para promover el acceso abierto. la colaboración en la investigación científica y la transparencia en la actividad investigadora de nuestro país. Su desarrollo se llevará a cabo por medio de unas medidas concretas que, juntas, definen los ejes de actuación.

Síntesis

En la siguiente tabla recogemos una visión sintética de todos elementos que dan lugar a la estrategia. Además, se ha añadido una columna en la que se indica los principios FAIR que se alcanzarían de aplicarse todas esas medidas.

Objetivo específicoEje estratégicoMedidas a desarrollarFAIR
Fomentar la adopción de prácticas abiertas en toda la comunidad científica española. Cultura de ciencia abierta.Elaboración de un plan de formación y sensibilización.
Apoyo a las iniciativas existentes.
Promoción de una cultura de datos abiertos y de su reutilización
Facilidad de acceso.
Reutilización.
Mejorar y ampliar la infraestructura necesaria para el acceso y la gestión de los datos científicos. Infraestructuras y serviciosDesarrollo de repositorios institucionales.
Creación de un portal nacional de datos científicos.
Apoyo al desarrollo de infraestructuras de datos a nivel europeo e internacional.
Facilidad de acceso.
Accesibilidad.
Reutilización.
Garantizar que la ciencia abierta se integre en la formación y la carrera profesional de los investigadores.Recursos humanos y financiación.Inclusión de la ciencia abierta en los programas de formación.
Creación de una red de mentores.
Promoción de incentivos para la adopción de prácticas abiertas.
Fomento de la colaboración internacional en formación en ciencia abierta.
Reutilización.
Accesibilidad.
Interoperabilidad.
Establecer mecanismos de evaluación y seguimiento que permitan medir el impacto de la ciencia abierta en España.Evaluación y seguimiento.Creación de un sistema de indicadores.
Realización de evaluaciones periódicas.
Elaboración de informes de seguimiento y evaluación.
Facilidad de acceso.
Tabla resumen de los objetivos, ejes, medidas concretas para desarrollar la ENCA en relación con los principios FAIR.

Eje 1: Cultura de Ciencia Abierta

Infografía sobre la Cultura de la Ciencia Abierta

El primer eje estratégico de la ENCA busca fomentar la adopción de prácticas abiertas en toda la comunidad científica española. Para lograr este objetivo, se propone lo siguiente:

  • Elaboración de un plan de formación y sensibilización. Se buscará formar a investigadores, personal de apoyo a la investigación y otros profesionales en los conceptos y prácticas de la ciencia abierta, y sensibilizar a la comunidad científica sobre su importancia, trascendente en muchos ámbitos.
  • Apoyo a las iniciativas existentes de ciencia abierta. Se apoyarán y promoverán iniciativas y proyectos existentes en España que estén alineados con los objetivos de la ENCA.
  • Promoción de una cultura de datos abiertos y de su reutilización. Se promoverá la apertura de los datos científicos para su reutilización y la elaboración de políticas de gestión de datos que aseguren la preservación y el acceso a largo plazo de los mismos.

Eje 2: Infraestructuras y servicios

infraestructuras y servicios para la Ciencia Abierta

El segundo eje estratégico de la estrategia busca mejorar y ampliar la infraestructura necesaria para el acceso y la gestión de los datos científicos. Para lograrlo, se proponen estas medidas:

  • Desarrollo de repositorios institucionales. Se promoverá la creación de estos repositorios de acceso abierto en las universidades y centros de investigación españoles para almacenar y difundir los resultados de la investigación (en realidad, la casi totalidad de las universidades públicas ya cuentan con ellos, eso sí, con una variada implementación).
  • Creación de un portal nacional de datos científicos. Se creará un portal nacional que recopile los datos científicos que reúna y facilite el acceso a los datos científicos generados en nuestro país. Argentina ya lo lanzó en el año 2020.
  • Apoyo al desarrollo de infraestructuras de datos a nivel europeo e internacional. Se promoverá la participación española en iniciativas y proyectos internacionales relacionados con la gestión y el acceso abierto a los datos científicos.

Eje 3: Recursos humanos y financiación

recursos humanos para la Ciencia Abierta

El tercer eje estratégico persigue garantizar que laiencia abierta se integre en la formación y la carrera profesional de los investigadores. Para lograr este objetivo, se propone este conjunto de medidas:

  • Inclusión de la ciencia abierta en los programas de formación. Se intentará incluirla en los programas de formación en ciencias y tecnologías para que los futuros investigadores adquieran habilidades y conocimientos en la gestión y el acceso abierto a los datos científicos.
  • Creación de una red de mentores de ciencia abierta. Se creará una red de mentores que proporcionen apoyo y asesoramiento a los investigadores y profesionales interesados en esta temática (a modo de los mentores para el emprendimiento).
  • Promoción de incentivos para la adopción de prácticas abiertas. Se fomentará la inclusión de criterios relacionados con la ciencia abierta en la evaluación y acreditación de la investigación y se promoverán incentivos para la adopción de prácticas abiertas.
  • Fomento de la colaboración internacional en formación en ciencia abierta. Se buscará establecer colaboraciones y programas conjuntos de formación en esta temática con instituciones internacionales de referencia.

Eje 4: Evaluación y seguimiento

evaluación y seguimiento de la Ciencia Abierta

El cuarto eje estratégico de la ENCA busca establecer mecanismos de evaluación y seguimiento para intentar medir el impacto de la ciencia abierta en España. Para alcanzar este objetivo, se proponen las siguientes medidas:

  • Creación de un sistema de indicadores: Se desarrollarán indicadores para medir el impacto de la ciencia abierta en diferentes áreas, como la producción científica, el acceso abierto a los datos, la transparencia y la participación ciudadana.
  • Realización de evaluaciones periódicas para analizar el estado y la evolución de la ciencia abierta en España.
  • Elaboración de informes de seguimiento y evaluación de la implementación de la estrategia para identificar debilidades y proponer ajustes y posibles mejoras.

Hasta aquí, la presentación y descripción general de la idea, los objetivos y las medidas con las que se quiere llegar a conseguirlos y asentar la ciencia abierta en España. En la próxima entrega de esta «miniserie» dedicada a la ENCA aportaremos nuestra visión crítica sobre algunos aspectos porque en todo documentos de este tipo hay siempre luces y sombras.

España aprueba la Estrategia Nacional de Ciencia Abierta (I)

Estrategia Nacional de Ciencia Abierta, presentación.

El Consejo de Ministros ha aprobado hoy la primera Estrategia Nacional de Ciencia Abierta para el periodo entre 2023 y 2027. Este documento ha sido elaborado por los ministerios de Ciencia e Innovación y de Universidades.

Esta estrategia (ENCA) es un plan desarrollado por el gobierno de España que busca promover el acceso abierto y la colaboración en la investigación científica en todo el país. La estrategia establece los objetivos y las acciones necesarias para garantizar que la ciencia abierta se convierta en la norma en España en el corto, medio y largo plazo.

Contexto

Esta estrategia se enmarca esta estrategia es el de una sociedad cada vez más digitalizada en la que la ciencia y la investigación juegan un papel clave en el desarrollo económico y social. Se considera que la ciencia abierta puede y debe contribuir significativamente a mejorar la eficiencia y la calidad de la investigación científica, fomentar la innovación y el desarrollo económico, mejorar la transparencia y la rendición de cuentas, y fomentar la participación ciudadana en la ciencia y la tecnología.

visión, misión y objetivos

Visión y misión

La visión de la ENCA es que la ciencia abierta se convierta en una práctica común en toda la comunidad científica española. Se busca fomentar la transparencia, la colaboración y el intercambio de conocimiento a través de la promoción de la cultura de la ciencia abierta, fomentando el acceso abierto y la colaboración en la investigación científica, lo que confiere una mayor transparencia y rendición de cuentas, así como un mayor impacto de la investigación. Además, puede fomentar la innovación y el desarrollo económico, así como la participación ciudadana en la ciencia y la tecnología.

La misión de la ENCA es desarrollar políticas, medidas y recursos que permitan lograr esta visión. La estrategia se enfoca en cuatro áreas principales: cultura de ciencia abierta, infraestructuras y servicios, recursos humanos y financiación, y evaluación y seguimiento.

Objetivos estratégicos

Los objetivos de esta estrategia nacional se agrupan en cuatro áreas principales:

  • Cultura de ciencia abierta: este objetivo busca fomentar la adopción de prácticas abiertas en toda la comunidad científica española. Se propone la elaboración de un plan de formación y sensibilización, el apoyo a las iniciativas existentes de ciencia abierta y la promoción de una cultura de datos abiertos y reutilización.
  • Infraestructuras y servicios: este objetivo busca mejorar y ampliar la infraestructura necesaria para el acceso y la gestión de los datos científicos. Se propone el desarrollo de repositorios institucionales y la creación de un portal nacional de datos científicos, entre otras medidas.
  • Recursos humanos y financiación: este objetivo busca garantizar que la ciencia abierta se integre en la formación y la carrera profesional de los investigadores. Para lograr esto, se propone la inclusión de la ciencia abierta en los programas de formación, la creación de una red de mentores y la promoción de incentivos para la adopción de prácticas abiertas.
  • Evaluación y seguimiento: este objetivo busca establecer mecanismos de evaluación y seguimiento que permitan medir el impacto de la ciencia abierta en España. Se propone la creación de un sistema de indicadores y la realización de evaluaciones periódicas.

La justificación de la ENCA se basa en la idea de que la ciencia abierta puede contribuir significativamente a mejorar la eficiencia y la calidad de la investigación científica, fomentar la innovación y el desarrollo económico, mejorar la transparencia y la rendición de cuentas, y fomentar la participación ciudadana en la ciencia y la tecnología. Se considera que la ciencia abierta puede ser clave en la lucha contra los desafíos globales, como la COVID-19 y el cambio climático.

En resumen, la Estrategia Nacional de Ciencia Abierta es un plan desarrollado por el gobierno de España para promover la ciencia abierta en todo el territorio nacional. La estrategia busca fomentar la cultura de la ciencia abierta, mejorar las infraestructuras y servicios relacionados con la ciencia abierta, garantizar que la ciencia abierta se integre en la formación y la carrera profesional de los investigadores, y establecer mecanismos de evaluación y seguimiento para medir el impacto de la ciencia abierta.

En la siguiente entrada trataremos de analizar con más detalle cómo piensa el gobierno de España alcanzar estos objetivos.

Declaraciones de referencia

icono del open access movement - acceso abierto a la información

Entre los documentos citados en la ENCA, no podían faltas las tres declaraciones que dieron cuerpo al acceso abierto a la información. Estos documentos constituyen la base de todo este movimiento y que pueden servir para conocer mejor qué es la Ciencia Abierta:

Estos documentos pueden proporcionar una base sólida para comprender mejor los principios y prácticas de la Ciencia Abierta, si bien no tenemos tan claro que el Plan S «sea el camino«.