acceso abierto

DORA: Declaración de San Francisco sobre la evaluación de la investigación.

Logotipo de la declaración DORADe largo existe un amplio debate sobre la necesidad de mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos de interés evalúan la investigación científica. Para abordar este tema, en diciembre del año 2012, un grupo de editores de revistas científicas se reunió en San Francisco aprovechando el encuentro anual de la American Society for Cell Biology (ASCB). Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación, invitando a los grupos de investigación interesados de todas las disciplinas científicas a mostrar su apoyo añadiendo su nombre a esta declaración.

Como todos sabemos, los productos de la investigación científica son muchos y variados, e incluyen: artículos científicos que informan de los avances de la ciencia y de la generación de nuevos conocimientos, datos, reactivos y software; propiedad intelectual y también sirven para conocer el trabajo de jóvenes científicos capacitados. Las agencias financiadoras, las instituciones que emplean a los científicos y ellos mismos, tienen la necesidad de evaluar la calidad y el impacto de los resultados de sus investigaciones. Y siempre ha existido una discusión permanente sobre si el método tradicional de evaluación (basado fundamentalmente en el factor de impacto de la revista científica donde se publica nuestros trabajo) representa de verdad la calidad del mismo. En estos momentos ya es imperativo que la producción científica se mida con precisión y prudencia.

Entrada al Instituto de Información de Filadelfia, donde se creó el Factor de Impacto.
Entrada al Instituto de Información de Filadelfia

El factor de impacto se utiliza con frecuencia como parámetro principal con el que comparar la producción científica de individuos e instituciones. Este factor fue calculado, en un principio por Eugene Gardfield en el Instituto de Información de Filadelfia, luego Thomson Reuters y ahora por Clarivate Analytics, se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar las mejores revistas para completar las colecciones de sus instituciones, no como indicador de la calidad científica de un artículo. Teniendo esto en cuenta, es fundamental comprender que el factor de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación.

Estas limitaciones incluyen:

  1. Las distribuciones de citas dentro de las revistas son muy sesgadas (Adler, Ewing y Taylor, 2008).
  2. Las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisiones (Vanclay, (2012).
  3. Los factores de impacto pueden ser manipulados (o evaluados) por la política editorial (The PLoS Medicine Editors, 2006), y
  4. los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público [4, 6, 7]. (Vanclay, (2012), (Rossner et al., 2007) y (2008).

Recomendaciones

El grupo de trabajo reunido en San Francisco elaboró un conjunto de recomendaciones para mejorar la forma en la que se evalúa la calidad de la producción científica. Los productos que no sean artículos científicos crecerán en importancia a la hora de evaluar la eficacia de la investigación en el futuro, pero el documento por excelencia de la comunicación de los avances en la investigación revisado por pares seguirá siendo primordial para la evaluación de la investigación. Por lo tanto, estas recomendaciones se centran en las prácticas relacionadas con los artículos científicos publicados en revistas revisadas por pares, pero se puede y se debe ampliar su alcance recogiendo elementos adicionales, como los conjuntos de datos, ya que son productos de investigación importantes. Las recomendaciones se dirigen a las agencias financiadoras, instituciones académicas, revistas, organizaciones que proporcionan métricas e investigadores individuales y cubren:

  • La necesidad de eliminar el uso de métricas basadas en revistas, tales como el factor de impacto, en consideraciones de financiamiento, nombramiento y promoción,
  • La necesidad de evaluar la investigación por sus propios méritos (del autor o autores) en lugar de basarse en la revista en la que se publica la investigación, y …
  • … la necesidad de capitalizar las oportunidades que ofrece la publicación en línea (como flexibilizar los límites innecesarios en el número de palabras, figuras y referencias en los artículos, y explorar nuevos indicadores de importancia e impacto).

Hay que reconocer que bastante agencias financiadoras, instituciones, editores e investigadores ya están fomentando mejores prácticas en la evaluación de la investigación. Dichos pasos están comenzando a aumentar el impulso hacia enfoques más sofisticados y significativos para la evaluación de la investigación que ahora pueden ser desarrollados y adoptados por todas las partes clave involucradas.

Los signatarios de la Declaración de San Francisco sobre la Evaluación de la Investigación apoyan la adopción de las siguientes prácticas en la evaluación de la investigación.

Recomendación general

  1. No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.

Para las agencias de financiación

  1. Sea explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de fondos de investigación, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.
  2. Con el fin de evaluar la investigación, considere el valor y el impacto de todos los resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto que incluyan indicadores cualitativos, como la influencia sobre la política y prácticas científicas.

Para las instituciones

  1. Sea explícito sobre los criterios utilizados para realizar decisiones de contratación, permanencia y promoción, destacando, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.
  2. Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas (el mismo consejo que se le ha dato a las agencias).

Para las editoriales

  1. Reducir profundamente el énfasis en el factor de impacto como herramienta promocional, idealmente dejando de promover su uso o presentando la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, factor de impacto de 5 años, EigenFactor, SCImago, el índice h, tiempo editorial y de publicación, etc.) que proporcionan una visión más amplia del rendimiento de la revista.
  2. Poner a disposición una variedad de métricas a nivel de artículo para alentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.
  3. Fomentar las prácticas de la autoría responsable y la provisión de información sobre las contribuciones específicas de cada autor.
  4. Independientemente de que una revista sea de acceso abierto o basada en suscripciones, se deben eliminar todas las limitaciones de reutilización de las listas de referencias en los artículos de investigación y procurar que estén disponibles bajo la dedicación de dominio público de Creative Commons.
  5. Eliminar o reducir las restricciones al número de referencias en los artículos de investigación y, cuando corresponda, ordene la citación de la literatura primaria a favor de las revisiones para dar crédito al grupo o los grupos que primero informaron de un hallazgo.

Para las organizaciones que proporcionan métricas

  1. Ser abiertos y transparentes al proporcionar datos y métodos utilizados para calcular las métricas.
  2. Proporcionar los datos bajo una licencia que permita la reutilización sin restricciones y proporcione acceso computacional a los datos, cuando sea posible.
  3. Especificar que no se tolerará la manipulación inapropiada de las métricas; sea explícito sobre lo que constituye una manipulación inapropiada y qué medidas se tomarán para combatirla.
  4. Tener en cuenta la variación en los tipos de artículos (por ejemplo, revisiones frente a artículos de investigación) y en las diferentes áreas temáticas al utilizar, agregar o comparar métricas.

Para los investigadores

  1. Cuando se participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, se deben realizar evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.
  2. Cuando sea apropiado, se debe citar literatura primaria en que las observaciones son referidas primero, en lugar de revisiones para dar crédito donde debe darse.
  3. Utilizar una gama de métricas e indicadores basadas en declaraciones personales y de apoyo, como evidencia del impacto de artículos individuales publicados y otros resultados de investigación.
  4. Impugnar las prácticas de evaluación que dependan indebidamente del factor de impacto y promover y transmitir prácticas que se centren en el valor y la influencia de los resultados de investigación específicos.
El factor de impacto, atrayente de masas
«No caigas en el lado oscuro, es fuete y poderoso»

Berners-Lee propone un «contrato para la web».

fragmento del contrato para la web de Sir Tim Berners Lee

fragmento del contrato para la web de Sir Tim Berners Lee

«La Web se diseñó para unir a la gente y hacer que el conocimiento fuese accesible para todos y todas. Ha cambiado el mundo para bien y ha mejorado la vida de miles de millones de personas. Sin embargo, todavía hay muchas personas que no pueden acceder a sus ventajas y muchas otras para las que la Web supone un coste demasiado elevado.

Todos tenemos un papel que cumplir a la hora de salvaguardar el futuro de la Web. Los representantes de más de 80 organizaciones redactaron el Contrato para la Web en nombre de gobiernos, empresas y la sociedad civil. En él se establecen los compromisos que deben guiar las políticas digitales. Con el fin de alcanzar los objetivos del Contrato, los gobiernos, las empresas, la sociedad civil y las personas deben comprometerse con el desarrollo sostenido de dichas políticas, así como con la defensa y la implementación de este texto».

Así presenta Sir Tim Berners-Lee, el inventor de la web, su nueva iniciativa que ha llamado «Contrato para la Web«. El objeto de la misma es garantizar que todos tenemos acceso a ella, no solo las personas que viven en países donde el nivel de vida lo permita y gobernados por sistemas democráticos. La idea de Berners-Lee va en la línea de conseguir el verdadero acceso universal a «su criatura», la que propuso casi de escondidas a sus jefes del CERN hace ya 30 años. 

Este contrato se estructura en 9 principios básicos, los presentamos de forma resumida:

  1. Asegurarse de que todo el mundo pueda conectarse a internet para que cualquier persona, independientemente de quién sea o dónde viva, pueda participar de forma activa en la red.
  2. Hacer que la totalidad de internet esté disponible en todo momento para que a nadie se le niegue el derecho a disfrutar de un acceso completo a la red.
  3. Respetar y proteger los derechos básicos de las personas sobre sus datos y su privacidad en la red para que todo el mundo pueda usar Internet libremente de forma segura y sin miedo.
  4. Hacer que el acceso a internet sea asequible y accesible para todo el mundo para que nadie quede excluido del uso y el desarrollo de la web.
  5. Respetar y proteger la privacidad y los datos personales, con el fin de generar confianza en la red para que las personas tengan el control sobre sus vidas en Internet y que cuenten con opciones claras y relevantes en lo relativo a sus datos y su privacidad. 
  6. Desarrollar tecnologías que promuevan lo mejor de la humanidad y contribuyan a mitigar lo peor para que la web sea realmente un bien público en donde prevalezca el interés de las personas.
  7. Crear y colaborar en la web para que la web tenga un contenido rico y relevante para todos.
  8. Construir comunidades sólidas que respeten el discurso civil y la dignidad humana para que todo el mundo se sienta seguro y bienvenido en la red.
  9. Luchar por la web para que siga siendo abierta y un recurso público global para las personas de todo el mundo, ahora y en el futuro. 

Estos principios afectan (son reclamaciones más bien) a gobiernos, empresas y ciudadanos. Eso quiere decir que están dirigidos a gran parte (a lo mejor a toda) de la sociedad actual. Asegurar que la red tenga infraestructura suficiente, que el acceso sea lo más barato posible, que se respeten los derechos de los usuarios y que su uso esté dirigido a mejorar a las personas, son causas por las que vale la pena postularse, más allá de rellenar el formulario de adhesión y hacer clic con el dedo en la pantalla del teléfono.

A por ello ….

El carácter selectivo de la recuperación de información

recuperación de datos e informaciones (nube)

recuperación de datos e informaciones (nube)

 

Uno de los libros fundamentales sobre recuperación de información es la obra ‘Language and representation in information retrieval de D.C. Blair de 1990. Y una de sus principales aportaciones es, sin duda alguna, el llegar a establecer una clara diferenciación entre el término ‘data retrieval’ y el término ‘information retrieval’, utilizando como criterios distintivos: 

  1. En recuperación de datos se usan preguntas altamente formalizadas, cuya respuesta es directamente la información deseada. En cambio, en recuperación de información las preguntas resultan difíciles de trasladar a un lenguaje normalizado (aunque existen lenguajes para ello son de naturaleza mucho menos formal que los empleados en los sistemas relacionales) y la respuesta es un conjunto de documentos que pueden contener, sólo probablemente, lo deseado, con un evidente factor de indeterminación.
     
  2. De lo anterior y según la relación entre el requerimiento al sistema y la satisfacción de usuario, la recuperación de datos es determinista y la recuperación de información es posibilista, por causa del nivel de incertidumbre presente en la respuesta.
     
  3. En cuanto al éxito de la búsqueda, en recuperación de datos el criterio a emplear es la exactitud de lo encontrado, mientras que en recuperación de información, el criterio de valor es el grado en el que la respuesta obtenida satisface las necesidades de información del usuario, es decir, su percepción personal de utilidad, más conocido como la relevancia de la respuesta..

Jesús Tramullas destaca un aspecto de las reflexiones de Blair, “la importancia, en ocasiones ignorada, que tiene el factor de predicción. Predicción por parte del usuario, ya que éste debe intuir, en numerosas ocasiones, los términos que han sido utilizados para representar el contenido de los documentos, independientemente de la presencia de mecanismos de control terminológico. Este criterio de predicción es otro de los elementos que desempeñan un papel fundamental en el complejo proceso de la recuperación de información” y que no se presenta en el campo de la recuperación de datos.