Seguir leyendo…
Uncategorized
No todo es Shangai en el mundo de los rankings
En las primeras semanas de las elecciones a Rector en la Universidad de Murcia celebradas hace unos meses, el tema de moda era la repetida frase de uno de los candidatos sobre la necesidad de situar a nuestra institución en los 500 primeros puestos del mediático Ranking de Shangai (ARWU). Fue tal la pasión que se puso en el tema que creemos se está llegando a producir un cierto efecto rebote sobre esta cuestión, comenzando a generar rechazo hacia los rankings entre los miembros de la comunidad universitaria (muchos de ellos reacios a cualquier tipo de evaluación y/o comparación de su actividad).
Suele ser habitual leer de vez en cuando la necesidad de situar a una universidad en los 500 primeros puestos del mediático Ranking de Shangai (ARWU). Es un anhelo de una parte de la comunidad universitaria y además se ha convertido en una herramienta para criticarnos por parte de algunos sectores de la sociedad (produciendo un cierto efecto rebote sobre esta cuestión y comenzando a generar rechazo hacia los rankings entre los miembros de las universidades, algunos de ellos reacios a cualquier tipo de evaluación y/o comparación de su actividad).
Lo cierto es que el citado ranking no entró bien en el mundo universitario porque vino de la mano de uno de los peores ministros que este país ha tenido (hasta hace poco vivió en un exilio dorado de embajador en París). Es por ello que suele citarse normalmente en tono despectivo y no muy bien valorado entre los universitarios, si bien ha conseguido situarse en el centro de todas las conversaciones sobre el tema y no se mencionan habitualmente a otros rankings que sí pretenden reflejar con más cercanía a nuestro mundo el estado la cuestión.
Los compañeros Teodoro Luque-Martínez, Nina Faraoni y Luis Doña-Toledo (profesores de mi segunda alma mater, la Universidad de Granada), acaban de publicar el artículo «Meta-ranking de universidades. Posicionamiento de las universidades españolas» en la Revista Española de Documentación Científica. En este trabajo los autores proponen la elaboración de un meta-ranking que recoge a las 14 universidades españolas que aparecen en al menos cuatro de los cinco rankings globales considerados de reconocida notoriedad internacional (considerando tanto datos bibliométricos como otros aspectos y otras formas de recabar datos a partir de encuestas) y en el que recogen datos de cuatro rankings más (Shangai aparte). Las universidades españolas alcanzan mejores posiciones en los primeros que en los segundos poniéndose de relieve una debilidad mayor en la internacionalización, la reputación o el ratio estudiante-profesor que en los indicadores de investigación. Representan una loable excepción las universidades que destacan en las dos dimensiones. A la vista de estas conclusiones resulta evidente la necesidad de profundizar en una mayor internacionalización, en mejorar la reputación y mejorar la visibilidad internacional de la universidad española.
Los rankings utilizados con fuente en esta investigación son:
- University Ranking by Academic Performance (URAP): http://www.urapcenter.org
- Academic Ranking of World Universities (ARWU); http://www.shanghairanking.com
- National Taiwan University (NTU): http://nturanking.lis.ntu.edu.tw/
- Times Higher Education (THE): https://www.timeshighereducation.com/world-university-rankings
- Quacquarelli Symonds-QS ranking (QS): http://www.topuniversities.com/university-rankings
Los tres primeros utilizan básicamente indicadores bibliométricos especialmente referidos a investigación, mientras que los otros dos (THE y QS) además de algún indicador de esta naturaleza (principalmente citas), también utilizan otros ( internacionalización, reputación, ratio estudiantes por profesor o ingresos por investigación, por ejemplo) y alguno de ellos se obtiene mediante encuestas, como los referidos a la reputación, ya sea académica o de investigación. Estos rankings están entre los más conocidos y gozan de gran notoriedad en la comunidad universitaria internacional, se publican desde hace años y sus puntuaciones son accesibles en sus páginas web. Cada uno recoge datos con matices diferentes, por ello es interesante condensarlos para llegar a generar un meta-ranking. Y una vez elaborado, aplicarlo a las universidades españolas, representándolas y consiguiendo el posicionamiento de las diferentes universidades en dicho meta-ranking.
Las universidades españolas que han sido analizadas en este estudio son las siguientes: Barcelona, Autónomas de Madrid y de Barcelona, Pompeu Fabra, Complutense, Valencia, Granada, Politécnicas de Cataluña y de Valencia, Santiago, País Vasco, Zaragoza, Sevilla y Salamanca.
En los resultados destacan dos aspectos fundamentalmente, el alto grado de correlación existente entre los rankings y que en los rankings que consideran datos de investigación principalmente, hay 7 universidades por encima de la media. La situación empeora al considerar otros indicadores basados en encuestas y no exclusivamente relacionados con investigación, puesto que solamente la Autónoma de Barcelona está por encima de la media. Dicha universidad es la única que aparece por encima de la media en las dos dimensiones. Siempre hablando en términos comparativos con el resto de las universidades analizadas para esta solución de dos dimensiones, hay que añadir que muchas universidades que tienen un buen desempeño en investigación (Valencia, Granada, Sevilla y Zaragoza), lo tienen claramente menor en la segunda dimensión analizada.
Esperemos que dentro de pocos años, si se repite este estudio o se desarrolla otro similar, haya una décimoquinta universidad en el mismo y que sea la nuestra (más que un deseo debería de ser una obligación para nosotros).
Similitud en la respuesta de los motores de búsqueda
Uno de los experimentos que llevé a cabo cuando mi tesis doctoral fue intentar determinar la similitud en la respuesta de los motores de búsqueda. A partir de los 30 primeros documentos devueltos por seis motores a 30 preguntas, determinamos que la similitud de la respuesta era bastante escasa, alrededor del 15% hacia principios del año 2001.
Este análisis, bastante manual, lo repetimos de forma algo más automatizada, con motivo de nuestra participación en la Conferencia ISIC de 2008 celebrada en Vilnius y los resultados fueron más o menos similares, tal como podemos ver en el artículo que publicamos como resultado de la investigación en Information Research, la revista de Tom Wilson.
Analysis of the similarity of the responses of Web search engines to user queries: a user perspective” publicado en Information Research (vol. 13, nº 4, paper 382).
El artículo analiza la similitud de las respuestas proporcionadas por distintos motores de búsqueda ante consultas idénticas, desde una perspectiva centrada en el usuario. En un contexto caracterizado por el crecimiento exponencial de la información disponible en la Web y el uso masivo de motores de búsqueda como principal vía de acceso a contenidos digitales, los autores se plantean una cuestión clave: ¿ofrecen realmente los motores resultados similares cuando se formula la misma consulta?
El estudio parte de investigaciones previas que habían observado un bajo nivel de solapamiento entre los resultados de diferentes motores, sugiriendo que cada sistema devuelve conjuntos de documentos en gran medida distintos. Esta diversidad se atribuye a varios factores, entre ellos las diferencias en los índices utilizados (cada motor rastrea y almacena una porción distinta de la Web), los criterios de actualización de sus bases de datos y, sobre todo, los algoritmos de ranking que determinan el orden de aparición de los resultados.
Para analizar empíricamente esta cuestión, los autores desarrollan un metabuscador experimental que permite enviar simultáneamente la misma consulta a varios motores de búsqueda y recopilar los resultados obtenidos. A partir de este sistema, se examinan dos dimensiones principales de similitud: (1) el grado de coincidencia en los documentos recuperados (es decir, si los mismos enlaces aparecen en diferentes motores), y (2) la similitud en la posición que ocupan esos documentos en las listas de resultados. Este segundo aspecto resulta especialmente relevante, dado que numerosos estudios sobre comportamiento de usuarios demuestran que la mayoría de las personas se limita a consultar los primeros resultados mostrados.
Los hallazgos confirman que el nivel de coincidencia entre motores es limitado. Incluso cuando se plantean consultas idénticas, los motores devuelven conjuntos de resultados considerablemente diferentes, tanto en términos de contenido como de ordenación. Esta falta de homogeneidad implica que la experiencia de búsqueda puede variar sustancialmente dependiendo del motor utilizado. Desde la perspectiva del usuario, esto significa que la elección del buscador no es neutral: puede influir en el tipo de información a la que se accede y en la visibilidad de determinadas fuentes.
El artículo también pone de relieve la complejidad del concepto de “cobertura” en la Web. Ningún motor indexa la totalidad de los contenidos disponibles, y las estrategias de rastreo y almacenamiento varían significativamente entre sistemas. Además, los algoritmos de ranking incorporan múltiples factores —como popularidad, enlaces entrantes, relevancia semántica u otros criterios propietarios— que introducen diferencias adicionales en la presentación de resultados. Así, la divergencia observada no es un error del sistema, sino una consecuencia estructural del funcionamiento de los motores de búsqueda.
Desde un punto de vista metodológico, el estudio contribuye a la evaluación comparativa de sistemas de recuperación de información en entornos web dinámicos. También subraya la necesidad de realizar análisis periódicos, ya que la Web y los motores evolucionan constantemente, lo que puede alterar los niveles de solapamiento y similitud con el tiempo.
En términos más amplios, el trabajo plantea implicaciones importantes para la alfabetización informacional y la comprensión crítica del entorno digital. Si diferentes motores ofrecen resultados distintos ante una misma consulta, los usuarios deberían ser conscientes de que la información accesible depende en parte de la herramienta utilizada. Esta constatación refuerza la idea de que los motores de búsqueda no son meros intermediarios neutrales, sino sistemas complejos que modelan el acceso al conocimiento.
En definitiva, el artículo demuestra que la diversidad entre motores de búsqueda es significativa y persistente, lo que invita a reflexionar sobre la naturaleza de la recuperación de información en la Web y sobre la importancia de adoptar una actitud crítica y comparativa en el uso de estas herramientas.
