No todas las medidas que se emplean para medir el funcionamiento de los sistemas de recuperación de información se basan en los juicios de relevancia (o pertinencia). Meadow identifica dos grupos: las basadas en el proceso y las basadas en el resultado (medidas que, en realidad, sí hacen uso de la relevancia).
Lo cierto es que no todas las medidas que se emplean para medir el funcionamiento de los sistemas de recuperación de información se basan en los juicios de relevancia (o pertinencia). Meadow identifica dos grupos: las basadas en el proceso y las basadas en el resultado (medidas que, en realidad, sí hacen uso de la relevancia).
Las medidas basadas en el proceso son, entre otras:
- Selección: el número de documentos de la base de datos; el grado de solapamiento con otras fuentes; qué se espera obtener ..
- Contenido: tipo de documentos de la base de datos, temática de los documentos, frecuencia de actualización de la base de datos.
- Traducción de una consulta: se verifica si el usuario puede plantear la consulta directamente o precisa de intermediación.
- Errores en la consulta: media de errores sintácticos en la escritura de la búsqueda que propician la recuperación de conjuntos vacíos y erróneos.
- Tiempo medio: tiempo medio de realización de una estrategia de búsqueda.
- Dificultad en la realización de la búsqueda: a la ratio anterior habrá que añadir los problemas que usuarios inexpertos se pueden encontrar.
- Número de comandos precisos para una búsqueda: promedio de instrucciones necesarias para realizar una búsqueda.
- Coste de la búsqueda: costes directos e indirectos en su realización.
- Número de documentos recuperados: extensión del resultado de una búsqueda.
- Número de documentos revisados por el usuario: promedio de documentos que los usuarios están dispuestos a revisar. Este promedio es muy importante y afecta a la importancia de la exhaustividad como medida de evaluación de la recuperación de información.
En definitiva, el autor aporta una serie de medidas, importantes la mayoría de ellas, que tienen que ver más con la operatorio o experiencia del usuario en la interacción con los sistemas de recuperación de información que con el éxito de una búsqueda.
Fuente: Charles T. Meadow (1992) Text Information Retrieval Systems.
