La evaluación académica basada en indicadores bibliométricos como sistema socio-técnico: Micro y macropolítica de la jerarquización de productos y actividades científicas y tecnológicas

Abstract

La evaluación académica basada en indicadores bibliométricos cuantitativos (factor de impacto - WoS; Scimago sjr - Scopus e índice h - Google Scholar) se ha convertido en las últimas décadas en uno de los principales pilares de la jerarquización de publicaciones, la definición de agendas de investigación, la conformación de equipos de investigación, la asignación de recursos financieros y la promoción (y a veces estancamiento) de trayectorias profesionales de investigadores y tecnólogos. Esta centralidad ha determinado múltiples niveles de incidencia de una práctica relativamente restringida a dinámicas intracomunitarias, al punto de convertir la tecnología de evaluación “objetiva” basada en indicadores bibliométricos en una práctica hegemónica. Sin embargo, tal hegemonía no implica un consenso absoluto: los manifiestos contenidos en este dossier son una prueba de ello. El presente trabajo responde a los siguientes objetivos: 1) comprender cómo fue el proceso de construcción y adopción del sistema de evaluación basado en indicadores bibliométricos, la estabilización de ciertos criterios, la adopción de ciertas técnicas de medición y control; 2) analizar el alcance incidencia de este sistema sobre las actividades científicas y tecnológicas, tanto en un nivel general/global como nacional y regional, y 3) analizar los encadenamientos explicativo-causales de este sistema de evaluación académica sobre la generación / inhibición de capacidades de investigación y desarrollo, en particular, sobre la dinámica sociocognitiva de los aparatos tecnoproductivos de países en vías de desarrollo. El análisis se despliega desde un abordaje socio-técnico y se presenta en clave de un argumento incremental. En primer lugar, se analiza la trayectoria socio-técnica de la transición entre la tecnología de evaluación por pares (subjetiva, “idiosincrásica”) y la bibliométrica (“objetiva”), poniendo el foco en el proceso de cambio no-lineal que sufrieron los criterios, mecanismos, protocolos y prácticas (desde fines de la segunda guerra mundial hasta la actualidad) a escala internacional y su adecuación a los complejos institucionales de cyt latinoamericanos. En segunda instancia, se abordan problemas puntuales de la tecnología de evaluación basada en indicadores bibliométricos. Así, se analizan los problemas (conceptuales y empíricos) de la evaluación “objetiva”, y sus problemas derivados: sobre la concepción de la calidad de la producción académica; las microprácticas de los investigadores y las microprácticas de evaluación. Este análisis por elementos puntuales se integra, en una tercera instancia, en términos sistémicos. Se pone en tensión qué mide (y por derivación, qué invisibiliza) la evaluación “objetiva”; cómo incide esta tecnología de evaluación en la relación entre la producción de conocimiento científico y la producción de bienes y servicios; entre la producción de conocimientos científicos y la producción de soluciones a problemas locales; y entre las agendas de investigación y las políticas públicas de ciencia, tecnología, innovación y desarrollo en América Latina. El artículo concluye, en un cuarto nivel de análisis, con una reconstrucción analítica de la alianza socio-técnica en términos de las capacidades relacionales, los bucles de retroalimentación y la dinámica inercial que construye, estabiliza y refuerza el funcionamiento de la tecnología de evaluación “objetiva”. Este último nivel de análisis permite dimensionar la capacidad transformadora de las diferentes soluciones –propuestas en los manifiestos– a los problemas analizados.