Rankings

En este video presentamos el funcionamiento y la importancia de los rankings de productividad científica de distintas instituciones.


Transcripciones: ESPAÑOL ENGLISH

Transcripción Español

Buenos días chicas y chicos. Casi ya enfilando el final de nuestro ALFIN 5, Módulo 1 "La ciencia se mide". ¿Os acordáis? Estamos en la parte segunda, indicadores y rankings. Acabamos de ver la parte de indicadores y ahora vamos a ver la parte de rankings.

Mirad: un principio de calidad, que lo podemos estar diciendo desde la parte de indicadores; lo que no se mide, no se puede controlar, y lo que no se controla, no se puede gestionar. Mirar rendimientos, mirar calidades con indicadores, supone un cambio de matiz, un cambio saludable en el diseño de la política científica. Pero esto no es algo que sea sólo conceptual, ni individual del investigador o de una institución, sino que la medida de estos prestigios se traduce en millones de euros.

Mirad, os he puesto ahí una ensalada de noticias de distintos medios, ¿vale? "España ha perdido 11.000 investigadores desde 2010", "La gestión de la ciencia", "Las declaraciones de la CRUE", etc. Hasta ahora, las universidades españolas eran responsables de cerca del 80% de la producción científica, según SCImago. El futuro es incierto. Hay una encuesta de investigación y transferencia de conocimiento (2012–2013), que se presentó en junio del 2015 por la CRUE, por la comisión sectorial de I+D+i de la CRUE, y que dice, realmente, que el panorama que nos viene es un panorama desolador. Estas son las noticias que aparecen a partir de esa presentación de ese documento. Han perdido las universidades un 28% financiación pública durante los años 2010–2014. El presupuesto para investigación en la universidad cae un 38% en 4 años. Echad un vistazo al link.

Visto esto, los rankings son algo fundamental, algo importante, algo que miramos. Partíamos del principio de que todo lo que se cuenta, se puede ordenar. En cienciaBuja tenéis un enlace, en la parte de directorio de enlaces, precisamente a los rankings de universidades y organismos de investigación. También, si pincháis en la etiqueta "#rankings" de cienciaBuja, os saldrá.

El rendimiento de los centros de investigación de I+D se suele comparar a partir de rankings que están basados en indicadores. Los indicadores ya sabéis, más o menos, lo que son. Y es un tema que preocupa, y mucho.

Os he puesto enlace a dos artículos: uno de Aunión, "Los rankings imponen su ley en la universidad", y otro de Emilio Delgado López-Cózar, "Cómo se cocinan los rankings universitarios". Son muy, muy, muy interesantes. Mirad, es una tesis doctoral del año 2014 de un compañero – Nicolás Robinson-García –, fijaos que une con guión los apellidos, es decir, está utilizando recomendaciones de la FECYT; vosotros ya sabéis lo que es. Y en esa tesis hay una cita a Ellen Hazelkorn, que fijaos en las palabras que he reseñado: "desde la irrupción del Ranking de Shangai, la influencia de los rankings, de estas herramientas, no ha hecho más que crecer y actualmente se ha convertido", fijaos en la expresión que utiliza, "en una verdadera vara de medir de las universidades a nivel mundial". Se incluyen las planificaciones estratégicas con el principio de mejorar el posicionamiento en el ranking. Ahí tenéis la cita, ¿vale?

Y otra vez la pregunta del millón: ¿Por qué yo? ¿Yo por qué tengo que saber todo esto? Bueno, pues porque los rankings han llegado para quedarse, porque cuando un ranking existe, es imposible ignorarlo, y porque tienen efectos en el mundo académico y están condicionando las políticas universitarias. Son palabras de Emilio Delgado en ese artículo que acabamos de citar.

Ranking de diferentes tipos: mundiales, nacionales, generales, por áreas, y, importante también, ver cómo se hacen. Se eligen unos indicadores, ¿vale?, se les da un valor ponderado, se agrega un porcentaje y se fija en una clasificación ordenada. Cuando se habla de situar alguna universidad del mundo entre las 100 mejores, se está hablando, fundamentalmente, de dos rankings importantísimos del 2003 y del 2004: el Ranking de Shanghái y el THE, el Times Higher Education. Tenéis un enlace para que entréis y un enlace también a la wiki por si acaso queréis saber un poquito más del ranking THE y el ranking de Shanghái.

Seguramente lo habréis oído un montón de veces en noticias: el famoso ARWU, ¿vale? Es como el ranking de los rankings, la medida (entre comillas) perfecta, ¿no? Muy criticado, pero básico como referencia a la hora de señalar universidades y centros de investigación. Mirad, os he colocado una cita, también, de de Ellen Hazelkorn porque, aunque había rankings anteriores, ARWU "pilló" desprevenidas totalmente a todas las instituciones de educación superior, así lo dice ella, ¿no?

La variedad de instituciones, la variedad de opciones, se unen a un concepto de consumo de la educación que está plasmado en la comparación convertida en norma y esto supone también un gran negocio que condiciona decisiones políticas y recursos de financiación. Si yo tuviera que poner tres bolas, diría: compara, busca y elige, ¿no? Y tu futuro depende de tu elección, en términos de éxito profesional y el nuestro, el de las instituciones, depende de ti, en términos de cliente.

Os he colocado la definición que hace la Ley Andaluza de Universidades de lo que es una universidad pública y la define así: "las universidades públicas prestan servicios públicos de educación superior universitaria mediante la docencia, la investigación, la transferencia de conocimiento la extensión cultural y el estudio."

Mirad, ese famoso Ranking de Shanghái utiliza una serie de indicadores. Fijaos qué curioso. Es un pantallazo de su página de metodología, ¿vale? "Calidad de la Docencia", y lo mide en premios Nobel y medallas Fields. "Calidad del Profesorado", lo mismo. Y, además, producción investigadora, y fijaos lo que está utilizando: rendimiento per cápita. Y mirad cómo pondera los valores: 10% para la docencia, 20% con premios Nobel, 20% para artículos publicados en esas dos revistas "top", 20% para artículos en Thompson (Science Citation Index y el Social Science Citation Index), ¿no? y un 10% para el rendimiento per cápita. Me gustaría que pinchárais en el artículo de Emilio y leyérais comentarios (un parrafito), comentarios a este diseño de indicadores.

¿Dónde están las ciencias humanas? Para hacer una tabla de comparación mundial de universidades de cualquier género y, ¿cómo puedes valorar la docencia sólo, o no sólo, sino antiguos alumnos y profesores con premios Nobel o medalla... Estamos hablando de un área muy concreta, el área de las ingenierías, de las matemáticas, de las ciencias biológicas, etc. Pinchad y mirad.

Y claro que conocéis el Ranking de Shanghái, aparece en noticias. Estas son de la última aparición del ranking, ¿no? "El Ranking de Shanghái deja a los campus españoles fuera de los 200 primeros". "Ninguna", está aquí el exministro Wert, "ninguna universidad de España logra estar entre las cien mejores". Pinchad. A la vez, también, cuando conseguimos una puntación buena dentro del Ranking de Shanghái, lógicamente, es una historia de marketing fantástico: aparecemos. Y en nuestro área de TIC, de informática y de ingeniería artificial de la Universidad de Jaén, está situada en una buena posición dentro de la clasificación por área que hace el Ranking de Shanghái y utilizamos como marketing. No son los dos únicos, aunque son los dos grandes referentes.

Para paliar un poquito los sesgos que tiene ARWU, el Ranking de Shanghái, aparecen otros. Por ejemplo, el SCImago Institutions Rankings, el europeo Multirank, el de Leiden y otros que son nacionales, que miran universidades españolas con distintos criterios, ¿vale? Universidades españolas. Como el Ranking Web, el ranking de la UGR, el Ũ Ranking de la fundación BBVA, etc. En todos aparecen tablas en donde la flecha amarilla de me mantengo, la flecha verde de subo, la fecha roja de bajo están presentes, ¿vale? Os he puesto un pantallazo a los posicionamientos de las universidades españolas.

La Unión Europea construye un ranking que se estrena en unas áreas determinadas en el año 2014. Se va ampliando el Multirank. A nivel español tenemos Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas, que hace un ranking web de universidades, BBVA hace el Ũ Ranking – fijaos, "elige tu universidad", por materias, por precios de matrícula, etc. Y después el producto que hace el grupo de investigación EC3, el Ranking UGR (I-UGR), cuya última edicion es del 2014 y que distribuye 12 campos y 37 disciplinas. Hace mapas y el perfil temático os he puesto el ejemplo de la Universidad de Jaén; ¿cómo se sitúa en el Ranking UGR (I-UGR)? pues lo tenéis ahí.

Recojo el artículo de Emilio, es sobre cocina de rankings a modo de ensayo, que es una página de EC3, donde se anunciaba el artículo, y dice: "para no tener una indigestión, por principio, desconfiar de un ranking. Mira siempre si es transparente, si está claro quién, cómo y para qué. No valen las mezclas indiscriminadas de dimensiones, donde instituciones enormes e instituciones pequeñas se mezclan. Realmente, que sea (realmente) de calidad; de calidad en sus fuentes, en sus técnicas, en su metodología. Asegura que los datos se relativizan y que los tiempos son lo suficientemente amplios como para mostrar tendencias. Y, además, que se diferencian áreas y disciplinas; que no es todo un todo revuelto". Comparar lo comparable; sería el principio.

Quiero acabar esta parte con un "triángulo de cautela" y una cita a un párrafo de Nicolás Robinson en su tesis. Fijaos: "la gran importancia que tienen actualmente los rankings internacionales en política científica hacen que tengamos que ser conscientes de que hay limitaciones y que tenemos que conocerlas. Y coloca un parrafito, un parrafito más con las dos grandes que destacan, ¿no? (1) incapacidad para representar de manera precisa los sistemas universitarios nacionales y otra de las limitaciones es (2) que para representar el perfil de disciplinas de las universidades lo hacen en una única tabla global y él lo coloca como handicap.

Con esto acabo el apartado de rankings y nos dirigimos ya al final de los finales de nuestro ALFIN 05.


Transcripciones: ESPAÑOL ENGLISH

English Transcription

Good morning everyone! We are almost reaching the end of our Alfin 5 couse, Module 1 "Science is measured". We are in the second part, "Indicators and rankings". We have just seen the part dealing with indicators and now we are going to deal with the rankings' part.

Look, a quality principle that can be said from the indicators' part is that what is not measured, it cannot be controled and, what is not controlled, it cannot be managed. Look at the yields, look at qualities with indicators, it implies a change of nuance, a healthy change in the design of the scientific policy. But this is not a conceptual thing nor individual of a researcher, or of an institution, but the measure of the prestige can be translated into millions of euros. Look, I've put there a some news from different media. Spain has lost 11,000 researchers in 2010, the management of science, the statements of the CRUE, etc.

Up to now, Spanish universities were responsible for about the 80% of scientific production. According to SCImago, the future is uncertain. A research and knowledge transfer survey (2012–13), which was presented in June 2015 by the CRUE, the CRUE R+D+i commission, says that the approaching panorama is devastating. These are the news that appeared since the presentation of that document.

Universities have lost 28% of public financing during the years 2010-2014. The budget for university research has fallen by 38% in four years. Take a look to the link. So, rankings are fundamental, they are something important, something we look at. We started from the principle that everything that is counted can be ordered. In cienciaBuja, you have a link, in the part of directory links to the rankings of universities and research organizations. Also, if you introduce the "rankings" tag, if you click on the label "rankings" of scienceBuja, it will lead you to that page. The performance of R&D research centers is usually compared from rankings which are based on indicators. You already know what indicators are and it's an issue that concerns us.

Here you have links to two articles: one by Aunión, "Rankings impose their law in the university", and another one by Emilio Delgado López Cózar, "How university rankings are cooked". They are very interesting.

Look, this is a doctoral thesis from 2014 of a partner, Nicolás Robinson-García. Notice the hyphen joining the surnames, that is, he is using FECYT's guidelines (you already know what they are). And in that thesis, there is a quotation to Hazelkorn, pay attention to the words that I have highlighted. Since the irruption of the Shanghai ranking, the influence of rankings, of these tools, has only become bigger and bigger, and now it has become, notice the expression she uses, "a measuring rod of universities worldwide". They are included in strategic planning with the aim of improving the rankings' position. There you have the quote. And again the million dollar question: Why me? Why do I have to know all this? Well, because the rankings are here to stay, because when a ranking exists, it is impossible to ignore it and because they have effects in the academic world and they are conditioning university policies. These are the words of Emilio Delgado in that article that I have just quoted. Rankings of different types: global, national, general, by areas ... And it is also important to see how they are made. Indicators are selected, they are given a numeric value, a percentage is added and it is fixed in an ordered classification.

When it comes to placing some random university among the 100 best, it basically refers to two very important ranking of 2003 and 2004: the ranking of Shanghai and THE, Times Higher Education. Here's a link for you to check out and a link to the Wiki in case you want to know more of the THE ranking and Shanghai ranking. Surely you have heard a lot of times in news: the famous ARWU. It is like the ranking of the rankings, the "perfect" measure. Very criticized, but basic when it comes to sorting out universities, basic as a reference when it comes to identifying universities and research centers.

Here is another quote by Hellen Hazelkorn because, although there were previous rankings, ARWU caught all higher education institutions off their guards. As she described it. The varietyof institutions, the variety of options, joins a concept of education consumption which is embodied in the comparison that turns into a norm. And this is such a big business that conditions political decisions and financing resources. If I had to put three balls I would say: compare, search and choose, and your future depends on your choice in terms of professional success and ours, that of the institutions, It depends on you in terms of client.

Here is the definition that makes the Andalusian Law of Universities of what a public university is. And it defines it like follows: "public universities provide public services of university higher education through teaching, research, knowledge transfer, cultural extension and study. That famous ranking of Shanghai uses a series of indicators. Notice how curious, this is a screenshot of their methodology webpage. "Quality of teaching", measured in Nobel prizes and Fields medals. "teacher qualifications" the same, and also "research production" just notice what it uses performance per capita, And look how it weighs up the values: 10% for teaching, 20% for Nobel prizes, 20% for articles published in those two top magazines, 20% for items appearing at Thomson, the Science Citation Index and the Social Science Citation Index, and 10% for the performance per capita.

I would like you to click on Emilio's article and read comments of this indicator design. Where are the human sciences left? To make a global comparison table of universities of any kind. How can you rate the teaching? Only by looking at former students and teachers with Nobel prizes or medals? We are talking about a very specific area, the area of ​​engineering, of mathematics, of biological sciences, etc. Check it out. And of course you know the ranking of Shanghai since it appears in the news. These are from the last appearance of the ranking the Shanghai ranking leaves the Spanish campuses out of the top 200 No university in Spain manages to be among the 100 best. And, when we get a good score in the ranking of Shanghai Logically, it is a fantastic marketing story. Our Tics area of Computer Science and Artificial Engineering of the University of Jaén is located in a good position within the classification by areas that makes theShangai ranking and we use it as marketing. These are not the only two, although they are the two main references. To alleviate a bit the biases that ARWU has, the Shanghai ranking, others have appeared. For example, the Scimago Institutions Rankings, the European Multirank, the Leiden one and others that are national, which measure universities according to different criteria. Spanish universities such as Web Ranking, the UGR ranking, the U-ranking of the BBVA foundation, etc. All of them have tables where the yellow arrow indicates no change, the green arrow indicates improvement, and the red arrow indicates worsening. I have put a screenshot to the positions Spanish universities hold. The European Union made a ranking that began working in certain areas in 2014. Since then, the Multirank is continuously being expanded. At the Spanish level, we have the Cybermetrics Laboratory of the Superior Council of Scientific Research that makes a web ranking of universities, BBVA does the U-ranking Look, choose your university by subject, for tuition fees, etc. and after that the product made by the EC3 research group, the I-UGR Ranking, whose latest edition is from 2014, and that hods 12 fields and 37 disciplines. It makes maps, and here I have placed the example of the University of Jaén, how it is located in the I-UGR ranking, is shown here. Going back to Emilio's article, It's about the kitchen of rankings: in essay form. It is a page of c3, where the article was announced and says: in order not to suffer indigestion, start by distrusting rankings. Always look if it's transparent if it is clear who, how and for what. A random mixture of dimensions is useless, of huge institutions, small institutions, are mixed together. It has to really have some quality, quality of sources, of techniques, of methodology. It must ensures that data is relativized and that the times spans are broad enough to show trends and also that areas and disciplines are differentiated, that it is not all a mess. Compare what can be compared, that would be the starting point.

I want to finish this part with a triangle of caution and a quotation to a paragraph by Nicolás Robinson in his thesis. The great importance that international rankings in scientific policies has makes us aware of the presence of limitations and, therefore, we have to know them. It contains another small parragraph dealing with the two biggest limitations i.e., the inability to accurately depict the national university systems and the other limitation is that in order to depict the disciplines' profile for each university, there's only a single global table. and that poses some problems. With this I finish rankings' selection and we are already heading toward the end of our ALFIN 05.