Indicadores

En este vídeo, realizado por la Biblioteca de la Universidad de Jaén y locutado por Ana Isabel Baltar Gómez, jefa de la sección de acceso al documento y producción científica, se hablará sobre los indicadores.


Transcripciones: ESPAÑOL ENGLISH

Transcripción Español

Buenos días chicas y chicos. Vamos a continuar con nuestra parte, nuestro módulo primero "La ciencia se mide" en este último curso del itinerario de Grado, el ALFIN 5 – ya sabéis Módulo 1 "La ciencia se mide". Vamos a la parte segunda: "Indicadores y ránkings". Vamos a hablar ahora de indicadores.

Fijaos, como me estoy permitiendo hoy colocar todos mis gustos, sigo con novela negra. Es la novela de un profesor de la Universidad Autónoma de Barcelona, de Jordi Jordana, y fijaos cómo se llama la novela: se llama "Índice de impacto". Es su primera novela; después tiene una segunda, siguiendo la misma línea, y fijaos, el autor nos sumerge en el conocimiento de la condición humana, de sus condicionantes, en el mundo de la investigación: la fuerte presión por publicar, etc. Novela negra. Os he hecho un enlace a la sinopsis. No voy a leer nada; os dejo la diapositiva. Lo rojito lo miráis. Es una de las partes de la novela, un diálogo, ¿vale? No digo nada; lo leéis. Cuando el índice de impacto manda, el investigador siempre preferirá tener... El índice de impacto manda.

Retomamos la parte primera con la misma diapositiva de ese pobre investigador que está sumergido y pidiendo ayuda. Retomamos. El investigador siente la presión por publicar y, además, le llega desde un montón de sitios; no es sólo una presión individual. Los autores, por supuesto, individualmente quieren ser evaluados positivamente mediante los indicadores que se proponen, pero sus organizaciones, sus instituciones también necesitan rentabilizar el dinero que han invertido y la industria quiere, también, rentabilizar sus productos y aumentar beneficios, es decir, es un mundo en donde los intereses son múltiples y diversos. Os he puesto una sonrisa, así, de las "no sonrisas" abajo, porque cuando hablamos de industria que quiere... Bueno, sería otro tema también muy interesante: hablar de la edición científica. Y además no les vale cualquier cosa, a ninguno: ni a las organizaciones, ni a la industria, ni a los investigadores. No vale cualquier cosa.

La producción se mide en rendimiento y el rendimiento científico se articula en torno a unas bases de datos determinadas con sus productos de evaluación determinados basados en indicadores, es decir, en números. Los factores matemáticos para medir atienden (lo he dicho antes) a dos criterios fundamentales: el número de artículos es un criterio de cantidad y el prestigio de la revista, que va unido a las citas y/o al impacto, que son criterios de calidad (prestigio) y cantidad (número de artículos).

Mirad, os hemos colocado el pantallazo de inicio de cienciaBuja. Hay una parte dedicada, en la parte de evaluación, a los principales indicadores, porque no existe un indicador. "El indicador" no existe. "El mejor" no existe. Hay una nube de indicadores que permiten conocer aspectos diversos de la producción científica, combinándolos, ¿vale? Pinchad en cienciaBuja y podéis tener una idea de un vistazo de los principales.

Es una cuestión, o una nube, que está llenísima de siglas. Os hemos puesto aquí unos cuantos: Índice g, Factor de Impacto, SJR, Índice h, el Índice de Inmediatez, etc. Sólo unos poquitos; hay muchos más, ¿vale?

Y así las cosas... ¿por qué y qué tengo que saber de índices y de indicadores? Volvemos otra vez a la pregunta del millón. Primero que existen, que son decisivos, y si algo es decisivo, no te queda más remedio, si te mueves en esto, que conocerlo. Y de todos ellos, de toda esa nube, vamos a hablar fundamentalmente de uno: del factor de impacto. Mirad, no sólo conocerlos porque existen, porque son decisivos, sino porque en vuestra búsqueda de información necesitaréis saber cuáles son las revistas que están en el top y para eso tendréis que saber buscar factores de impacto asociados a revistas, ¿vale?

Vamos a hablar del factor de impacto, porque la cantidad es muy fácil: son recuentos. Factor de impacto – prestigio. ¿Qué es exactamente? Fijaos, se trata de una medida, es decir, es un número, ¿vale? Una medida que se aplica a la repercusión que se tiene, o que tiene una publicación, dentro de un ámbito, un área científica. ¿Cómo lo hace? Pues a partir de las citas; a partir de las citas que ha recibido se hace un promedio – vamos a verlo ahora –, se hace un término medio y se determina un número. Ese es el factor de impacto. La idea es (es una idea muy vieja), la idea es que cuanto más se cita un artículo, más relevante es para el área de investigación. Os hemos puesto ahí "dos estrellitas más citado" es "igual a más relevante". Y si lo estamos traduciendo en números, y si contar se traduce en números, los números se pueden ordenar, ¿um?

Os he colocado otra vez la wiki, que soy también una fan, no tenéis nada más que buscar "wikipedia" en el BujaBlog. Con un artículo que dedica a Garfield. Garfield es el padre de todas estas medidas. Es el creador del instituto del ISI (Instituto para la Información Científica) y, bueno, nosotros lo estudiamos como uno de los investigadores destacados en la bibliometría – "metría": medida de artículos, medida de producción.

¿Dónde encuentro factores de impacto a nivel internacional? Fundamentalmente en dos bases de datos: en la Web of Science y en Scopus. Detrás de la Web of Science estaba el ISI – se quedó con la WOS la empresa Thomson Reuters y detrás de Scopus está Elsevier. Fijaos, son dos bases de datos tan fundamentales para la ciencia, que la Fundación Española para la Ciencia y la Tecnología (FECYT), que depende del Ministerio, es la que distribuye a todos, TODOS los centros de investigación de España, para que ninguno de ellos deje de tener, como mínimo, los paquetes básicos tanto de WOS, como de Scopus. Lo hace a través de una página que se llama "Recursos Científicos". Os hemos colocado aquí las dos bases de datos, dos enormes poderosísimas bases de datos que ofrecen factores de impacto: la Web of Science y Scopus.

Fijaos, la Web of Science tiene un producto que se llama Journal Citation Report (JCR), ¿lo véis ahí? que es en donde se articula el factor de impacto de WOS, de las revistas indexadas en WOS. Scopus hace sus métricas desde un instituto de investigación, un grupo de investigación español, SCImago, que produce el factor de impacto reconocido por Scopus: el SJR. Ahí tenéis el enlace, es libre, mientras que el otro tenéis que estar suscritos. El SJR es un producto libre en internet.

Bueno, pues vamos a ver un poquito de cómo se construye el factor de impacto de WOS, que llamamos así: Journal Citation Report (JCR). Es el promedio de citas de los artículos obtenidas por los artículos publicados en esa revista. En realidad, fijaos, los factores de impacto se miden en un año concreto y se calcula dividiendo el número de citas obtenidas en ese año por los artículos publicados en la revista dos años atrás. Osea, tiene un recorrido de dos años. Si os dais cuenta, y miramos cuál es el factor de impacto de una revista X en el año 2006 – vuelvo a deciros, los factores de impacto tienen año – sería hacer una división: en el denominador ponemos el número de citas recibidas en el 2006 por los trabajos publicados 2004–5 y el número de trabajos en el denominador publicados en la revista X en 2004–5. Una simple división y da un número. Deciros, también, que los JCR son listados por años, ¿vale? y tienen dos ediciones: una edición para Ciencias y una edición para Ciencias Sociales.

Podemos buscar por cualquiera de las categorías que tenéis al lado. Si nos vamos a Scopus, el índice SJR es parecido, pero no igual. Está basado en el algoritmo de Google y mira tres años. Si pincháis, podéis entrar en la página de SCImago. Yo no os voy a comentar más de cómo obtener o no obtener un factor de impacto en WOS o en SJR. Os hemos colocado un PDF, que está en el BUJA, sobre factores de impacto con dos o tres páginas y lo hemos titulado así: "Hay indicadores para medir «la importancia» de una publicación científica". Vamos a ver dos fundamentales, ahí lo tenéis.

Si estamos hablando de números, podemos ordenar y, entonces, pasamos al concepto de cuartil. No voy a deciros nada; está claro lo que es. Si yo tengo un listado de revistas ordenado por factor de impacto y dividido en cuatro partes iguales, tendré cuartil 1, cuartil 2, cuartil 3, cuartil 4. Si lo que he hecho ha sido una ordenación por factor de impacto, en el Q1, en el cuartil 1, estarán las revistas con un factor de impacto más alto para ese área. Se entiende. Tanto WOS, como Scopus, (JCR, como SJR), lógicamente, ordenan por cuartiles. Hay muchísima discrepancia. No creáis que todo el mundo dice "¡Guau!, esto es el único método, lo mejor de lo mejor".

Os hemos puesto dos enlaces a dos declaraciones: la Declaración de San Francisco (DORA), sobre evaluación a la investigación, y el Manifiesto de Leiden, sobre métricas en evaluación. Por favor, echadle una ojeada. En DORA, además, se puede firmar y decir: "mira, no estoy de acuerdo con que la madre de todas las medidas sea el factor de impacto". Miradlo y leedlo.

Hay enfermedades derivadas. Así está apareciendo en la literatura científica. Fijaos cómo lo llaman: lo llaman "impactolatría". Os hemos colocado dos o tres enlaces, en donde a lo que os lleva es a artículos sobre esta necesidad imperiosa de publicar con impacto. Fijaos, conlleva una práctica (eso es de NauKis), conlleva una práctica simplista en la que se presume que el factor de impacto de la revista y su reputación son indicadores "absolutos" de la calidad o importancia de una investigación concreta y, por extensión, de los autores que están firmando, los autores de ésta.

Hay un síndrome asociado. Toda enfermedad tiene un síndrome asociado: es el síndrome HIFS, el síndrome del factor de impacto alto. Os hemos colocado, también, los enlaces al artículo en donde se define este síndrome. Yo con esto acabo la parte de indicadores, ¿vale?

Daros las gracias y en el próximo vídeo lo que vamos a hacer es ver si los números se ordenan. Vamos a hablar de los productos derivados: los ránkings.


Transcripciones: ESPAÑOL ENGLISH

English Transcription

Good morning everybody. Let's continue with our part, our first module "The measure of science" ofn this last course of the Undergraduate Degree itinerary, ALFIN5 – as you know: Module 1 "The measure of science". Let's dive into the second part: "Indicators and rankings". We'll begin with indicators.

Look, as I'm allowing myself today to give you a glimpse of my tastes, I'll introduce you to a crime novel. It is the novel of a professor at the Autonomous University of Barcelona, Jordi Jordana, and look at how the novel is entitled: it's called "Impact Factor". It is his first novel; he has a second, following the same line, and look, the author immerses us in the knowledge of the human condition, of its conditioning factors, in the world of research: the strong pressure to publish, etc. It's a hardboiled novel. Here you have a link to the synopsis. I will not read anything; I leave it on the slide. Take a look at what's in red. It's one of the parts of the novel, a short dialog, okay? I won't say anything; just read it. When the impact factor rules, researchers will always prefer to have... etc. The impact factor rules.

Let's go back to the first part with that slide of the poor researcher who is drowning and asking for help. Let's continue from there. Researchers feel the pressure to publish, a pressure that comes from all directions; it is not just an individual pressure. Authors, of course, want to be positively evaluated individually through the suggested indicators, but their organizations, their institutions also need to be evaluated, and they need to maximize their profit (money) in relation to what they have invested on, and the industry also wants to make their products profitable, that is, it is a world where interests are multiple and diverse. I have put a emoji here, one those downward "not smiling" faces, because when we talk about industry that wants... Well, it would be another very interesting topic: to talk about scientific editing. Besides, not everything satisfies them: neither to the organizations, nor the industry, nor the researchers. Not everything is worthwhile.

Production is measured in terms of performance and this performance is established with the help of certain databases with a set of especific evaluation products based on indicators, that is, in numbers. The mathematical factors used to measure adjust (as said before) to two fundamental criteria: the number of items (a quantity criterion) and the prestige of the journal, which is linked to citations and/or impact, is both a quality (prestige) and quantity (number of articles) criterion.

Look, here you have a screenshot of the cienciaBuja's frontpage. There is a section devoted, in the evaluation part, to the main indicators, because there is no single indicator. "The indicator" does not exist. "The best" does not exist. There is a cloud of indicators that allow us to know different aspects of scientific production, used in combination, okay? Check cienciaBuja and you'll have a general idea of the main ones.

It is a matter, or a cloud, that is full of acronyms. Here we have a few: g-index, Impact Factor, SJR, h-index, the Immediacy Index, etc. These are only a few; there are many more, okay?

Having this in mind... why and what should we know about indexes and indicators? Here is the million-dollar question again. First, we must know that they exist, that they are decisive, and if something is decisive, you have no other choice, if you belong to this world, you have to be aware of them. And of all of them, of all that cloud, we'll deal with fundamentally one: the impact factor. Look, we must not only know it because it exists, because it is decisive, but because in our search for information we will need to know which are the journals that are at the top. So, we'll have to know how to search for each journal's impact factor, alright?

So, let's talk about impact factor, since dealing with quantity is very easy: it's just numbers. Impact factor – prestige. What does this exactly mean? Look, it's a measure, that is, it's a number, okay? A measure that applies to the impact that we have, or that a publication has, in a given field or scientific area. How does it do it? Well, by looking at the references and the citations that we receive, and an average is made – we'll see it in a sec –. The average is calculated and it gives us a number. That is the impact factor. The idea is (it's a very old one), the idea is that the more an article is cited, the more relevant it becomes for a given research field. Here you have "two stars plus cites" equals to "more relevant". If we translate this into numbers, i.e., if counting translates into numbers, these numbers can be sorted, right?

I've made a reference to the wiki, again, of which I'm also a fan, just look for Wikipedia in the BujaBlog, please, okay? – with an article dedicated to Garfield. Garfield is the father of all these measures, right? He is the creator of the ISI (Information Science Institute) and, well, we study him as one of the most outstanding researchers in bibliometrics – "metrics": measurement of articles, of scientific production.

So, where can we find impact factors at an international level? Basically in two databases: in the Web of Science and in Scopus. Behind the Web of Science was the ISI – now the WOS is owned by the Thomson Reuters company and behind Scopus is Elsevier. Look, they are two databases so fundamental for science, that the Spanish Foundation for Science and Technology (FECYT), a branch of the Ministry, is the one that distributes them to all, ALL research centers in Spain, so that none of them will lack, at least, the basic package, both of WOS and scopus, right? It does so through a webpage called "Scientific Resources." Here you have the two databases, two huge powerful databases that offer impact factors: the Web of Science and Scopus, right?

Look, the Web of Science has a product called Journal Citation Report (JCR), do you see it there? which is where the WOS impact factor is articulated, that of journals indexed in WOS. Scopus takes its metrics from a research institue, a Spanish research group, known as SCImago, which produces the impact factor recognized by scopus: the SJR. Here's the link, it's free, whereas a subscription fee is needed for the other. The SJR is a free resource on the internet.

Well, we're going to see a little bit of how the WOS impact factor is built, which we'll refer to as Journal Citation Report (JCR). It is the average of citations of articles obtained by looking at all the articles published in a journal. Look, now, impact factors are measured in a specific year and are calculated by dividing the number of citations obtained in that year by the articles published in the journal two years ago. That is, it covers a two-year span. If you notice, and take a look at what the impact factor of a journal X in the year 2006 is – I'll tell you again, impact factors have a year – it's all a simple division: in the denominator we put the number of citations received in 2006 for the works published in 2004-5 and the number of works published in journal X in 2004-5 in the denominator. A simple division which gives a number. Also, remember that JCRs are listed for each year, okay? and they come in two editions: an edition for Sciences and an edition for Social Sciences.

We can search by any of the categories that appear on the side of the screen. As for Scopus, the SJR index is similar, but not the same since it is based in the algorithm that Google uses and it spans three years, instead. If you click here, you'll enter the SCImago webpage. I won't further discuss how to obtain or not to obtain an impact factor in WOS or in SJR. We have provided a pdf, which is available in the BUJA, concerning impact factors that contains two or three pages and that we have entitled as follows: "There are indicators to measure 'the importance' of a scientific publication." We are going to see two fundamental ones, there you have them.

If we are talking about numbers, we can sort them and, thus, we come across the concept of quartile. I won't tell you anything; the concept is clear. If I have a list of journals sorted by impact factor and I divide the list into four equal parts, I will end up with quartile 1, quartile 2, quartile 3, and quartile 4. If what I have done has been sorting by impact factor, in Q1, in quartile 1, there will be the journals with a higher impact factor for that area. It's obvious. Both WOS and Scopus, (JCR, like SJR), logically, sort by quartiles. There is a lot of discrepancy. Don't think everyone says "Wow! This is ... the only method, the best of the best".

We have placed here two links to two declarations: the San Francisco Declaration (DORA), about research assessment, and the Leiden manifesto, for research metrics. Please, take a look at them, okay? In DORA you also can sign and say: "look, I do not agree with the imposition of the impact factor as the mother of all measurements". Take a look at it and read it.

There are derived diseases. This is how it's being discussed in the scientific literature. Notice how it's called: it's known as "impactolatry". We have placed two or three links, where you will we redirected to articles on this imperative need to publish with impact, right? Look, it involves a practice (that's from NauKis), involves a simplistic practice in which the impact factor of a journal, and its reputation, are regarded as "absolute" indicators of the quality or importance of a specific investigation and, by extension, of the authors who sign it, the people behind the research.

There is an associated syndrome. Every disease has an associated syndrome: It is the HIFS syndrome, the High Impact Factor Syndrome. Here you also have the links to the article where this syndrome is defined. With this I finish the part about indicators, okay?

Thank you and in the next section what we are going to do is, if the numbers are sorted, talk about the derivative products: the rankings.