Credibilità scientifica e h-index

Recentemente sul quotidiano Il Tempo è apparso un articolo dal titolo “Burioni, Pregliasco e Brusaferro . Gli esperti più scarsi del mondo” in cui i nomi di tre medici che ultimamente occupano le prime pagine dei giornali non sono neanche messi in ordine alfabetico. L’articolo che trovate qui è un attacco neanche troppo velato alla credibilità di questi tre professionisti che ci avvertono dei pericoli della pandemia da SARS-Cov-2. L’attacco viene sferrato usando uno dei parametri (non l’unico) utilizzato per la valutazione comparativa dei candidati a posti più o meno importanti nel mondo accademico e della ricerca scientifica: l’h-index.

Cos’è l’h-index?

Per i non addetti ai lavori, si tratta di un indice che serve per valutare l’impatto che il lavoro di uno scienziato ha sulla comunità scientifica di riferimento. Se un lavoro pubblicato è molto importante, esso viene citato tantissimo e l’h-index di quello scienziato aumenta in modo proporzionale al numero delle citazioni che riceve.

Nel mondo da classifiche calcistiche in cui viviamo, questo parametro sembra molto utile, vero?

In effetti sembra così. Il problema è che questo parametro deve essere necessariamente contestualizzato. Prima di usarlo è necessario entrare nel merito del lavoro di uno scienziato. Se così non fosse tutte le commissioni di cui faccio parte e di cui ho fatto parte (inclusa quella relativa all’Abilitazione Scientifica Nazionale del mio settore concorsuale) non avrebbero alcun senso. Se bastasse solo valutare il valore dell’h-index per fare una classifica di idoneità ad una data posizione accademica, non sarebbe necessario rompere le scatole ai docenti universitari per includerli nelle commissioni: basterebbe il lavoro di un semplice ragioniere che non dovrebbe fare altro che accedere ai data base accademici, estrarre il valore dell’h-index e, poi, mettere i nomi dei candidati in ordine di h-index decrescente. Al contrario, se a me serve un ricercatore che abbia esperienza in fisiologia vegetale, non vado a vedere solo il suo h-index, ma vado a valutare anche l’attinenza della sua ricerca con la posizione che egli deve occupare. Se al concorso si presenta un ricercatore in filologia romanza con h-index 40 ed uno in fisiologia vegetale con h-index 20, sceglierò il secondo dei due perché la sua attività di ricerca è più attinente al profilo di cui si sente il bisogno. Da tutto ciò si evince che l’articolo pubblicato su Il Tempo è fallace proprio in questo. Il giornalista, di cui non conosco il nome e neanche mi interessa perché sto valutando solo quello che ha scritto, ha messo a confronto gli h-index di una serie di scienziati più o meno famosi senza andare a vedere se i settori di cui essi si occupano sono congruenti gli uni con gli altri e se i lavori scientifici che hanno pubblicato siano congruenti con la virologia. Questo giornalista si è solo peritato di agire come un tipico ragioniere che legge dei numeri e li mette in fila dal più grande al più piccolo. Alla luce di questa classifica ha concluso che Burioni (persona che conosco personalmente e che stimo moltissimo) è uno scienziato tra i più scarsi del mondo. A questo giornalista non importa neanche minimamente ciò che il Prof. Burioni dice. Ciò che gli importa è che un parametro, che nel mondo universitario noi utilizziamo con tanta oculatezza, collochi questo scienziato in fondo alla classifica che egli ha deciso autonomamente di stilare senza tener in alcun conto delle differenze che possono esistere tra i diversi settori scientifici in cui gli scienziati da egli presi in considerazione si muovono. Ed allora perché non inserire nella stessa classifica anche il Prof. Guido Silvestri che ha un h-index di 66 (qui) e che si muove su posizioni analoghe a quelle di Burioni? Ma…poi…siamo sicuri che Anthony Fauci, con h-index 174 e consigliere di Trump, non sia in linea con quanto dicono Burioni e Silvestri? Il giornalista che ha scritto l’articolo che sto commentando, probabilmente, pensa di no. Non tiene conto del fatto che Trump è una scheggia impazzita, che gli americani hanno eletto a loro rappresentante uno che è fallito ben due volte, e che questa persona non brilli certo in quanto a cultura e preparazione scientifica.

Gli h-index e la credibilità scientifica.

Ora voglio usare gli stessi criteri del giornalista de Il Tempo per fare una mia classifica di scienziati. Partiamo dalla fisica. Penso che io non abbia bisogno di presentare Enrico Fermi. È una gloria italiana che ha dato un contributo notevole alla fisica mondiale. Trovate una sua biografia qui. Il suo h-index è 28 (qui). Incredibile vero? Nonostante abbia vinto un premio Nobel, Enrico Fermi ha un h-index confrontabile con quello di Burioni che il giornalista de Il Tempo ha giudicato scarso. Però in effetti sto confrontando un medico con un fisico, peraltro deceduto già da molto tempo. Non sono paragoni da fare. Andiamo a prendere un altro fisico che è diventato famoso qualche tempo fa, all’inizio degli anni 2000: Jan Hendrik Schön. Ho parlato di questo scienziato qui. Fu uno studioso della superconduttività nei sistemi organici. In odore da Nobel fino a che si scoprì che inventava i dati. Gli è stato ritirato anche il dottorato di ricerca. Ebbene, se andiamo a leggere l’h-index di Schön su Scopus, risulta che esso è pari a 32 (qui). In definitiva, usando i parametri del giornalista de Il Tempo, Enrico Fermi è più scarso di Jan Hendrik Schön. Ma quale tra i due ha maggiore credibilità? Enrico Fermi che ha lavorato seriamente ed ha dato un contributo alla fisica riconosciuto dall’intera comunità scientifica oppure Jan Schön che, invece, ha lavorato in modo poco serio arrivando ad inventarsi i dati pur di avere quella notorietà internazionale che non meritava?
Voglio continuare. Ritorniamo nel campo medico e prendiamo Wakefield. Sì, proprio il medico che è stato radiato dall’ordine dei medici e dalla comunità scientifica per aver inventato di sana pianta la correlazione tra vaccini ed autismo. Il suo h-index è 45 (qui) dovuto principalmente alle oltre 1500 citazioni che il suo lavoro su The Lancet, pubblicato nel 1998 e poi ritrattato una decina di anni dopo, sulla correlazione vaccini-autismo ha ricevuto. Usando i parametri del giornalista de Il Tempo, Burioni è più scarso di Wakefield. Ma voi nelle mani di chi mettereste la vostra salute: di Burioni o di Wakefield? Io non ho dubbi, per quanto mi riguarda: mi affiderei senza ombra di dubbi a Burioni.

Conclusioni

Ho scritto questo articolo per far capire quanta spazzatura ci sia in rete in merito a come vengono usati i numeri che hanno significato solo nell’ambito per cui quei numeri sono stati introdotti. Al di fuori dell’ambito accademico, l’h-index non può essere utilizzato. In ogni caso, anche in ambito accademico va utilizzato non in senso assoluto ma assieme a tutta una serie di parametri che servono per valutare la credibilità di uno scienziato. Usando un linguaggio matematico, l’h-index è condizione necessaria ma non sufficiente a farsi un’idea del lavoro di qualcuno.

Fonte dell’immagine di copertina

22 risposte a “Credibilità scientifica e h-index”

  1. Gentile dott. Conte, concordo su quanto esposto relativamente l’impossibilità di giudicare basandosi su un numero senza approfondire….ma allora approfondisca.
    Ci faccia capire quanto queste super star siano competenti non solo della materia in generale ma, nello specifico, sul coronavirus in questi due anni e di sars e simili prima. Partendo dal presupposto che si tratti per tutti di una ” novita”, e questo non lo dico io ma lo dice il mondo accademico di cui lei fa parte per giustificare le continue contrastanti dichiarazioni sul tema, ci illumini sugli studi e relative pubblicazioni delle suddette superstar in merito, epurate ovviamente di quei parametri derivanti dalla enorme visibilità avuta nell’ultimo periodo.
    Le sembra abbastanza obbiettivo come metodo?
    Non dimentichi poi di citare da chi sono pervenuti i fondi che hanno finanziato gli studi e le loro pubblicazioni, non perché io sia diffidente ma in onore di quella credibilità a cui lei stesso si riferisce.
    Non ho alle spalle studi eruditi, sono una donna comune, con un lavoro comune, con una vita comune e mi dispiace forse deluderla ma non mi fido di un medico per come è pettinato. Mi fido di un medico quando, pur rendendosi conto di avere a che fare con una persona comune, mi ascolta, mi rassicura cercando di trasferirmi le sue conoscenze con un linguaggio che mi è congeniale, risponde alle mie domande e mi chiede se ne ho delle altre, mi fa comprendere insomma che è pronto a prendersi cura di me e dei miei cari e che questa è la sua unica ambizione.
    Mi scusi se è poco!

    1. Gentile signora,
      Di una cosa sono certo. Io NON “devo” nulla. Lei ha una idea del mondo scientifico che è veramente comune. Lei ritiene che la scienza sia una religione e che gli scienziati siano dei sacerdoti. Purtroppo non è così. Lei parla di fondi. Beh, essendo più informata di me, citi lei l’origine dei fondi. Ma tenga presente che esiste sempre il reato di ingiuria, che senza alcuna prova e solo per sentito dire in questo blog non viene accettato nulla. Quindi, io sono aperto al dialogo, ma solo sui fatti provati. Per quanto riguarda la fiducia nei medici, questa è soggettiva. Se lei vuol dare la sua fiducia a un medico invece che a un altro, son fatti suoi. La saluto

  2. Mi occupo di innovazione tecnologica e ricerca scientifica da anni, ma quello che avviene in medicina ed in farmacologia ha dello scandaloso. Potrei dirvi che per esempio un primo metodo da considerare è il livello del CONFLITTO DI INTERESSE… ne vedremmo delle belle…

  3. Ottimo commento Conte!
    Per giudicarlo bene però dovrei farle un colloquio, leggere i suoi scritti, valutare come espone i concetti (sicuramente bene perchè è un professore, mi si potrebbe obiettare), invitarla ad una commissione di esperti non solo nella chimica in generale, ma soprattutto in quella parte di cui lei è esperto… però ora che ci penso, per scegliere dei valutatori adatti dovrei fare loro lo stesso percorso… loop… Vabbè facciamo così Conte: siccome non debbo assumerla, non debbo lavorare con lei, non debbo valutare se merita una cattedra accademica…. ma devo solo cercare, da ignorante, di farmi un’idea e cercare di confrontarla con suoi colleghi che hanno blog simili da cui posso trarre informazione, sa cosa faccio? Leggo la sua presentazione:
    -Laureato in Chimica
    – dottorato in Chimica Agraria,
    – cattedra di Chimica Agraria come Professore Ordinario presso l’Università degli Studi di Palermo.
    – visiting scientist presso la Wageningen University and
    – Research (Paesi Bassi) e
    – visiting Professor presso il Forschungszentrum Juelich (Germania).
    – autore/co-autore di più di 110 lavori pubblicati su riviste scientifiche nazionali ed internazionali e capitoli di libri.
    – Scrivo per alcuni blog come Laputa.it, oltre a gestire
    – animata e molto frequentata pagina di Facebook.
    che sfoggia giustamente titoli, pubblicazioni, cariche e una animata e molto frequentata pagina facebook (questa è molto dolce :-))
    Però mi viene un dubbio: se mi fosse dato il compito di valutare se darle una posizione accademica… ah no aspetta, volevo solo farmi un’idea di massima (per un pubblico medio) della sua preparazione e credibilità e COERENZA! Quindi boh… confronto i dati che lei mi ha fornito (titoli, cariche, pubblicazioni) con quelle del suo collega (non mi metto a leggere le pubblicazioni o vedere se le università che la incaricano sono prestigiose o tristi nefandezze… non finisco più). Però boh… vale di più un autoraggio o un co-autoraggio, una cattedra o un libro… senti Conte sai cosa faccio? Faccio come i gradi di affidabilità delle case automobilistiche, o le recensioni di un libro… o i mille indici sintetici che conosco: chiaro che se gli indici sono vicini non creano discrimine, ma se ci sono significative distanze può essere un indicatore affidabile (statisticamente). Scopro che (nel 2005) è stato inventato (da uno scienziato, no da me, un fisico tra l’altro) un indice che, con tutte le approssimazioni che sono ovviamente insite in tutti gli inidici sintetici cerca di dare un criterio oggettivo, seppur approssimativo, e confrontabile. Pur non scienzato capisco che se tu hai un indice di 99 e Hirsch ha un indice di 110 non ho nessuna informazione sisgnificativa, certo che se tu hai un 130 e lui un 29, beh diciamo che mi faccio un’idea di massima che anche da sola (ma probabilmente su Burioni abbiamo già molte altre informazioni e indicazioni) ai miei fini potrebbe essere sufficiente (tengo a mente che sono incaricato di dare una cattedra, ma da profano e medio ignorante mi voglio fare un’idea vaga di chi parla). Certo potrei dire che Burioni mi sta più simpatico di Luc Montagnier, perchè no? Prefersico basarmi su undice (sintetico e approssimativo) inventato da un fisico e accettato e utilizzato dalla comunità scientifica, mi sembra un approccio più razionale.
    Ma Aristotele aveva un indiche H = 0! Ah… accidenti, forse scriveva poco?
    Scomodiamo Fermi… poi aggiungiamo “si però forse è un po’ vecchiotto” ma va? Intanto però lo abbiamo scritto e stampato il paragane sbagliato, lo cancelliamo? No lascia lascia, tutto fa brodo.
    Allora prendiamo “a caso” un altro: Shon (che conosco tutti perchè è famoso come Fermi… no…mmmhh… ma lo abbiamo scritto vicino… lascia lascia!!) che guarda caso è famoso proprio per l’esito nefasto delle sue scoperte, ma chissà quanti casi particolari scelti “a caso” ci saranno rispetto alle migliaia di scienziati che potrebbero essere sufficientemente coerenti con l’indice H. Boh, il prof Conte ci ha detto questo e noi questo ci ricordiamo, che vuoi fa’?
    Però una cosa a dico fuori dai denti: io avrei scelto lei! Perchè quella animata e molto frequentata pagina facebook mi ha fatto troppa tenerezza :-). Non come professore però! Non mi si fraintenda, preferisco qualcuno che non si adoperi, maldestramente, per svergognare un articolo anti-propagandista, che un cittadino medio comprende e pondera di suo, su un quotidiano generalista, dicendo che non si fa così per attribuire cattedra, valutare la collaborazione con uno scienziato per un lavoro, comporre commissioni (di cui lei fa parte inclusa quella relativa all’Abilitazione Scientifica Nazionale del mio settore concorsuale! Quel che è giusto è giusto), o per assumere un ricercatore… non non si fa così giornalista ragioniere! Il tuo articolo è fallace!
    E tu Trump, tu sei un pazzo, hai già fallito 2 volte, perchè gli americati ti hanno votato! (ma non parlavamo di scienziati…?!? Taci taci, lascia lascia! Tutto fa brodo).
    Il giornalista ha pure fatto conoscere questo indice H (che io prima non conoscevo e per merito di questo ragioniere sono andato a guardarmi) e lo ha dato in pasto al pubblico che ora ha anche un altro parametro per farsi un’idea. Comunque non si preoccupi Conte, l’articolo su Il Tempo non si trova più, non so perchè… perchè? Mi chiedo perchè ho perso tutto questo tempo a scriverle, forse:
    “per far capire quanta spazzatura ci sia in rete in merito a come vengono usati i numeri” (no la gente questo lo sa già)
    “che hanno significato solo nell’ambito per cui quei numeri sono stati introdotti. Al di fuori dell’ambito accademico, l’h-index non può essere utilizzato. ” (… recap: solo in ambito accademico – no fuori – ok ci sono!)
    “In ogni caso, anche in ambito accademico va utilizzato non in senso assoluto ma assieme a tutta una serie di parametri . ” (cioè fuori no, dentro neanche se non proprio usando le altre cose che si leggono ad esempio nei giornali …ok)
    “Usando un linguaggio matematico, l’h-index è condizione necessaria ma non sufficiente a farsi un’idea del lavoro di qualcuno”… Ah ora è necessario per farsi un’idea?!? Grazie al giornalista ragioniere allora!
    No comunque non è per questo che ho scritto: è perchè io sono (anche) ragioniere.

    1. Pippone enorme e senza senso. Mi chiedo anche io perché abbia scritto. Poteva spendere il suo tempo in modo migliore. La saluto

  4. Concordo con le osservazioni in merito all’indice h, che si possono anche estendere all’IF delle riviste (se la rivista è seria e rigorosa ma estremamente specialistica avrà un pubblico ridotto e meno citazioni). Le citazioni di un articolo open access sono ovviamente più numerose quindi la spinta ad aumentare il proprio indice h fa il gioco di case editrici tipo MDPI, dove ora danno ben 7 giorni ai referee per leggere e commentare I lavori.

    1. Ed infatti, quando mi capitano le riviste MDPI che mi chiedono la review entro 7 giorni, scrivo lettere di fuoco in cui dico che il mio lavoro non è fornire loro le mie opinioni in 7 giorni…

  5. Lei parla di Burioni come di qualcuno affidabile, a me fa una impressione molto negativa, l’esposizione mediatica è sospetta.

    1. Gentile signora,
      Non so cosa dirle. L’esposizione mediatica è legata al fatto che il Prof. Burioni è molto preparato. La fiducia in un medico o c’è o non c’è e dipende da tanti fattori, anche da come uno si pettina. Come paziente, ognuno di noi ha il diritto di scegliere il medico che lo ispira di più. Ma non è questo in discussione.

      1. Spero lei sia ironico su Burioni; fa il maestro da Fazio senza nessuno che lo possa contraddire, nelle sue lezioni si permette anche di offendere chi in quel momento la pensa diversamente. Video 3/2/20 La7 Burioni: “La mascherina non è particolarmente efficace, virus non pericoloso è più giusto preoccuparsi dei fulmini”. 10/8/20 Burioni: «Mettete la mascherina anche ad agosto, è un piccolo sacrificio ma è necessario». Anche su vaccini, trasmissione, infezione, numero di dosi, chiusure, indici, curve, le ha sbagliate tutte, contro ogni statistica, quindi o è incapace o c’è il dolo.

        1. Gentile signore,
          Quando si parla di scienza io sono serissimo. E lo sono ancor di più quando si parla del Professor Burioni (non è suo fratello per cui la prego di usare i titoli che egli merita e per i quali ha sudato – nel mio blog la netiquette la decido io) che ha tutta la mia stima. Nel mondo scientifico le opinioni contrapposte si fondano sulle medesime osservazioni, non sui racconti di mio “cuggino”. Le consiglio di studiare almeno i principi del metodo scientifico prima di venire a scrivere qui certe sciocchezze. Lei si assume tutta la responsabilità del suo ultimo periodo. Per quanto mi riguarda il Professor Burioni è non solo medico capace, ma estremamente preparato.
          La saluto

    2. Quindi tu anziché leggere l’articolo ti basi su una impressione basata sul nulla. Ti rendi conto quanto è inutile questo tuo commento?

  6. Ma è logico che è un sistema che ha tanti difetti, il più importante dei quali che non si possono paragonare ricercatori che hanno fatto ricerca in epoche diverse come fa lei ci Fermi, quando i giornali scientifici erano pochi e così il numero di ricerche. E poi tutti sanno che faborisce i vecchi con lunga carriera. Ma la polemica è come i politici fanno i loro consulenti che usano parametri molto peggiori della H index e comunque questi parametri si sono imposti per i personalismi nei giudici criticati da tutti. Trovi lei un metodo migliore per valutare con una certa obiettività il valore scientifico di un ricetcatore e me lo dica o lo dica a tutti!

    1. Gentile Giuseppe,
      Quello che scrive mi fa capire che lei non abbia colto il senso di quanto ho scritto. Lo so benissimo che il paragone fatto con Fermi non significa nulla. È proprio per questo che l’ho fatto. Ho usato esattamente gli stessi parametri di pensiero del giornalista. E dice bene. L’h-index è più alto per chi ha una carriera più lunga. Tanto è vero che se va in scopus potrà leggere che la prima pubblicazione di Fauci risale al 1971. Considerando che Burioni ha solo 4/5 anni più di me e che la sua carriera è cominciata negli anni 90, potrà capire che il paragone fatto dal giornalista non tiene. Leggo dall’indirizzo e-mail che lei dovrebbe essere un collega. Quindi, dovrebbe sapere quali sono le magagne del nostro sistema. E lei chiede a me di dare soluzioni? La ringrazio per la considerazione che ripone in me, ma non faccio né il ministro né il politicante.

      1. Avete tutti conflitti di interesse dai finti virologi ai giornalisti ai politici che ci governano.. Vergognatevi per tutto quello che state facendo

        1. Abbiamo capito che questo h-index serve solo a sapere il numero delle pubblicazioni scritte, ma fanno numero anche le partecipazioni o le citazioni, non so se sono contemplati anche i brevetti e i libri. «Perché guariremo, dai giorni più duri ad una nuova idea di salute». Firmato Roberto Speranza. Un testo illuminante e scritto dal ministro della Salute, in piena pandemia nel 2020, in cui il ministro spiegava agli italiani come aver sconfitto il Covid risultato ampiamente e grossolanamente fallace. Chissà quanti punti h-index conferisce?

          1. Cosa c’entra il ministro Speranza? Come le dicevo poc’anzi, studi le basi e poi venga a commentare.
            Cordialmente

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *