In Figura 1 si riporta il programma completo col titolo degli interventi.
Figura 1. Programma dettagliato del Workshop
Obiettivo dell’evento è stato quello di avvicinare il mondo accademico alla società civile per far comprendere in cosa consista il lavoro scientifico e in che modo poter riconoscere le fake news (o bufale, che dir si voglia). Tra i partecipanti oltre a professionisti di ogni settore, anche tantissimi studenti (Figura 3).
Figura 2. Il pubblico di studenti e professionisti intervenuti al Workshop
È stata una grande soddisfazione vedere un numero così elevato di studenti. Questo vuol dire che anche le menti più giovani sono curiose ed hanno voglia di apprendere i meccanismi attraverso cui si possono riconoscere le pseudoscienze così da poter dare esse stesse un contributo attivo alla lotta contro maghi, imbonitori e truffatori.
L’evento è stato condiviso in diretta streaming dalla pagina facebook della C1Vedizioni.
Qui di seguito trovate i filmati caricati sul mio canale YouTube personale delle singole presentazioni. Nello stesso canale potete anche trovare lo streaming completo nel caso aveste voglia e tempo di (ri)vivere tutte le emozioni e gli errori tecnici che, inevitabilmente, accompagnano l’organizzazione di un evento complesso come un Workshop.
Introduzione della Dr.ssa Tocci e intervento del Prof. Giorgio Dobrilla
Medicina insolita nell’era 2.0
Intervento del Prof. Silvano Fuso
Chimica buona e chimica cattiva
Intervento del Dr. Armando De Vincentiis
Scienza e autoinganni
Intervento del Prof. Roberto Burioni
I vaccini, la scienza e le bugie
Intervento del Prof. Francesco Cappello
Il ruolo dell’anatomia umana nella battaglia contro la pseudoscienza
Intervento del Prof. Gugliemo Bonaccorsi
Prevenire le bufale con l’Health Literacy
Intervento del Dr. Nino Cartabellotta
Miti, presunzioni ed evidenze: un mix di ingredienti e le fake news sono servite!
Intervento del Dr. Sergio Saia
Le bufale scientifiche sul frumento e sui derivati
Intervento del Dr. Francesco Mercadante
Incubatori di devianze. Il linguaggio dei social network tra paradossi, cattiverie e mondi impossibili
Oggi sul nostro canale scientifico abbiamo parlato del significato delle parole prese dal linguaggio scientifico e decontestualizzate. Tra gli esempi abbiamo discusso di omeopatia, pratica pseudoscientifica che, nonostante lo sviluppo scientifico occorso negli ultimi 300 anni, viene ancora presa in considerazione come valida alternativa alla pratica medica che fa uso del metodo scientifico per la cura di patologie più o meno gravi. Di omeopatia ho già scritto sia nel mio libro (Frammenti di Chimica. Come smascherare falsi miti e leggende) che in una serie piuttosto cospicua di articoli in questo blog (qui).
Fonte dell’immagine di copertina: https://www.telegraph.co.uk/news/health/alternative-medicine/8844461/Parents-face-inquiry-for-treating-son-with-alternative-medicine.html
Interessante. Oggi parlavo con un collega che evidentemente sta seguendo i miei post sul blog, in particolare questi sugli errori, e mi faceva notare che anche io non sono esente da errori nel riportare correttamente le cifre significative di cui ho parlato qui. Dovrei stare attento quando giudico gli altri e scrivo certe cose perché io stesso sono suscettibile delle medesime critiche. Sono d’accordo. Anzi aggiungo che sono assolutamente d’accordo. Ma proprio per questo devo guardare anche a me stesso.
Ho controllato nei diversi lavori che ho pubblicato, avendo come traccia solo che si trattava di un lavoro degli inizi della mia carriera. In effetti è così. L’ho trovato. Si tratta di: Zena, Conte, Piccolo (1999) GC/ECD determination of ethylenethiourea residues in tobacco leaves, Fresenius Environmental Bulletin 8, 116-123. Si tratta di un lavoro in cui sono stati ricercati i prodotti di degradazione, anzi del prodotto di degradazione, di un fungicida usato nella coltivazione del tabacco. Le tabelle incriminate sono quelle che potete vedere in Figura 1 e Figura 2.
Figura 1. Tabella 1 con il numero non corretto di cifre significativeFigura 2. Altra tabella con errori nelle cifre significative
Si tratta di errori del tutto analoghi a quelli che ho denunciato nella Parte II di questo reportage.
Non è certo un caso che la rivista che ha accettato questo lavoro abbia un impact factor di 0.673 per il 2017/2018. In effetti una qualsiasi altra rivista più quotata quasi sicuramente non avrebbe fatto passare un lavoro con questi errori così evidenti. La qualità di questa rivista è valutabile al seguente link Fresenius Environmental Bulletin.
La Figura 3 mostra come si posiziona negli anni Fresenius Environmental Bulletin nei vari quartili che sono utilizzati per la valutazione della qualità di una rivista scientifica.
Figura 3. Posizionamento dei Fresenius Environmental Bulletin negli anni
Per i non addetti ai lavori, ogni rivista viene posizionata in un quartile in base all’importanza della rivista stessa. Il quartile più importante è indicato come Q1, poi a scalare ci sono Q2, Q3 e Q4. Le riviste che si posizionano in Q1 sono quelle più accreditate (Nature e Science, tanto per essere chiari), mentre più alto è il valore del quartile, meno importante è la rivista in cui si decide di pubblicare. Il codice dei colori riportato in Figura 3 mostra che Fresenius Environmental Bulletin per il 2017 si trova in Q4 per il settore Environmental Science e Q3 per i settori Pollution e Waste Management and Disposal. La posizione migliore che questa rivista aveva nel 1999 era Q2 per Waste Management and Disposal.
Come fa una rivista a scendere così in basso nel posizionamento dei quartili? Uno dei motivi è che accetta lavori come il mio con errori così evidenti che non consentono agli stessi di far crescere la rivista in cui sono pubblicati.
Le quotazioni di una rivista crescono con la qualità dei lavori che essa accetta e pubblica. Lavori di bassa qualità non permettono alla rivista di essere catalogata tra quelle importanti per un determinato settore scientifico.
Volete sapere quale è stato l’impatto di questo mio lavoro nella comunità scientifica? Lo potete vedere nella Figura 4 che è ricavata dallo screenshot della mia pagina Google Scholar (qui).
Figura 4. Impatto del lavoro su Fresenius Environmental Bulletin nella comunità scientifica
Come vedete, dal 1999 ad oggi il lavoro è stato citato solo sei volte. In quasi venti anni sei citazioni sono davvero poche. Solo come confronto, nella Figura 4 è riportato anche l’impatto (in numero di citazioni) di altri due miei lavori. Evidentemente la qualità dei dati sperimentali descrivibile attraverso l’uso scorretto delle cifre significative riflette la qualità complessiva del lavoro che non è risultato utile alla comunità scientifica relativa al mio settore.
Devo ancora trattenermi in quel che dico o scrivo perchè alcuni ritengono che sottolineare il pressapochismo che sovente si nota nel riportare le cifre significative sia insignificante o, addirittura, sbagliato? No.
Anche io posso sbagliare, ma l’importante è stato imparare dai miei errori, non certo non commetterne mai. Anzi, sono molto grato al mio collega che ha avuto la costanza e la pazienza di andarsi a scaricare tutta (sic!) la mia produzione scientifica, leggere un bel po’ di lavori ed andare a spulciare nei meandri delle mie pubblicazioni se eventualmente ci fosse da segnalare al sottoscritto la presenza di sbagli, anche in pubblicazioni di quasi venti anni fa. Di questo lo ringrazio perchè la mia memoria non è così ferrea.
Ma, anche, questo mi permette di dire che tutti commettiamo errori e che non bisogna mai abbassare la guardia di fronte alla sciatteria scientifica se si ha la volontà di crescere e migliorare professionalmente.
Ed eccomi qui in una trasmissione on line. Grazie a Carolina Sellitto per l’intervista nella sua Oxygen con la quale mi ha dato modo di poter parlare di chimica, di scienza e di presentare il mio Frammenti di chimica. La corretta divulgazione si fa con tutti i mezzi possibili in modo da raggiungere le menti curiose del pubblico di ogni fascia di età ed estrazione culturale.
Carolina Sellitto presenta:Frammenti di Chimica con lo scienziato prof Pellegrino Conte
Nelle prime due parti del reportage sulla qualità dei dati scientifici ho posto l’attenzione sulla differenza tra riviste chiuse e riviste aperte (qui) e ho evidenziato che la scarsa qualità dei dati scientifici non riguarda solo i predatory journal, ma anche giornali ritenuti molto affidabili (qui). In altre parole ho puntualizzato che la cosiddetta bad science, ovvero ciò che sfocia nella pseudo-scienza, è trasversale; ne sono pervase un po’ tutte le riviste: siano esse predatory journal oppure no; siano esse open-access oppure no. Ne ho discusso anche altrove (per esempio qui e qui), quando ho evidenziato che lavori poco seri sono apparsi su Nature e Science (riviste al top tra quelle su cui tutti noi vorremmo pubblicare) e che più che dal contenitore, ovvero dalla rivista, bisogna giudicare la qualità di un lavoro scientifico sulla base di ciò che viene scritto. Nonostante questo, tutte le istituzioni accademiche e non, riconoscono che la probabilità di avere bad science in un predatory journal è più alta che nelle riviste considerate non predatory; per questo motivo tutte le istituzioni formulano delle linee guida per tenersi lontani da riviste di dubbia qualità.
In che modo difendersi dalla bad science delle riviste predatorie?
Esistono tanti siti al riguardo. Per esempio, la mia Università, l’Università degli Studi di Palermo, mette a disposizione una pagina (qui) in cui elenca una serie di siti web da cui attingere per valutare se una rivista è seria oppure no. In particolare, se la rivista in cui si desidera pubblicare è compresa negli elenchi dei link riportati ed è anche nella Beall’s list of predatory journals and publishers, con molta probabilità si tratta di un predatory journal a cui si raccomanda di non inviare il proprio rapporto scientifico. Se, invece, la rivista o l’editore sono negli elenchi citati ma non nella Beall’s list of predatory journals and publishers, con buona probabilità si tratta di riviste non predatorie. Qual è il limite di queste raccomandazioni? I predatory journal spuntano come funghi per cui è possibile che ci si imbatta in una rivista che non è stata ancora catalogata come predatoria. Cosa fare in questo caso? Bisogna ricordarsi che tutte le riviste predatorie hanno in comune alcuni caratteri essenziali che le distinguono dalle riviste più accreditate:
Comitati editoriali anomali, non determinati o inesistenti
Tendenza a pubblicare lavori scientifici in settori molto eterogenei tra loro
Tasse per la pubblicazione estremamente basse (in genere meno di 150 €)
Presenza di immagini sfocate o non autorizzate presenti nei loro siti web
Richiesta di invio dei lavori mediante posta elettronica, spesso a indirizzi e-mail non professionali o non accademici, e non attraverso un sistema di invio on-line
Mancanza di qualsiasi politica sulle ritrattazioni, correzioni, errata corrige e plagio (più della metà delle riviste più accreditate descrive nei propri siti web come comportarsi in ognuna delle quattro circostanze)
Basso o inesistente valore di impact factor (IF)
Tutti questi caratteri possono essere presenti contemporaneamente o in parte in una data rivista. Tuttavia, la loro presenza non necessariamente deve essere indice di predazione. Infatti, per esempio, una rivista nuova non ha l’impact factor che si calcola confrontando il numero di citazioni di tutti gli studi pubblicati in un biennio col numero totale di studi pubblicati nello stesso biennio (qui). Questo significa che una rivista può cominciare ad avere un IF solo a partire dal terzo anno di vita. Se la rivista è di nuova fondazione, può attuare una politica di incentivazioni alla pubblicazione fornendo agevolazioni ai ricercatori che decidono di inviare il loro lavoro. Per esempio, la ACS Omega(una rivista ancora senza IF della American Chemical Society, ACS) permette la pubblicazione gratuita a chiunque disponga di voucher (del valore di circa 750 $) elargiti dalla ACS a ricercatori di paesi in via di sviluppo o con problemi di fondi di ricerca per la pubblicazione in open access. C’è anche da dire che attualmente è abbastanza facile costruire siti web accattivanti ed attraenti. Per questo motivo, a meno che non si tratti di truffe molto evidenti, è abbastanza difficile trovare riviste predatorie con siti web fatti male. Infine, in passato ho pubblicato su riviste molto importanti del mio settore (quindi non predatorie, non open access e con ottimo IF), il cui editor rispondeva ad un indirizzo e-mail con dominio gmail.com.
Ma adesso sto diventando prolisso. Basta annoiarvi.
Ho aperto questo articolo scrivendo che tutte le istituzioni accademiche (e non) si raccomandano di seguire le linee guida appena indicate per evitare di pubblicare su riviste dalla scarsa qualità. In altre parole, le linne guida riportate sono un modo per riconoscere l’attendibilità dei contenitori in cui “versare” le conoscenze scientifiche che noi raccogliamo dalla nostra attività di ricercatori. Per ora non vi voglio annoiare di più. Nella quarta ed ultima parte di questo reportage dimostrerò che, in realtà, la qualità della ricerca non dipende dalla tipologia di rivista, ma da ben altri fattori tra cui le istituzioni che finanziano la ricerca e che, nello stesso tempo, si raccomandano di tenersi lontani da certi giornali.
Eravamo rimasti alle riviste predatorie (qui), quelle riviste che, dietro corrispettivo di una tassa più o meno salata, pubblicano di tutto senza una seria revisione tra pari (peer review); anzi possiamo anche dire senza alcuna revisione tra pari.
Volete un esempio?
Cliccate qui e si aprirà uno studio dal titolo “Combined Effects of Ethylacetate Extracts of Propolis Inducing Cell Death of Human Colorectal Adenocarcinoma Cells”, autori: Britta Schulz, Elizabeth Smith , Richard Funden and Ulf Moosberger; rivista: J Integr Oncol 2018, 7:2 (DOI: 10.4172/2329-6771.1000207). In questo studio (citato nel numero 1274 della rivista Internazionale) si discute dell’attività anticancerosa della propoli, ovvero di una sostanza resinosa “fabbricata” dalle api, di origine vegetale e ritenuta la panacea di ogni male. Cosa c’è di strano in questo lavoro? Semplicemente che si tratta di un lavoro inventato dai giornalisti del Süddeutsche Zeitung Magazin e del Süddeutsche Zeitung nell’ambito di una inchiesta (pubblicata appunto sul numero 1274 di Internazionale) in merito ai giornali predatori. Gli stessi giornalisti del Süddeutsche Zeitung Magazin e del Süddeutsche Zeitung, poi, affermano che, per non lasciar traccia di questa pseudo scienza, hanno richiesto il ritiro del lavoro. Ed infatti, qui trovate proprio la retraction, sebbene non sia per nulla indicato che si è trattato di un lavoro inventato.
In questo caso si parla di dati e lavori apparsi su riviste di editori che sono inclusi nella Beall’s list of predatory journals and publishers per cui, sapendo che la serietà di tali riviste è opinabile, uno scienziato serio si guarda bene dal prenderli in considerazione se non dopo essere entrato approfonditamente nel merito di quanto lì scritto ed aver fatto un’accurata revisione post pubblicazione (ricordo che il principio fondante del metodo scientifico si basa sull’importanza di ciò che viene detto e non su quella del contenitore dove viene pubblicato un lavoro. Ne ho parlato anche qui).
Le sciocchezze nelle riviste più accredidate: il caso del gruppo editoriale Nature
Bisogna ammettere che lavori dalla dubbia o inesistente serietà possono essere pubblicati anche su riviste più accreditate. Ne volete un esempio? Eccolo (qui). Si tratta di un lavoro sull’efficacia dell’omeopatia pubblicato su Scientific Reports (una rivista del gruppo editoriale Nature) che tutti i siti pro-omeopatia e tutti i quelli che pensano che l’omeopatia abbia un’efficacia più alta del placebo si affannano a pubblicizzare come pubblicata sulla molto più quotata Nature (qui e qui, per esempio). Cosa ha di strano questo lavoro?
Lo story-telling
Faccio una premessa. Le riviste del gruppo Nature hanno una particolarità: gli articoli sono scritti come se fossero una specie di story-telling. In altre parole, si privilegia la narrazione dei risultati e della loro interpretazione rispetto alla parte tecnico-sperimentale, ovvero l’elencazione dei materiali e metodi usati per gli esperimenti. Non fraintendetemi. Non è che materiali e metodi manchino; ci sono, solo che vengono inseriti in coda all’articolo pubblicato. Questo vuol dire che chi legge spesso si sofferma solo sullo story-telling senza approfondire oltre le modalità con cui sono stati condotti gli esperimenti. Questo modo di esporre una ricerca è positivo perché permette la comprensione di un articolo scientifico ad un pubblico molto più ampio di quello che accede a riviste che non usano il medesimo approccio narrativo: i lettori non si distraggono con particolari tecnici che, molte volte, risultano ostici ed incomprensibili. Il punto è che proprio nei materiali e metodi si annidano le insidie. È dalla lettura di quei paragrafi molto tecnici che si può capire se un progetto sperimentale è stato ben congegnato.
I dettagli tecnici
Andiamo nei particolari. A pagina 9 è scritto:
Drug treatment and groups. Animals were randomly divided into five groups, each consisting of 8 rats (n = 8). Group I: Normal control group of rats were orally administered once daily with 1 ml saline for 14 days. Group II: Sham operated group of rats were treated with 1 ml saline once daily for 14 days. Group III: CCI-induced neuropathy control group of rats orally received 1 ml saline once daily for 14 days. Group IV: CCI-induced neuropathy + RT treated group of rats orally received 0.1 ml of RT (1 × 10−12 dilution) with 1 ml of distilled water once daily for 14 days. Group V: CCI-induced neuropathy + gabapentin treated group of rats orally received Gabapentin (60 mg/kg/day, p.o.) suspended in 0.5% carboxymethyl cellulose (CMC) once daily for 14 days.
Da quanto riportato, si capisce che si tratta di una sperimentazione fatta su ratti divisi in 5 gruppi ognuno contenente 8 individui. Già da questo si potrebbe argomentare che 8 individui non sono una popolazione statisticamente significativa. Per poter avere dati che abbiano un significato statistico accettabile bisogna andare su numeri più grandi. Ed in effetti gli autori sembrano essere coscienti di questo limite perché a pagina 7 (nelle conclusioni del lavoro) scrivono:
Although, the results of present study suggested the anti-neuropathic effect of RT, further pre-clinical and clinical studies are warranted to confirm these effects. Several other biochemical mechanisms may be involved in RT mediated anti-neuropathic effect. Results of present study are suggestive of the anti-nociceptive effect of RT against neuropathic pain and deserve further validation of its effectiveness in various painful conditions.
In altre parole, occorrono esperimenti più approfonditi per validare le loro conclusioni.
La sperimentazione in cieco
Ma torniamo al “Drug treatment and groups”. Riuscite a notare cosa manca? Manca la sperimentazione in cieco. In altre parole, i trattamenti somministrati ai ratti dei cinque gruppi sono stati condotti in modo tale da non evitare né l’effetto Rosenthal né l’effetto Hawthorne. Si tratta di due possibili meccanismi dell’effetto placebo che ho già avuto modo di descrivere qui (ne parlo anche nel mio libro). La conclusione è che, sebbene pubblicato su una rivista prestigiosa di una casa editrice molto antica ed altrettanto prestigiosa, il lavoro non è fatto bene e le conclusioni non consentono di dire che i rimedi ad elevata diluizione sperimentati sono più efficaci dei placebo.
Altri esempi di lavori superficiali su riviste accreditate
Una delle riviste del mio settore è Journal of Chemical Ecology. È una rivista con un impact factor di 2.419 per il 2017. Certo non è paragonabile a quello di Nature che è 42, ma stiamo parlando di riviste scientifiche di carattere differente. Nature è una rivista generalista e, per questo, letta da scienziati di ogni settore disciplinare; Journal of Chemical Ecology è un giornale di chimica ecologica ed è destinato ad una nicchia molto piccola di scienziati, ovvero chimici che si occupano di ecologia ed ecologi. Da qui discende che il numero di citazioni che possono ricevere i lavori di Nature è di gran lunga più alto di quello che possono ricevere i lavori di Journal of Chemical Ecology destinato ad un settore enormemente più piccolo di quello di Nature (ricordo che l’impact factor è un parametro quantitativo che si calcola confrontando il numero di citazioni di tutti gli studi pubblicati in un biennio col numero totale di studi pubblicati nello stesso biennio. Per esempio, supponiamo che il numero di citazioni di tutti gli studi pubblicati su una rivista nel biennio 2015-2016 sia 13000, mentre il numero di studi pubblicati nello stesso periodo sia 5000. L’impact factor si ottiene dal rapporto 13000/5000, ovvero esso è 2.6).
Fatta questa premessa doverosa per evitare che i non addetti ai lavori si mettano a fare confronti idioti tra riviste che non possono essere confrontate tra loro (e vi assicuro che stupidi che fanno questi confronti ce ne sono), vediamo cosa mi è capitato sotto le mani.
Le cifre significative
Chi mi legge da un po’ di tempo sa che non scrivo solo per il mio blog, ma anche per altri siti come Laputa e Chimicare. In quest’ultimo ho pubblicato un breve articolo sulla matematica elementare nella chimica. Lo potete trovare qui. Non voglio tediarvi con troppi dettagli. L’articoletto sulla matematica elementare per la chimica descrive il numero esatto di cifre che si deve utilizzare per esprimere il valore numerico di una grandezza fisica e il modo con cui si esprime l’errore sperimentale:
Sono cifre significative tutte le cifre non nulle presenti nel numero che esprime la misura sperimentale
Lo zero compreso tra numeri non nulli è una cifra significativa
Gli zeri che seguono numeri non nulli sono anch’essi cifre significative
Lo zero all’inizio del numero che esprime la misura sperimentale non è una cifra significativa
Tutti gli esponenziali in un numero espresso in forma scientifica non sono cifre significative
Se la prima cifra non significativa è <5, il valore dell’ultima cifra significativa rimane inalterato (1.03, con 3 cifra non significativa, viene approssimato a 1.0; un errore del tipo 0.012, con 2 non significativo, viene approssimato a 0.01)
Se la prima cifra non significativa è >5, il valore dell’ultima cifra significativa viene approssimato per eccesso (1.06, con 6 cifra non significativa, viene approssimato a 1.1; un errore del tipo 0.016, con 6 non significativo, viene approssimato a 0.02)
Se la prima cifra non significativa è =5, il valore dell’ultima cifra significativa resta inalterato se è un numero pari o 0, viene approssimato per eccesso se è un numero dispari (1.05, con 5 non significativo, viene approssimato a 1.0; 1.25, con 5 non significativo, viene approssimato a 1.2; 1.15, con 5 non significativo, viene approssimato a 1.2; un errore del tipo: 0.015, con 5 non significativo, si approssima a 0.02; un errore del tipo: 0.025, con 5 non significativo, diventa: 0.02)
Gli errori in Journal of Chemical Ecology
Ed eccoci arrivati al dunque. Nel 2012 appare su J Chem Ecol un articolo dal titolo “Herbivore-Mediated Effects of Glucosinolates on Different Natural Enemies of a Specialist Aphid” (qui). Non voglio porre l’attenzione sulla natura del lavoro, ma sul modo con cui gli autori (un insieme di entomologi, agronomi ed ecologi) hanno espresso i loro dati sperimentali. La Figura 1 riporta uno stralcio della Tabella 1 del lavoro citato.
Figura 1. Stralcio della Tabella 1 di un lavoro pubblicato su J Chem Ecol
In giallo ho evidenziato gli errori commessi dagli autori nel riportare il numero di cifre significative e i relativi errori sperimentali per le concentrazioni delle molecole indicate nella prima colonna a sinistra della tabella. Se aprite il lavoro (qui) potete divertirvi voi stessi a trovare gli errori commessi dagli autori nella restante parte della tabella, alla luce delle indicazioni che ho dato poco più sopra. Come possiamo ritenere affidabili le conclusioni di un lavoro scientifico se chi l’ha scritto si macchia di superficialità nell’esprimere i valori numerici delle grandezze che misura? Perché dovrei ritenere superficiale una parte del lavoro e non superficiale un’altra parte del lavoro? Devo dire che quando opero come revisore nei processi di peer review, gli errori che ho appena mostrato sono quelli che mi fanno rifiutare i lavori per la pubblicazione: se io insegno e pretendo dai miei studenti il rigore scientifico che si palesa anche, ma non solo, nella correttezza con cui si effettuano le misure e si riportano i dati sperimentali, pretendo analoga coerenza sia da me che dai miei colleghi che, come professionisti, siamo chiamati ad essere di esempio per le generazioni che ci sostituiranno nel nostro ruolo e nel mondo della ricerca scientifica.
Come è possibile che certi lavori arrivino ad essere pubblicati?
La risposta alla domanda è che anche noi scienziati siamo umani. Prima di tutto non siamo esperti di tutto lo scibile. Se un lavoro che deve essere sottoposto alla revisione tra pari arriva nelle mani di un non esperto del settore, la correttezza professionale dovrebbe imporre di non accettare l’incarico per la revisione. Ma non sempre accade. Anzi, più spesso di quanto si creda, accade che i lavori vengano revisionati da non esperti che non si dichiarano tali o addirittura da amici degli autori che chiudono entrambi gli occhi di fronte ad errori palesi. Quando ciò accade, un lavoro riesce ad essere pubblicato anche su una rivista prestigiosa semplicemente perché chi doveva accorgersi degli svarioni, o ha scientemente evitato le critiche oppure non aveva gli strumenti adatti per poterlo fare. A questo punto la domanda che una persona comune che non si occupa di scienza si può fare è: ma come faccio a fidarmi della letteratura scientifica? Se non si è preparati in modo adeguato, non ci sono molte possibilità per riconoscere un lavoro fatto bene, da uno pasticciato. L’unica arma che un lettore comune ha per distinguere la buona scienza da una scienza fatta male (o pseudo scienza) è il fattore tempo. Quando un lavoro viene pubblicato non passa inosservato. C’è sempre uno scienziato in un qualche laboratorio in giro per il mondo che si appropria dei dati pubblicati e cerca di riprodurli. Se nonostante tutti i tentativi non ci riesce, pubblica una nota in cui evidenzia l’inconsistenza dei dati riportati in letteratura. La confutazione/approvazione di un dato sperimentale pubblicato richiede tanto tempo e tanta pazienza, ma alla fine il protocollo che noi indichiamo come “metodo scientifico” consente di fare una cernita tra dati seri e dati meno seri: è capitato con i lavori di Wakefield, Schoen e tanti altri di cui ho già parlato qui.
Adesso, però, vi ho annoiato anche troppo. Il reportage continua la prossima settimana.
Internet è alla portata di tutti. Basta pagare un abbonamento flat ad una qualsiasi delle innumerevoli aziende telefoniche del nostro paese per avere un accesso illimitato a siti di ogni tipo, inclusi quelli di carattere scientifico. Naturalmente, chi non fa parte di un ente (pubblico o privato) che ha accesso alle banche dati scientifiche non può leggere e scaricare lavori che non sono “open access”.
“Open access”. Oggi sembra essere la moda. Tante istituzioni, anche a livello trans nazionale, invitano i ricercatori a pubblicare su riviste accessibili a tutti. Devo dire che la questione delle pubblicazioni scientifiche accessibili a tutti è un argomento spinoso. In linea di principio io sono molto d’accordo.
Sistema open access contro sistema chiuso
Nel business editoriale scientifico chiuso gli editori sono gli unici ad attuare una politica win-win-win-win. Win-1 perché fanno pagare il download di un singolo articolo da pochi dollari a qualche centinaio (dipende dall’importanza della rivista e solo nel caso in cui non sia stato pagato un abbonamento). Tuttavia, a livello istituzionale, impongono agli enti di ricerca e/o di didattica il pagamento di un abbonamento che non è certo economico. I dipendenti di quella istituzione che paga l’abbonamento (annuale) possono accedere a tutti i lavori scientifici che desiderano per le riviste per cui è stato pagato l’abbonamento. Win-2 perché, affinchè possa essere pubblicato, un lavoro deve essere sottoposto a revisione tra pari. Gli editor-in-chief di una rivista chiedono ad esperti di settore di fare la revisione dei lavori. Il punto è che chiedono ai revisori un surplus di lavoro gratuito (per quanto ne so, una sola rivista in campo medico dà un gettone per il lavoro di revisione). Ed arriviamo, adesso, a win-3. I lavori che vengono inviati alle riviste scientifiche sono finanziati dalle stesse istituzioni che pagano l’abbonamento alle riviste (oltre a pagare lo stipendio ai ricercatori perché facciano il loro lavoro di ricerca). Possiamo chiudere il cerchio con win-4: le riviste vendono un prodotto che non comprano e, di conseguenza, per il quale non pagano. Insomma, per come la vedo io, il sistema closed usato fino ad ora non solo non consente la libera circolazione delle informazioni scientifiche ma è abbastanza oneroso per le università/enti di ricerca che, pur non avendo grosse disponibilità economiche, si trovano a dover pagare la ricerca (con opportuni finanziamenti), i ricercatori (sia per il lavoro che devono svolgere sia per le revisioni editoriali richieste da terzi), l’abbonamento alle riviste per poter ottenere i lavori pubblicati dai propri ricercatori.
Meglio l’open access, allora? Beh, in qualche modo sì. In questo caso, il singolo ricercatore o, meglio ancora, l’istituzione di appartenenza paga una cifra per la pubblicazione del lavoro di ricerca che viene, però, reso accessibile a tutti. Insomma, a pagare non è chi necessita della lettura di un rapporto scientifico, ma paga chi pubblica, sempre che il lavoro venga accettato per la pubblicazione. Il costo dei lavori è molto variabile: può andare dalle poche decine di euro fino alle migliaia. Quindi, occorre reperire fondi da destinare alla pubblicazione. Ma del resto è così anche nel sistema chiuso: se non ci sono fondi disponibili, non posso comprare gli articoli che mi servono per aggiornarmi.
E poi ci sono le riviste chiuse che chiedono un contributo per la stampa a colori, ma questo è altro e per le finalità del discorso non è molto importante parlarne.
Vantaggi e svantaggi
Se sono un ricercatore che studia un ambito scientifico molto ristretto per cui è difficile reperire fondi, mi conviene il sistema chiuso. Faccio il mio lavoro col minimo di soldi che riesco a trovare, scrivo il mio rapporto scientifico e invio il lavoro ad una delle riviste che non mi chiedono di pagare per la pubblicazione. Pagherà chi ha bisogno di sapere cosa ho fatto, fermo restando che, come autore, posso inviare gratuitamente il lavoro pubblicato a chiunque me ne faccia richiesta.
Se sono un ricercatore che è in grado di attrarre molti fondi, mi conviene pubblicare sulle riviste open. Parte dei miei fondi sono, in ogni caso, destinati alla mia università per spese di gestione; mettiamo tra queste anche il libero accesso alle informazioni scientifiche. Questo implica una maggiore visibilità ed una maggiore penetrazione delle mie ricerche nel mondo scientifico, anche quello non direttamente collegato al mio specifico settore disciplinare.
Maggiore visibilità per il ricercatore significa anche maggiore visibilità per l’istituzione di appartenenza che, quindi, ha tutto l’interesse a privilegiare l’open access invece che la pubblicazione chiusa. Ed infatti, attualmente molte, se non tutte, le università in Italia chiedono che i lavori scientifici vengano pubblicati anche sulle riviste open access.
Il problema è che quando il mercato diventa libero si innesca la concorrenza ed è possibile, anzi certo, che si possa incorrere in delle truffe.
La truffa dell’open access
Posso fondare una rivista (per esempio Journal of Scientific Folly-news) e chiedere un obolo di, mettiamo, 20 euro a chiunque mi invii un articolo che verrà accettato per la pubblicazione. Mi conviene accettare per la pubblicazione 20 articoli al giorno in modo tale che in un mese io possa fare un introito di 12000 € di cui solo una piccola parte destinata a pagare lo stipendio di chi si occupa di impaginare e gestire il sito web. Se poi sono ingordo, invece di accettare 20 articoli al giorno ne posso accettare un po’ di più in modo da migliorare i margini di guadagno. Però…se un articolo costa solo 20 €, faccio la figura dell’accattone. Meglio imporre un obolo di 50 € (tanto vuoi che un ricercatore non possa pagare anche di tasca sua una cifra così bassa?) e far finta di accettare solo il 20 % di tutti gli articoli inviati (tanto chi mi controlla?). Ed ecco che cominciano i problemi. Se voglio accettare più lavori possibili devo essere di bocca buona: devo fare in modo che la peer review sia più labile possibile o del tutto inesistente. Meglio se inesistente: magari io stesso, come editor, posso far finta di leggere il lavoro e imporre delle banali revisioni agli autori.
I predatory jounals
Pensate che sia impossibile? Ebbene, vi sbagliate. C’è stato qualcuno che si è preso la briga di studiare il comportamento degli editori in ambito scientifico ed ha fatto un elenco di tutte quelle riviste che pubblicano qualsiasi cosa, indipendentemente dalla qualità dei dati sperimentali. Si chiama Beall’s list of predatory journals and editors (Figura 1). Beall è il nome di chi ha avuto la pazienza di raccogliere tutte le informazioni che potete leggere qui.
Figura 1. La Beall’s list of predatory journals
Mi chiederete: possibile che ci siano giornali che, pur dichiarando di essere peer review, non attuano alcuna politica di valutazione della qualità dei dati e per la verifica della congruenza dei dati sperimentali con le ipotesi proposte?
Beh…date un’occhiata alla Figura 2.
Figura 2. Esempio di articolo apparso in letteratura. Evidentemente non è stato utilizzato alcun processo di selezione
Di questo ho già parlato. Se volete leggere la storia (da cui si riprende anche in parte ciò che è scriutto in questo primo articolo di un reportage più ampio) basta cliccare qui.
Per ora mi fermo. Nelle prossime puntate del reportage andrò a valutare la qualità dei dati pubblicati. Stay Tuned
Viaggio tanto. In aereo, in treno, in autobus e porto sempre con me qualche libro da leggere per evitare di annoiarmi e tenere acceso, per quanto possibile, il cervello. Nel mio ultimo viaggio ho portato con me l’ultimo di Walter Quattrociocchi ed Antonella Vicini dal titolo “Liberi di crederci” (Figura 1). In esso gli autori focalizzano la loro attenzione sulla loro ipotesi in base alla quale debunking e fact checking sono inutili. Il motivo è che queste due pratiche non fanno altro che rafforzare le convinzioni di chi è già orientato ideologicamente verso certe posizioni politiche, scientifiche o altro.
Figura 1. Copertina del libro del Dr. Walter Quattrociocchi e della Dr.ssa Antonella Vicini
Ho, tuttavia, notato che gli autori nella loro disamina commettono a mio modesto parere un paio di ingenuità.
Ad un certo punto essi scrivono a proposito di vaccinazioni in questi termini: “La legge ha innalzato l’obbligo a dieci vaccinazioni, pena il divieto di frequentare l’asilo nido e la scuola dell’infanzia per i non vaccinati”.
Ecco. Questo è il tipico modo di esprimersi dei no-vaxx. Non sto dicendo che Quattrociocchi/Vicini lo siano. Sto solo dicendo che hanno usato una terminologia non corretta. Le vaccinazioni non sono 10. Dieci sono le patologie contro cui si viene vaccinati. Le vaccinazioni che bisogna fare sono solo due: vaccino esavalente e vaccino MPRV. In totale, seguendo il calendario vaccinale, le iniezioni che bisogna fare sono cinque, diluite nei primi 5/6 anni di vita del bambino. In particolare, il vaccino esavalente (che copre per difterite, tetano, pertosse, polio, Hib, epatite B) viene fatto dopo il secondo mese di vita (ed ha 2 richiami); il vaccino MPRV (che copre per morbillo, parotite, rosolia e varicella) viene fatto dopo l’anno di età (con richiamo singolo dopo i 5/6 anni). In definitiva, quindi, non si fanno 10 iniezioni con relativi richiami (come verrebbe da dedurre dalla terminologia usata da Quattrociocchi/Vicini), ma 3 + 2 iniezioni. Giusto per completezza non è neanche vero che il numero di antigeni è enorme (a onor del vero Quattrociocchi/Vicini non ne discutono, ma lo faccio io per completare il discorso vaccini in questa sede). Infatti, i due vaccini che vengono inoculati e che coprono per 10 patologie contengono circa 260 antigeni contro, per esempio, i 3000 che anni fa erano contenuti nel solo vaccino anti morbillo.
Leggere questa inesattezza mi ha lasciato un po’ l’amaro in bocca. Non potevano chiedere informazioni a qualche esperto (come ho fatto io per scrivere queste poche righe) prima di pubblicare il loro libro? Quando trattano dei propri argomenti Quattrociocchi/Vicini sono veramente pignoli. Perché non lo sono altrettanto quando si riferiscono a campi scientifici che prevedono competenze diverse dalle loro? O non è una distrazione e questa frase con relativo linguaggio è voluta?
Ma andiamo oltre.
A parte ciò che ho appena evidenziato, nella loro discussione in merito alle echo chamber, Quattrociocchi/Vicini scrivono: “Un altro errore comune è confondere le scienze come la fisica o la matematica, i cui risultati si ottengono con metodologie rigorose, con la medicina”.
Qui entriamo in un campo minato perché tutti quelli che si occupano di scienza e di filosofia della scienza possono avere idee differenti.
Io qui dico la mia con la consapevolezza di innescare una miccia.
Innanzi tutto: cos’è la scienza? È il complesso di conoscenze che si ottiene applicando un metodo, quello scientifico, alle osservazioni fisiche che si fanno: vedo; faccio un’ipotesi; sulla base di questa ipotesi faccio una previsione; verifico la previsione mediante degli esperimenti; se la risposta sperimentale è sì, l’ipotesi è corretta; se la risposta è no, l’ipotesi va riformulata. Questo, in sintesi, il metodo scientifico (ne avevo parlato anche qui). Sulla base di quanto scritto, può la matematica essere definita scienza? Diciamo che la matematica è nata per risolvere problemi concreti legati al commercio in senso lato (mi perdonino i miei amici matematici se sono un po’ troppo superficiale). Quindi, usando il pensiero moderno, mi sento di dire che la matematica è nata come una forma di scienza. Tuttavia, da quando abbiamo imparato a contare per risolvere problemi concreti, è passata tanta acqua sotto ai ponti. La matematica ha subito una evoluzione che altre discipline scientifiche non hanno ancora avuto. La matematica, per come la vedo io, è diventata una struttura del pensiero. Non ha più bisogno delle osservazioni fisiche (come quelle legate al commercio in senso lato) per poter avanzare.
Ad oggi, come sovrastruttura del pensiero, la matematica è al di sopra di quelle che possono essere indicate come scienze (ovvero tutti quei campi che hanno bisogno di osservazioni sperimentali per poter avanzare) e fornisce gli strumenti (logici e fisici) ad ognuna di esse. Esistono scienze che sono come la matematica? Qualcosa che ci si avvicina sono la fisica e la chimica teorica. Tuttavia, entrambe hanno poi bisogno di procedure sperimentali per poter validare ciò che sono le conclusioni del pensiero. Senza esperimenti sia la chimica che la fisica teorica sono fini a se stesse e non hanno validità alcuna.
E la medicina? In quanto forma di conoscenza basata sul metodo induttivo – cioè trarre un giudizio generale o universale partendo dall’osservazione di uno o più fatti particolari, di dati contingenti, v. vocabolario Treccani – (esattamente come fisica e chimica), anche la medicina è una scienza. Gli strumenti logici e fisici con cui procedere vengono forniti alla medicina dalla matematica (proprio come nel caso di fisica e chimica). Quali sono le metodologie rigorose che accomunerebbero matematica e fisica, ma non la medicina come scritto da Quattrociocchi/Vicini nel loro libro? Forse la statistica, su cui si basa principalmente la medicina, non è ritenuta rigorosa? Ed allora la termodinamica statistica elaborata da Boltzmann? E la meccanica quantistica (che fornisce gli strumenti per la diagnostica per immagini) basata sulla statistica? E potrei continuare perché anche la biologia, altra branca della conoscenza scientifica, si basa sulla statistica. Forse l’autore si riferisce alla discrezionalità umana che sembra essere presente nella medicina ma non nella fisica? Non è così. Entrambe le forme di conoscenza sono soggette a discrezionalità umana: un medico può sbagliare una diagnosi, così come un fisico può sbagliare l’impianto sperimentale oppure, pur avendo un impianto sperimentale corretto, non riuscire a “vedere” ciò che ha “sotto il naso”. In altre parole, anche un fisico può sbagliare la diagnosi.
In definitiva, secondo me, nella loro affermazione, gli autori sono stati un po’ superficiali (come lo sono stati nel caso dei vaccini). Questa superficialità può avere conseguenze notevoli perché chi non è avvezzo al metodo scientifico può essere portato a pensare che la medicina sia roba da stregoni, mentre la fisica sia una materia con dignità superiore. Non è così. Entrambe le discipline hanno pari dignità ed entrambe fanno buon uso di tutti gli strumenti, egualmente rigorosi, messi a disposizione dalla sovrastruttura matematica. E tanto per evidenziare che il lavoro medico prevede un approccio rigoroso ed interdisciplinare, inserisco la notizia che potete leggere ingrandendo la Figura 2 (oppure cliccando qui).
Figura 2. La medicina riesce a salvare la vita ad un bambino con rara patologia
È finita qui? No. Perché basandosi sulle loro osservazioni, come scritto nel paragrafetto introduttivo, Quattrociocchi/Vicini evidenziano l’inutilità del fact checking. Mi sembra allora interessante riportare una notizia apparsa recentemente su La Gazzetta di Modena (qui e Figura 3) e su altri siti minori (per esempio qui).
Figura 3. Un fact checking test ha avuto successo tra gli studenti di un istituto professionale
Una professoressa di un istituto tecnico industriale di Modena ha ideato un fact checking test con cui si sono cimentati i suoi allievi. A quanto pare il fact checking ha funzionato. Alcuni pregiudizi sono stati rimossi. Mi rendo conto che questo è un fatto isolato rispetto ai grandi numeri di cui dispone Quattrociocchi. Mi permetto di pensare, però, che c’è qualcosa di positivo. Da un punto di vista scientifico posso dire che il fact checking ha funzionato date le condizioni al contorno utilizzate (ragazzini di un istituto tecnico industriale costretti ad imparare). Se riformulassimo le condizioni al contorno in modo da adattarle ai grandi numeri, sarebbe possibile un esito positivo del fact checking e, di conseguenza, la rimozione dell’ipotesi di inutilità dello stesso evidenziata dagli studi di Quattrociocchi? Non lo so e qui mi fermo. Non è il mio campo ma qualcun altro con più competenze di me potrebbe anche farci un pensiero sopra e dire a noi se questa ipotesi di lavoro potrebbe funzionare o meno.
Fonte dell’immagine di copertina: https://www.insidemarketing.it/fact-checking-strumenti-verifica-notizie/
Chi è il ciarlatano? Si tratta di una persona poco affidabile, di un imbonitore, di qualcuno che vende fumo. Nel mondo scientifico, il ciarlatano è colui che cerca la fama proponendo modelli che spiegano solo ciò che egli pensa di osservare, senza dare alcuna importanza a ciò che è stato fatto in precedenza. Si tratta di persone con seri problemi di personalità che tendono a paragonarsi a grandi del passato come Galilei.
Come possiamo riconoscere un ciarlatano? Alla luce dell’analisi del comportamento medio dei ciarlatani, è possibile stilare un decalogo di atteggiamenti cui il ciarlatano medio tende ad attenersi.
Il decalogo per riconoscere il ciarlatano scientifico
1. tende a isolarsi dall’ambiente scientifico;
2. per comunicare le sue scoperte non usa i canali tradizionali in genere utilizzati da tutti gli scienziati (riviste scientifiche e congressi), ma preferisce la stampa non specializzata;
3. i suoi metodi sono segreti e non vengono divulgati;
4. pretende vi sia un pregiudizio degli scienziati nei suoi confronti;
5. cita casi in cui insigni scienziati dovettero lottare contro il dogmatismo scientifico dei loro tempi;
6. denuncia l’insufficienza delle teorie scientifiche attuali;
7. i suoi resoconti sono lacunosi o inesistenti;
8. quando i suoi metodi vengono sottoposti a una valutazione scientifica, rifiuta di accettarne i risultati;
9. può essere indifferentemente incolto o fornito di titoli accademici;
10. i suoi sostenitori sono privi di competenze nel campo in cui pretende di esprimersi.
Riconoscete in uno o più punti persone che rispondono ad uno o più dei requisiti anzidetti? Io sì. Ci sono stati e ci sono molti colleghi che, pur avendo fatto un ottimo lavoro in un passato più o meno recente, sono poi passati al lato oscuro della scienza. Non mancano tra questi illustri premi Nobel che, affetti dal Nobel disease, pensano di poter dire la loro anche in campi di cui sono totalmente inesperti.
Nel 2009 sono entrato nel mondo dei social network e da allora ho conosciuto tante persone, molte odiose, tante antipatiche, ma moltissime interessantissime oltre che simpaticissime. E’ questo il caso di Lele Pescia, Ivo Ortelli e La Iena Ridens che mi hanno ospitato nella loro trasmissione “Neandhertal Pride” a parlare di omeopatia.
Chi mi segue sa che mi sono interessato di questa pseudoscienza che fa tanti proseliti nel mondo. Se siete curiosi, qui trovate il link a quanto ho già scritto.
In realtà, siamo partiti dall’omeopatia per affrontare problematiche anche di carattere più generale.
Se avete perso la diretta e se siete interessati ad ascoltare la mia voce, cliccate qui sotto e vi si apriranno le porte del mio intervento di ieri in Neandhertal Pride
