CREDIBILITA' E RIPRODUCIBILITA'

(Sunto di un anno di post fb)

Da tempo sui media digitali e non dilaga l'hype su nuove "scoperte" biologiche. In materia di CRISPR, geni collegati a questo o a quello e ad altri temi che sanno di "futuro" pullulano comunicazioni e articoli. Ed è curioso che questa proliferazione avvenga nel corso di una conclamata crisi di riproducibilità, riconosciuta dal 52% degli addetti ai lavori. Nel 70% dei casi i risultati conclamati non sono riproducibili. E quindi se, come dovrebbe essere, la credibilità di un risultato è uguale alla sua riproducibilità, si può rapidamente calcolare il tasso di credibilità del materiale di attualità veicolato dalla cosiddetta divulgazione scientifica massificata: 30%. Scarsino. La retorica del progresso scientifico da quotidiano o tg  si ciba al 70% di fuffa (http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970).
Quando l'articolo di Nature è uscito è stata pioggia sul bagnato. Già,  nel 2012 un gigante biotech aveva guadagnato i titoli di testa con una comunicazione importante.

Diciamolo, quando pigli a riferimento un articolo per impostare un progetto in ambito industriale e il contenuto si rivela non riproducibile girano i cabbasisi a diversa gente.
"In 2012, Amgen researchers made headlines when they declared that they had been unable to reproduce the findings  in 47 of 53 'landmark' cancer papers"
Articoli "landmark", ok? Rutilanti scoperte di nuovi geni o pathway o altro nel campo della biologia del cancro. Non riproducibili 47 articoli su 53. Immagino che nelle sale riunioni della direzione ricerche Amgen si sentisse l'eco del vorticare anche qualche giorno dopo aver fatto il punto della situazione.
Eppure questa prolungata crisi di riproducibilità non corrisponde nel mainstream culturale a una simmetrica crisi di credibilità. Anzi, si persiste in una (quasi) illimitata apertura di credito, moltiplicata dai media tradizionali e digitali, che per quel che riguarda la divulgazione scientifica di questo si alimentano. Arriverà la resa dei conti, con le promesse non mantenute, o l'articolo ritirato, o un negative finding pubblicato. Tutto ciò non avrà eco, e si continuerà a dar voce alla solita percentuale di scoperte a basso tasso di riproducibilità (e quindi di credibilità) (http://www.nature.com/news/biotech-giant-publishes-failures-to-confirm-high-profile-science-1.19269)
E questi sintomi preoccupanti di una situazione globale da noi del tutto ignorati. Anzi, per tipo due anni non si è sentito che dire "peer reviewed", "impact factor" e non da ricercatori universitari (che sarebbe normale), ma da politici, ministri, giornalisti generalisti, attivisti e utenti dei social network.
Del tutto incuranti o ignari che la mitologica "comunità scientifica" da tempo si è resa conto che il sistema dell'editoria scientifica presenta disfunzionalità crescenti.
In una crisi generale delle riviste scientifiche (secondo me in larga parte dovuta al modello "publish or perish" che ormai governa buona parte della ricerca accademica), quella delle riviste biomediche ha suoi tratti peculiari. Se l'allarme di Randy Schekman aveva un carattere generale (https://www.scienzainrete.it/contenuto/articolo/francesco-aiello/randy-schekman-e-tirannia-di-nature/dicembre-2013), come del resto quelli più sopra citati, alcune denuncie riguardano nello specifico  ricerca biomedica e conflitto di interessi (http://www.bmj.com/content/359/bmj.j4619).
In questo quadro compromesso ora anche gli editori ci mettono del proprio (o meglio, ora viene fuori come ce lo mettono, e da un po').
In due parole un fisico americano si è rotto le scatole di avere continue richieste di reviewing da Elsevier su materie che non gli competono, e l'ultima richiesta, che riguardava un'articolo di diabetologia, è stata la goccia che ha fatto traboccare il vaso. Guarda un po', il caso riguarda una rivista medica
Come può succedere che si incappi in articoli evidentemente risibili, che so, in materia di attivazione di legami CH? Forse i peer reviewers erano un biologo, un economista e un filologo antico... (parafrasando la conclusione dell'articolo del link)

https://forbetterscience.com/2018/01/15/how-elsevier-finds-its-peer-reviewers/

E tutto ciò mentre sui nostri media nazionali (compresi quelli sociali) e nella websfera italiana tutta si andava consolidando l'equazione medicina=Scienza (e vorrei sapere quanti tra matematici fisici e chimici in camera caritatis si sono piegati in due dalle risa), e più grave quella Scienza=Verità. Contraibile in medicina=Verità, che è un autentico abominio. E mentre la struttura di questo credo veniva cementata e consolidata, Il MIUR bocciava senza appello una serie di scuole di specializzazione in medicina (e quindi bocciava i docenti - medici - delle dette scuole, non certo gli studenti).
Non sono un fan delle valutazioni del MIUR, spesso centrate su metriche progettate con criteri discutibili e in fin dei conti funzionali ad un unico scopo (il taglio di spesa).
Ma tra amici avevamo rilevato come le dispense di un certo corso di statistica a Pavia manifestassero un allarmante livello di incuria (per non dire incompetenza). E guarda caso "Statistica sanitaria e Biometria" a Pavia è tra le specializzazioni bocciate. Anche dalle parti del S.Raffaele non erano messi così bene, a quanto pareva. E pure all'Humanitas le cose andavano maluccio (habitat di Mantovani,in vena di rilanciare il vaccino BCG per la TBC dalle nostre parti,stando a quel che scriveva sul Sole).
A proposito del famoso virologo e dei suoi emuli, da notare che più si aggravava la crisi delle discipline biomediche (mettete assime scarsa riproducibilità dei risultati, queste valutazioni ministeriali, il crescente numero di cause per malasanità) più si strepitava per affermare il principio di autorità. In quest'ottica l'invocata non democraticità della "Scienza" acquistava un significato più interessante, perché la supposta congiura degli ignoranti è poca cosa al confronto con i danni procurabili dagli asini in cattedra o col camice, o col bisturi in mano, specie se vicini alle leve del potere politico (riguardo a questo aspetto il risultato elettorale ha cambiato molto tutta la situazione).

http://www.corriere.it/scuola/17_agosto_20/scuole-formazione-medici-una-10-non-regola-b68e0224-85cb-11e7-a4e4-940a5da24d3a.shtml

http://milano.corriere.it/notizie/cronaca/17_ottobre_09/milano-medicina-bocciata-scuola-7-tagliati-33-corsi-privi-qualita-3a2df836-acb0-11e7-a5d5-6f9da1d87929.shtml