Qualche tempo fa, in calce a questo post, precisavo che CS era venuto fuori al tempo e che da subito raccolse i contributi di persone con lauree "pesanti", di quelle antiche, a cui i conti non tornavano. Sono passati otto anni e quella memoria della rete di cui tanto si parlava si sta dimostrando una memoria a breve termine, la pagina fb CS non esiste più e quindi chi allora non c'era può essersi chiesto di cosa si parlasse (o può aver pensato "Questo lo dice lui!"). Si parlava, per esempio di dispense di statistica per un esame a medicina che esibivano gaussiane non normalizzate, di ostentate correlazioni lineari tra tassi di vaccinazione MPR pediatrici e casi di morbillo nella popolazione intera, oppure di questo:
Questa roba avrebbe dovuto dimostrare che il vaccino antiinfluenzale proteggeva da COVID, pensate un po', e la mia risposta a chi in quel caso per ridere si era rifatto i conti, dichiarando con uno sghignazzo "E' una cubica!", fu: quante volte s'è detto "levategli dalle zampette il software statistico"?
In pratica era l'ennesima dimostrazione che xkcd non doveva inventarsi niente per la sua satira:
E il punto, quando un articolo veniva molto citato sui media, social o no che fossero, era il più delle volte quello di xkcd: la solidità della statistica non importava, bastava fare un po' di scena, con buona pace del peer reviewing. In che senso? Nel senso che immaginate che si tratti di un articolo che va a finire su una rivista di malattie infettive, pure con buon Impact Factor: i revisori saranno infettivologi o biologi o medici, cioè soggetti senza gli strumenti per valutare la solidità del trattamento statistico (si limiteranno a dare un'occhiata al p-value, con la famosa regoletta farlocca che se è maggiore di 0,05 allora la correlazione è falsa).
Nota con i dettagli:
p-value è la probabilità dell'ipotesi nulla, quindi p-value 0,05 vuol dire "vero al 95%". Considerarlo un valore discriminante tra vero e falso significa, per fare un esempio, che "vero al 93,5%" viene tradotto con "falso". In più un p-value basso non implica un R2 alto, cioè in soldoni un buon intervallo di confidenza. Con un p-value basso la significatività del modello è alta ma l'affidabilità delle sue predizioni può essere bassa o nulla - tipo che il modello dice 2, ma poi il valore rilevato sperimentalmente può essere 4 o 0, con un errore che è uguale al valore della predizione.
La statistica può fare acqua ad un'analisi appena più attenta, dicevamo, perché quello che conta è il messaggio. Passano gli anni, cambiano i temi, ma il metodo continua ad essere lo stesso. Per esempio riguardo gli incendi di Los Angeles di gennaio: colpa del cambiamento climatico! Uhm, non proprio, andando a vedere gli intervalli di confidenza:
E qui ci sono le relative precisazioni:
Facile immaginare che ci sarà chi legge saltando i video, quindi ecco il riassunto breve: gli intervalli di confidenza riportati nello studio dicono che i risultati non sono statisticamente significativi, quindi non si dimostra alcuna correlazione tra cambiamento climatico e incendi di Los Angeles a gennaio di questo anno. La comunità dei climatologi lo sapeva perfettamente e non ha detto mezza parola al riguardo. Certo, perché altrimenti certe trenodie di membri di tale comunità sarebbero apparse episodi di infondato, teatrale e stucchevole moralismo.
Dopodichè, a freddo, cioè tre mesi dopo, in Italia chi è che ha rilanciato "Incendi a Los Angeles, è il climate change" senza far seguire un errata corrige? La lista è lunga. Tralasciamo la stampa generalista, che ha rilanciato senza pensare come fa di solito, per guardare alla comunicazione scientifica che ha fatto esattamente lo stesso: Università degli Studi Milano-Bicocca, Le Scienze e via dicendo. Ma non c'è problema, il messaggio era quello giusto. E' colpa mia, Dio mi strafulmini, che non riesco a farmi entrare in testa questa cosa.