Suddividi un set di dati in sottogruppi dopo sottogruppi finché il caso non ti dà p < 0,05, quindi osserva un nuovo campione per decidere se la tua scoperta è stata reale o un colpo di fortuna.
Il trattamento non ha alcun effetto reale, quindi qualsiasi significato trovi è rumore. Filtra i dati in sottogruppi ed esegui nuovamente il test tutte le volte necessarie per imbatterti in un valore p inferiore a 0,05, quindi invia il tuo "risultato" all'arbitro. La svolta: un controllo di replica traccia un nuovo campione indipendente e verifica nuovamente la tua affermazione esatta. Gli effetti reali sopravvivono; i p-hack svaniscono e questo divario è l'intera lezione.
Cherry Picker riguarda il p-hacking, i confronti multipli e il motivo per cui la replica è importante: l'integrità delle statistiche.
Filtrare in sottogruppi e ripetere il test finché qualcosa non risulta significativo è il data dredging, o p-hacking: eseguire molti test e riportare solo quelli che risultano significativi.
Il progetto originale è che il trattamento non ha alcun effetto reale, quindi ogni risultato che trovi è rumore per costruzione.
È l'unico modo onesto di insegnarlo. Raccontato in astratto, il p-hacking sembra un imbroglio che una persona scrupolosa non commetterebbe mai; praticarlo su dati di cui è garantita la vacuità mostra con quanta facilità compaia la significatività, e che si tratta del problema dei confronti multipli e non di un difetto di carattere.
Cherry Picker è un gioco di statistiche sul p-hacking, sui confronti multipli e sul perché la replica è importante. È un gioco browser gratuito originale creato per PlayPendium.