Guide
I test cerebrali online sono affidabili?
Alcuni sì, una volta fatta la media. Il tempo di reazione semplice ha raggiunto un'affidabilità di 0,83 sui telefoni personali in tre settimane (Van Patten et al., 2021), e fare la media di brevi test da smartphone ha dato affidabilità di 0,97 o più (Sliwinski et al., 2018). Altri, come i costi Stroop e flanker, restano deboli anche in laboratorio (Hedge et al., 2018).
Cosa significa affidabilità, in un'immagine
Immagina 50 persone che fanno lo stesso test oggi e di nuovo la settimana prossima. Se chi ha avuto un punteggio alto oggi lo ha alto anche la settimana dopo, e chi lo ha basso resta basso, il test è affidabile. I ricercatori lo riassumono con un coefficiente test retest, spesso una correlazione intraclasse, da 0 per il puro rumore a 1 per una classifica perfettamente stabile.
L'affidabilità non è la precisione nel senso comune. Un test può essere molto affidabile e misurare qualcosa di ristretto. Ma un test che non è affidabile non può dirti molto su una persona, perché il tuo punteggio cambierebbe se lo rifacessi domani.
Affidabilità per compito
Le cifre qui sotto vengono da studi test retest pubblicati. Non hanno tutte lo stesso formato dei giochi di questo sito, ed è per questo che viene indicato il compito parente.
| Compito | Affidabilità | Condizioni |
|---|---|---|
| Tempo di reazione semplice, laboratorio | 0,83 | 48 adulti, tre sessioni settimanali (Woods et al., 2015b) |
| Tempo di reazione semplice, telefoni personali | 0,83 | 55 adulti, tre sessioni settimanali (Van Patten et al., 2021) |
| Errori di commissione go/no-go | 0,76 | Laboratorio, due sessioni (Hedge et al., 2018) |
| Controllo degli impulsi su telefono | da 0,68 a 0,80 | Tempi, poi punteggio composito (Van Patten et al., 2021) |
| Memoria di lavoro su telefono | 0,88 | Punteggio composito, tre settimane (Van Patten et al., 2021) |
| Trail Making A, computerizzato | 0,87 | 50 adulti, tre sessioni (Woods et al., 2015c) |
| Span dei blocchi di Corsi, computerizzato | 0,85 | Giovani adulti, a 20 minuti di distanza (Morawietz et al., 2024) |
| Costo Stroop | 0,60 e 0,66 | Due studi di laboratorio (Hedge et al., 2018) |
| Costo flanker | 0,40 e 0,57 | Due studi di laboratorio (Hedge et al., 2018) |
Il paradosso dell'affidabilità
Gli effetti Stroop e flanker sono tra i risultati più solidi della psicologia. Quasi tutti li mostrano. Ed è proprio questo il problema quando si vuole misurare una persona. Quando tutti hanno quasi lo stesso effetto, le differenze tra le persone sono piccole rispetto al rumore da un giorno all'altro, e la classifica non regge da una sessione all'altra.
Hedge, Powell e Sumner hanno testato sette compiti classici e hanno trovato affidabilità da 0 a 0,82, sorprendentemente basse per compiti così diffusi, e hanno mostrato che dipendeva dalla bassa variazione tra le persone e non da una cattiva misurazione (Hedge et al., 2018). La lezione per un'app che dà punteggi è semplice. Dai un punteggio a ciò che resta stabile, il resto tienilo come gioco.
Il dispositivo cambia il tuo punteggio
I test online girano su hardware che nessuno controlla. I touchscreen tradizionali aggiungono da 50 a 200 ms di latenza (Van Patten et al., 2021). Su 59.587 visitatori di TestMyBrain.org, le persone su dispositivi mobili, in particolare telefoni Android, erano più lente nei test di tempo di reazione rispetto a chi usava il computer, anche tenendo conto di età, genere e istruzione (Passell et al., 2021). Un punteggio è confrontabile solo con punteggi ottenuti su dispositivi simili.
La pratica gonfia le prime sessioni
I punteggi salgono quando ripeti un test (Scharfen et al., 2018a). Su 68 studi di test di memoria di lavoro, il guadagno tra la prima e la seconda sessione era di circa un quarto di deviazione standard, e i punteggi continuavano a salire fino alla quarta sessione (Scharfen et al., 2018b). Un grande salto dopo le prime partite è soprattutto il test che diventa familiare.
Fare la media aiuta molto. In 219 adulti che hanno fatto molte volte brevi test sul proprio smartphone, i punteggi medi hanno raggiunto un'affidabilità di 0,97 o più, paragonabile alle valutazioni di laboratorio (Sliwinski et al., 2018).
Come Headgame tiene conto di tutto questo
La carta dà un punteggio solo ai compiti la cui affidabilità, o quella di un compito parente vicino, è nota per essere buona, il tempo di reazione semplice, la griglia di Schulte, la memoria di sequenze, il test dello scimpanzé e il go/no-go. Stroop e flanker restano giochi liberi. Ogni statistica fa la media delle tue due migliori sessioni della settimana, mai di una sola mattina, e l'app corregge in base al tipo di schermo. Il metodo completo è nella pagina sulla scienza.
Fonti
- Van Patten R., Iverson G.L., Muzeau M.A., VanRavenhorst-Bell H.A. (2021). Test-retest reliability and reliable change estimates for four mobile cognitive tests administered virtually in community-dwelling adults. Frontiers in Psychology 12, 734947. PMC8566921. doi.org/10.3389/fpsyg.2021.734947
- Sliwinski M.J., Mogle J.A., Hyun J. et al. (2018). Reliability and validity of ambulatory cognitive assessments. Assessment 25(1), 14 to 30. PMC5690878. doi.org/10.1177/1073191116643164
- Hedge C., Powell G., Sumner P. (2018). The reliability paradox. Behavior Research Methods 50(3), 1166 to 1186. PMC5990556. doi.org/10.3758/s13428-017-0935-1
- Woods D.L., Wyma J.M., Yund E.W., Herron T.J. (2015). The effects of repeated testing, simulated malingering, and traumatic brain injury on high-precision measures of simple visual reaction time. Frontiers in Human Neuroscience 9, 540. PMC4637414. doi.org/10.3389/fnhum.2015.00540
- Woods D.L., Wyma J.M., Herron T.J., Yund E.W. (2015). The effects of aging, malingering, and traumatic brain injury on computerized Trail-Making Test performance. PLoS One 10(6), e0124345. PMC4465490. doi.org/10.1371/journal.pone.0124345
- Morawietz C. et al. (2024). Consistency of spatial ability performance in children, adolescents, and young adults. Frontiers in Psychology 15, 1365941. PMC10938598. doi.org/10.3389/fpsyg.2024.1365941
- Passell E., Strong R.W., Rutter L.A. et al. (2021). Cognitive test scores vary with choice of personal digital device. Behavior Research Methods 53(6), 2544 to 2557. PMC8568735. doi.org/10.3758/s13428-021-01597-3
- Scharfen J., Peters J.M., Holling H. (2018). Retest effects in cognitive ability tests, a meta-analysis. Intelligence 67, 44 to 66. doi.org/10.1016/j.intell.2018.01.003
- Scharfen J., Jansen K., Holling H. (2018). Retest effects in working memory capacity tests, a meta-analysis. Psychonomic Bulletin and Review 25, 2175 to 2199. doi.org/10.3758/s13423-018-1461-6
Headgame
La tua carta completa, ogni domenica.
Tre giochi da 20 secondi ogni mattina, sessioni a telefono giù e una carta con sei statistiche svelata ogni domenica. Presto sull'App Store, poi su Google Play.
Entra in lista d'attesa