Är hjärntester på nätet exakta? Vad studier visar

Vad reliabilitet betyder, i en bild

Tänk dig 50 personer som gör samma test i dag och igen nästa vecka. Om de som klarar sig bra i dag också klarar sig bra nästa vecka, och de svagare förblir svagare, är testet pålitligt. Forskare sammanfattar det i en test retest koefficient, ofta en intraklasskorrelation, från 0 för rent brus till 1 för en helt stabil rangordning.

Reliabilitet är inte exakthet i vardaglig mening. Ett test kan vara mycket pålitligt och mäta något snävt. Men ett test som inte är pålitligt kan säga lite om en enskild person, eftersom ditt resultat skulle ändras om du gjorde om det i morgon.

Reliabilitet per uppgift

Siffrorna nedan kommer från publicerade test retest studier. Alla har inte samma format som spelen på den här sajten, så den besläktade uppgiften anges för varje rad.

Uppgift	Reliabilitet	Villkor
Enkel reaktionstid, labb	0,83	48 vuxna, tre veckovisa pass (Woods et al., 2015b)
Enkel reaktionstid, egna mobiler	0,83	55 vuxna, tre veckovisa pass (Van Patten et al., 2021)
Go/no-go, felaktiga tryck	0,76	Labb, två pass (Hedge et al., 2018)
Impulskontroll på mobilen	0,68 till 0,80	Tider, sedan totalresultat (Van Patten et al., 2021)
Arbetsminne på mobilen	0,88	Totalresultat, tre veckor (Van Patten et al., 2021)
Trail Making A, på dator	0,87	50 vuxna, tre pass (Woods et al., 2015c)
Corsis blockspann, på dator	0,85	Unga vuxna, 20 minuters mellanrum (Morawietz et al., 2024)
Stroop-kostnad	0,60 och 0,66	Två labbstudier (Hedge et al., 2018)
Flankerkostnad	0,40 och 0,57	Två labbstudier (Hedge et al., 2018)

Reliabilitetsparadoxen

Stroop- och flankereffekten hör till psykologins mest robusta resultat. Nästan alla visar dem. Just det är problemet när man vill mäta en enskild person. Om alla har nästan samma effekt är skillnaderna mellan människor små jämfört med bruset från dag till dag, och rangordningen håller inte från ett pass till nästa.

Hedge, Powell och Sumner testade sju klassiska uppgifter och fann reliabiliteter från 0 till 0,82, förvånansvärt lågt för så vanliga uppgifter. De visade att det berodde på den lilla spridningen mellan människor och inte på dålig mätning (Hedge et al., 2018). Lärdomen för en app med betyg är enkel. Betygsätt det som är stabilt och låt resten vara spel.

ReaktionstestGör testet, 20 s, inget konto, ingen cookie

Din enhet ändrar ditt resultat

Tester på nätet körs på hårdvara som ingen kontrollerar. Vanliga pekskärmar lägger till 50 till 200 ms latens (Van Patten et al., 2021). Bland 59 587 besökare på TestMyBrain.org var personer på mobila enheter, särskilt Androidmobiler, långsammare i reaktionstester än personer vid en dator, även när ålder, kön och utbildning räknats in (Passell et al., 2021). Ett resultat går bara att jämföra med resultat på liknande enheter.

Övning blåser upp de första passen

Resultaten stiger när du upprepar ett test (Scharfen et al., 2018a). I 68 studier av arbetsminnestester var ökningen från första till andra passet ungefär en kvarts standardavvikelse, och resultaten fortsatte stiga fram till det fjärde passet (Scharfen et al., 2018b). Ett stort hopp efter dina första omgångar betyder främst att testet blir bekant för dig.

Att ta ett snitt hjälper mycket. Hos 219 vuxna som gjorde korta tester på sin smartphone många gånger nådde snittresultaten en reliabilitet på 0,97 eller mer, jämförbart med undersökningar i labb (Sliwinski et al., 2018).

Så tar Headgame hänsyn till allt detta

Kortet betygsätter bara uppgifter vars egen reliabilitet, eller en närbesläktad uppgifts, har visat sig vara god, alltså enkel reaktionstid, Schulte-rutnätet, sekvensminnet, schimpanstestet och go/no-go. Stroop och flanker förblir fria spel. Varje värde är ett snitt av dina två bästa pass under veckan, aldrig en enda morgon, och appen tar hänsyn till skärmtypen. Hela metoden finns på sidan om vetenskapen.

ReaktionstestGör testet, 20 s, inget konto, ingen cookie

Källor

Van Patten R., Iverson G.L., Muzeau M.A., VanRavenhorst-Bell H.A. (2021). Test-retest reliability and reliable change estimates for four mobile cognitive tests administered virtually in community-dwelling adults. Frontiers in Psychology 12, 734947. PMC8566921. doi.org/10.3389/fpsyg.2021.734947
Sliwinski M.J., Mogle J.A., Hyun J. et al. (2018). Reliability and validity of ambulatory cognitive assessments. Assessment 25(1), 14 to 30. PMC5690878. doi.org/10.1177/1073191116643164
Hedge C., Powell G., Sumner P. (2018). The reliability paradox. Behavior Research Methods 50(3), 1166 to 1186. PMC5990556. doi.org/10.3758/s13428-017-0935-1
Woods D.L., Wyma J.M., Yund E.W., Herron T.J. (2015). The effects of repeated testing, simulated malingering, and traumatic brain injury on high-precision measures of simple visual reaction time. Frontiers in Human Neuroscience 9, 540. PMC4637414. doi.org/10.3389/fnhum.2015.00540
Woods D.L., Wyma J.M., Herron T.J., Yund E.W. (2015). The effects of aging, malingering, and traumatic brain injury on computerized Trail-Making Test performance. PLoS One 10(6), e0124345. PMC4465490. doi.org/10.1371/journal.pone.0124345
Morawietz C. et al. (2024). Consistency of spatial ability performance in children, adolescents, and young adults. Frontiers in Psychology 15, 1365941. PMC10938598. doi.org/10.3389/fpsyg.2024.1365941
Passell E., Strong R.W., Rutter L.A. et al. (2021). Cognitive test scores vary with choice of personal digital device. Behavior Research Methods 53(6), 2544 to 2557. PMC8568735. doi.org/10.3758/s13428-021-01597-3
Scharfen J., Peters J.M., Holling H. (2018). Retest effects in cognitive ability tests, a meta-analysis. Intelligence 67, 44 to 66. doi.org/10.1016/j.intell.2018.01.003
Scharfen J., Jansen K., Holling H. (2018). Retest effects in working memory capacity tests, a meta-analysis. Psychonomic Bulletin and Review 25, 2175 to 2199. doi.org/10.3758/s13423-018-1461-6

Är hjärntester på nätet exakta?